Measurable Decision Making with GSR and Pupillary Analysis for Intelligent User Interface

Measurable Decision Making with GSR and Pupillary Analysis for Intelligent User Interface

JIANLONG ZHOU, JINJUN SUN, FANG CHEN, YANG WANG, RONNIE TAIB, AHMAD KHAWAJI, and ZHIDONG LI, National ICT Australia

URL/DOI:http://dx.doi.org/10.1145/2687924

This article presents a framework of adaptive, measurable decision making for Multiple Attribute Decision Making (MADM) by varying decision factors in their types, numbers, and values. Under this framework, decision making is measured using physiological sensors such as Galvanic Skin Response (GSR) and eye tracking while users are subjected to varying decision quality and difficulty levels. Following this quantifiable decision making, users are allowed to refine several decision factor sinorder to make decisions of high quality and with low difficulty levels. A case study of driving route selection is used to set up an experiment to test our hypotheses. In this study, GSR features exhibit the best performance in indexing decision quality. These results can be used to guide the design of intelligent user interfaces for decision-related applications in HCI that can adapt to user behavior and decision-making performance.

Categories and Subject Descriptors: H.5.2[Information Interfaces and Presentation]: UserInterfaces — Evaluation/methodology General Terms: Design, Human Factors, Experimentation

Pengkaji : IHSAN ARIF RAHMAN, G64144025, ihsan_arif@apps.ipb.ac.id

Measurable Decision Making with  GSR and Pupilary Analysis for Intelligent User Interface adalah jurnal yang menjelaskan tentang pengkajian  pengukuran suatu keputusan yang terukur untuk Multiple Attribute Desicion Making (MADM) dengan memvariasikan faktor keputusan dalam jenis nomor dan nilai-nilai. Yang dimaksud dari MADM adalah metode yang digunakan untuk mencari alternatif optimal dari sejumlah alternatif dengan kriteria tertentu. Dalam hal ini, pengambilan keputusan diukur menggunakan sensor fisiologis seperti Galvanic Skin Response (GSR) dan Pupilary Analysis.

Galvanic Skin Response (GSR) sensor adalah alat yang bisa mengukur perubahan fisiologis pada kulit akibat dari perubahan aktivitas kelenjar keringat. Kelenjar keringat akan aktif bila tubuh berada dalam kondisi stres atau berada pada kondisi tertekan. Dan Pupilary Resoponse adalah metode analisis pergerakan pupil dan respon dari pergerakan pupil yang nantinya akan mempengaruhi seorang pengguna untuk melakukan suatu keputusan.

Pembuatan sistem Interaksi Manusia dan Komputer (HCI) yang cerdas yang beradaptasi dengan prilaku pengguna dan kinerja pengambilan keputusan. Bayangkan sebuah antarmuka komputer yang bisa memprediksi dan mendiagnosa apakah keputusan yang dibuat oleh pengguna merupakan keputusan yang tepat dengan kualitas yang tinggi dari hasil pengumpulan berbagai informasi fisiologis tepatnya penggunaan sensor Galvanic Skin Response dan Pupil Response.

Pengambilan keputusan pengguna akan didefinisikan beberapa faktor keputusan yang membuat keputusan itu memiliki prioritas tinggi atau  rendah. Dan sebagai sampel dari studi kasus ini memilih seorang pengguna akan mengemudi dan melakukan keputusan dengan memilih rute yang digunakan untuk sebuah percobaan untuk dikaji dalam hipotesisnya. Hasil dari penelitian dapat digunakan untuk memandu desain antarmuka pengguna untuk aplikasi yang berhubungan dengan keputusan dalam kerangka yang diusulkan pada Interaksi Manusia dan Komputer. Hal ini sangat penting untuk pengembangan HCI cerdas karena informasi dari fisiologis manusia akan dimodelkan dan digunakan untuk beradaptasi baik antarmuka dan keputusan pembuatan.

Tujuan dari penelitiannya adalah mengusulkan kerangka pengambilan keputusan yang dapat diukur secara kuantitatif untuk membiarkan pengguna merasakan baik kualitas keputusan mereka dan tingkat kesulitan untuk proses suatu keputusan berdasarkan sinyal fisiologis. Dan pengambilan keputusan itu memvariasikan jenis, jumlah dan nilai-nilai faktor keputusan.

Gerakan mata dapat membantu untuk mengevaluasi proses pengambilan keputusan dalam mekanisme kognitif (tingkat neurologis). Fiedler dan Glockner [2012] memanfaatkan pelacakan mata untuk menganalisis pengambilan keputusan dalam kondisi saat berjudi. Pada studi Eye Tracking ini menunjukkan bahwa pelebaran pupil tercermin dari kejutan sampai pada pengambilan keputusan. Menurut “eye-mind hypotesis”, hasil dari pergerakan mata dapat mengungkapkan proses kognitif yang mendasari dari pengguna, jadi mata secara harfiah merupakan jendela dari pemikiran yang akan dituangkan dalam suatu keputusan. Oleh karena itu respon pupil dapat digunakan sebagai indikator obyektif untuk mengukur fisiologis pengguna untuk melakukan pengambilan keputusan.

GSR sensor menunjukkan bahwa hubungan dengan proses pengambilan keputusan dapat mempengaruhi terhadap keputusan untuk bertindak atau tidak bertindak. Dan GSR dapat digunakan sebagai indikator proses afektif sebelum, selama dan setelah membuat suatu keputusan. GSR juga dapat membedakan antara baik dan buruk suatu keputusan. Oleh karena itu, GSR dapat berfungsi sebagai tujuan, non verbal, indikator non voluntary dan ukuran fisiologis dari karakteristik permintaan dan pelaporan dalam pengambilan keputusan.

Metode penyajian pada jurnal ini memberikan kerangka pengambilan keputusan yang terukur. Dalam kerangka ini, ketika tugas eksperimental dengan faktor keputusan tertentu disajikan kepada pengguna untuk pengambilan keputusan maka kesulitan diukur bersamaan dengan penilaian subjektif dan pengukuran fisiologis yaitu penggunaan sensor (GSR, Eyestracking). Setelah pengguna membuat keputusan, kinerja keputusan dievaluasi dengan pemilihan pengguna dan ukuran. Ukuran fisiologis kemudian dianalisa dan diklasifikasikan untuk kualitas keputusan dan kesulitasnya.

Selain itu juga digunakan pendekatan visualisasi untuk menyajikan beberapa faktor keputusan yang digabungkan yaitu koordinat paralel dan SimulSort. Dalam hal ini mengimplementasikan keputusan dalam bentuk tabel. Faktor keputusan ini memiliki data rute yang diatur sebagai baris dalam kolom dan faktor keputusan yang berbeda diatur sebagai kolom secara terurut. Dalam studi kasus ini yaitu melakukan perjalanan dengan rute tertentu sehingga pengguna saat melakukan keputusan perjalanan akan dicatat setiap detik secara real-time. Faktor keputusan pada saat perjalanan ini dibagi menjadi 2 yaitu faktor keputusan umum yang meliputi panjang rute, waktu perjalanan dan faktor keputusan variabel yang meliputi kemacetan, kecepatan yang diharapkan dan faktor pengaruh eksternal lainnya.

Ketika hasil GSR dan Pupil Response digabungkan untuk kualitas keputusan indeks memiliki kinerja yang baik daripada fitur ini dilakukan hanya dengan satu-satu saja. Karena pengelompokkan dalam GSR dan Pupil Response sangat ketergantungan terhadap keduanya. Dan mendapatkan jenis-jenis adaptasi antarmuka yang nantinya bisa dipertimbangkan seperti penambahan atau penghapusan faktor keputusan, mengubah nilai faktor keputusan, dan penambahan atau penghapusan saluran sinyal yang digunakan untuk mengatur informasi fisiologis pengguna.

Maka, hasil dari penelitian ini yaitu pengukuran fisiologis digunakan untuk melakukan indeks tingkat kualitas pengambilan keputusan secara realtime dan kuaitas keputusan. Seperti pada faktor keputusan misal jenis dan jumlah mempengaruhi keputusan kesulitan dan kualitas keputusan. Hal ini dikarenakan pengukuran dilakukan dengan dua input sensor yang digabungkan sehingga memiliki kinerja lebih baik dibandingkan dengan sensor yang terpisah. Maka dirumuskanlah sebuah panduan untuk mendesain antarmuka pengguna yang melibatkan pengambilan keputusan. Dan bisa memberikan informasi pengambilan keputusan oleh pengguna dapat secara efektif menggunakan berbagai faktor keputusan dalam pengambilan keputusan. Salah satu arah untuk masa depan yaitu dengan memiliki metode yang lebih efektif untuk pengukuran pengambilan keputusan.