PENGEMBANGAN SISTEM PENERJEMAH BAHASA ISYARAT BISINDO TO TEXT DENGAN KINECT REAL TIME

Penyandang disabilitas tuna rungu dan tuna wicara sering mengalami kesulitan berkomunikasi dengan masyarakat umum karena minimnya pemahaman tentang bahasa isyarat. Hal ini mengakibatkan isolasi sosial dan hambatan dalam akses informasi serta pendidikan. Pengembangan teknologi penerjemah bahasa isyarat diharapkan dapat meningkatkan komunikasi dan kemandirian penyandang disabilitas. Metodologi yang digunakan pada penelitian ini meliputi pengumpulan data melalui studi literatur, kuesioner, dan dokumentasi. Algoritma pengolahan data BISINDO pada penelitian ini menggunakan metode Long short-term memory (LSTM) untuk mendeteksi kerangka pada tangan, wajah dan badan. Implementasi sistem menggunakan kinect untuk menangkap gerakan tangan secara real-time. Pengembangan sistem menggunakan metode Agile untuk memastikan fungsionalitas dan pemenuhan kebutuhan pengguna. Dari hasil evaluasi dengan pengujian kinerja sistem menggunakan confusion matrix dengan menghitung nilai akurasi, recall, precision dan F1-Score. Serta dataset yang diambil secara realtime dengan jumlah data 90, masing – masing terdiri dari 30 aksi bahasa isyarat saya, 30 aksi bahasa isyarat baik, 30 aksi bahasa isyarat iloveyou. Hasil menunjukkan bahwa sistem memiliki nilai akurasi 1.0, recall 1.0, precision 1.0 dan F-1 Score 1.0 dengan algortima LSTM, epoch 140 dan data respon yang menunjukan positif terhadap sistem.
https://e-journal.hamzanwadi.ac.id/