Deteksi Tangan Otomatis Pada Video Percakapan Bahasa Isyarat Indonesia Menggunakan Metode YOLO Dan CNN
Abstract
Bahasa merupakan alat atau wahana untuk menyampaikan antar manusia satu dengan yang lainnya. Bagaimanapun, tidak setiap orang dapat menggunakan bahasa verbal dengan sempurna. Seperti orang yang tuli dan bisu, mereka tidak bisa menyampaikan apa yang ingin di sampaikan dengan baik. Tuli atau tunarungu adalah kekurangan kemampuan mendengar dari satu atau dua telinga. Dalam berkomunikasi tunarungu cenderung menggunakan bahasa isyarat. Salah satu bahasa isyarat yang sering digunakan ialah berupa angka, satu, dua, tiga, empat, dan lima. Dalam penelitian ini di gunakan metode You Only Look Once (YOLO) dan Convolutional Neural Network (CNN) untuk membantu sistem agar bisa membaca setiap gerakan yang dilakukan oleh tangan dan menghasilkan output berupa teks seperti tangan berisyarat satu bertuliskan satu atau tangan berisyarat dua bertuliskan dua dan seterusnya. Adapun tahapan yang dilakukan pada penelitian ini yaitu pengumpulan data , pengolahan gambar atau proses pre-processing data dalam pengimplementasian YOLO dan CNN. Setelah itu dilakukan uji coba dengan menggunakan Gambar dan video dari data BISINDO. Untuk hasil uji coba yang telah dilakukan menghasilkan akurasi sebesar 89 %.
Downloads
References
Noermanzah, “Bahasa Sebagai Alat Komunikasi, Citra Pikiran, dan Kepribadian,” Semin. Nas. Bulan Bhs., pp. 306–319, 2019, [Online]. Available: https://ejournal.unib.ac.id/index.php/semiba
R. I. Borman and B. Priyopradono, “Implementasi Penerjemah Bahasa Isyarat Pada Bahasa Isyarat Indonesia (BISINDO) Dengan Metode Principal Component Analysis (PCA),” J. Inform. J. Pengemb. IT, vol. 03, no. 1, pp. 103–108, 2018, [Online].Available: https://ejournal.poltektegal.ac.id/index.php/informatika/article/view/631
A. Breva Yunanda, F. Mandita, and A. Primasetya Armin, “Pengenalan Bahasa Isyarat Indonesia (BISINDO) Untuk Karakter Huruf Dengan Menggunakan Microsoft Kinect,” Fountain Informatics J., vol. 3, no. 2, p. 41, 2018, doi: 10.21111/fij.v3i2.2469.
F. Damatraseta, R. Novariany, and M. A. Ridhani, “Real-time BISINDO Hand Gesture Detection and Recognition with Deep Learning CNN,” J. Inform. Kesatuan, vol. 1, no. 1, pp. 71–80, 2021, doi: 10.37641/jikes.v1i1.774.
P. Kurnia Sari, G. Qorik Oktagalu Pratamasunu, and F. Nur Fajri, “Deteksi Tangan Otomatis Pada Video Percakapan Bahasa Isyarat Indonesia Menggunakan Metode Deep Gated Recurrent Unit (GRU)”, JKT, vol. 8, no. 1, pp. 186–193, Jun. 2022.
A. Mulyanto, E. Susanti, F. Rossi, W. Wajiran, and R. I. Borman, “Penerapan Convolutional Neural Network (CNN) pada Pengenalan Aksara Lampung Berbasis Optical Character Recognition (OCR),” J. Edukasi dan Penelit. Inform., vol. 7, no. 1, p. 52, 2021, doi: 10.26418/jp.v7i1.44133.
F. Rachmawati and D. Widhyaestoeti, “Deteksi Jumlah Kendaraan di Jalur SSA Kota Bogor Menggunakan Algoritma Deep Learning YOLO,” Pros. LPPM UIKA Bogor, pp. 360–370, 2020.
A. E. Wijaya, W. Swastika, and O. H. Kelana, “Implementasi Transfer Learning Pada Convolutional Neural Network Untuk Diagnosis Covid-19 Dan Pneumonia Pada Citra X-Ray,” Sainsbertek J. Ilm. Sains Teknol., vol. 2, no. 1, pp. 10–15, 2021, doi: 10.33479/sb.v2i1.125.
H. Darmanto, “Pengenalan Spesies Ikan Berdasarkan Kontur Otolith Menggunakan Convolutional Neural Network,” Joined J. (Journal Informatics Educ., vol. 2, no. 1, p. 41, 2019, doi: 10.31331/joined.v2i1.847.
L. Rahma, H. Syaputra, A. H. Mirza, and S. D. Purnamasari, “Objek Deteksi Makanan Khas Palembang Menggunakan Algoritma YOLO ( You Only Look Once ),” vol. 2, no. 3, 2021.
N. Hanum Harani, C. Prianto, and M. Hasanah, “Deteksi Objek Dan Pengenalan Karakter Plat Nomor Kendaraan Indonesia Menggunakan Metode Convolutional Neural Network (CNN) Berbasis Python,” J. Tek. Inform., vol. 11, no. 3, pp. 47–53, 2019.
Copyright (c) 2022 Indah Inayatul Arifah, Fathorazi Nur Fajri, Gulpi Qorik Oktagalu Pratamasunu
This work is licensed under a Creative Commons Attribution-ShareAlike 4.0 International License.
Authors who publish with this journal agree to the following terms:
- Authors retain copyright and grant the journal right of first publication with the work simultaneously licensed under a Creative Commons Attribution License (Attribution-ShareAlike 4.0 International (CC BY-SA 4.0) ) that allows others to share the work with an acknowledgement of the work's authorship and initial publication in this journal.
- Authors are able to enter into separate, additional contractual arrangements for the non-exclusive distribution of the journal's published version of the work (e.g., post it to an institutional repository or publish it in a book), with an acknowledgement of its initial publication in this journal.
- Authors are permitted and encouraged to post their work online (e.g., in institutional repositories or on their website) prior to and during the submission process, as it can lead to productive exchanges, as well as earlier and greater citation of published work (See The Effect of Open Access).
