Asisten Virtual JARVIS Berbasis ESP32-S3 dan AI Dual-Path untuk Pengendalian Laptop melalui Perintah Suara

Andly Sofian  Hasugian; Dedy Kiswanto; Yusrida Jelianti Sihite; Juhraini Helfiana Lexa

doi:10.58602/jaiti.v4i4.451

Andly Sofian Hasugian Universitas Negeri Medan
Dedy Kiswanto Universitas Negeri Medan
Yusrida Jelianti Sihite ^{(Corresponding Author)} Universitas Negeri Medan
Juhraini Helfiana Lexa Universitas Negeri Medan

DOI: https://doi.org/10.58602/jaiti.v4i4.451

Keywords: Asisten Virtual, ESP32-S3, Internet of Things, Large Language Model, Perintah Suara

Abstract

Keterbatasan memori dan daya komputasi pada mikrokontroler seperti ESP32-S3 menjadi hambatan utama dalam menjalankan pemrosesan bahasa alami berbasis Large Language Model (LLM) secara langsung. Sistem asisten suara berbasis LLM yang sudah ada, seperti Home Assistant (fitur Assist) dan Willow, memanfaatkan perangkat ESP sebagai antarmuka suara dengan pemrosesan di server, tetapi umumnya diarahkan pada otomasi rumah tangga, bukan pengendalian aplikasi pada laptop. Penelitian ini bertujuan merancang dan membangun asisten virtual terdistribusi bernama JARVIS berbasis Internet of Things (IoT) dan mikrokontroler ESP32-S3 untuk mengendalikan laptop melalui perintah suara secara real-time. Metode yang digunakan adalah Research and Development (R&D) dengan pendekatan prototyping, mengintegrasikan mikrofon I2S INMP441, layar TFT ST7735, amplifier MAX98357A, serta sistem pemrosesan kecerdasan buatan dua jalur (Dual-Path AI System). Mode Cloud (FRIDAY) memanfaatkan Google Gemini 2.5 Flash dan Groq (Llama 3.3 70B), sedangkan Mode Local (JARVIS) menjalankan model Qwen2.5-3B-Instruct hasil fine-tuning LoRA dengan keluaran JSON Schema terstruktur. Pengujian terkontrol terhadap 40 percobaan (5 pengulangan pada 4 kategori perintah) menunjukkan bahwa tingkat keberhasilan eksekusi akhir perintah laptop mencapai 95% (38 dari 40 percobaan) secara keseluruhan, di mana kegagalan inferensi model AI ditangani secara otomatis oleh fallback parser manual. Waktu tanggap (latency) total request handler rata-rata tercatat sebesar 1,91 detik pada Mode Cloud dan 18,11 detik pada Mode Local akibat pembebanan komputasi inferensi LLM dan Piper TTS pada CPU laptop. Kebaruan penelitian ini terletak pada integrasi antarmuka suara fisik ESP32-S3 dengan sistem eksekusi aplikasi laptop melalui arsitektur pemrosesan dual-path dalam satu sistem terpadu. Keterbatasan penelitian ini terletak pada tingginya latensi pemrosesan lokal di CPU laptop serta ketergantungan mode cloud terhadap stabilitas jaringan internet.

Downloads

Download data is not yet available.

References

H. Tyagi, M. Danish, G. Agarwal, and P. Mishra, “International Journal of INTELLIGENT SYSTEMS AND APPLICATIONS IN ENGINEERING Speech Recognition Intelligence System for Desktop voice Assistant by using AI &IoT.” [Online]. Available: www.ijisae.org

K. Basha, Ks. Murthy, and D. Shiva Prasad, “IJFANS INTERNATIONAL JOURNAL OF FOOD AND NUTRITIONAL SCIENCES DEVELOPMENT OF A PERSONAL VOICE ASSISTANT FOR REAL-TIME TASK EXECUTION,” 2012.

A. Nimishe, D. Suryawanshi, P. Pawar, S. Kanathe, V. Buwade, and K. Narware, “Desktop Voice Assistant,” IJIRCT2403062 International Journal of Innovative Research and Creative Technology (www.ijirct.org), p. 1, [Online]. Available: www.ijirct.org

M. Thukkaram, “Ava: A Privacy-Preserving Voice Assistant Using Client-Side WebAssembly Inference.”

N. P, S. R, P. H. C, and Y. P. K, “Kiki – A Virtual AI Desktop Aider,” Journal of Electronics and Informatics, vol. 6, no. 2, pp. 99–116, May 2024, doi: 10.36548/jei.2024.2.003.

H. Effendi and R. M. Saryadi, “Perancangan Sistem Deteksi Dan Pengenalan Perintah Suara Menggunakan Modul Esp 32 Dengan Metode Convolutional Neural Network (Cnn),” SAINSTECH: JURNAL PENELITIAN DAN PENGKAJIAN SAINS DAN TEKNOLOGI, vol. 33, no. 4, Dec. 2023, doi: 10.37277/stch.v33i4.1781.

R. G. M., J. P. R., D. S., P. A. G., S. F. V., and V. I., “Voice Controlled Application using ESP32,” Journal of Electrical Engineering and Automation, vol. 7, no. 3, pp. 217–228, Aug. 2025, doi: 10.36548/jeea.2025.3.002.

B. Sri Surani, A. Dharmawan, C. Asa Bakti, and U. AKI Semarang, “IMPLEMENTASI MIKROKONTROLER ESP32 UNTUK KONTROL BERBASIS PENGENALAN SUARA DAN CAHAYA DALAM SISTEM SMART HOME IMPLEMENTATION OF ESP32 MICROCONTROLLER FOR VOICE AND LIGHT RECOGNITION-BASED CONTROL IN SMART HOME SYSTEM,” Journal of Information Technology and Computer Science (INTECOMS), vol. 8, no. 5, 2025.

N. Amril, A. Achmad, A. Latief Arda, and P. Pascasarjana Universitas Handayani Makassar, “PENGONTROLAN PERALATAN RUMAH TANGGA DENGAN PERINTAH SUARA MENGGUNAKAN ESP32 BERBASIS IOT,” vol. 11, no. 1, 2026.

M. Sofiyan, A. Sudianto, and Z. Zulkipli, “Rancang Bangun Sistem Smart Home Berbasis Google Assistant dengan Kendali Perintah Suara,” Jurnal PRINTER: Jurnal Pengembangan Rekayasa Informatika dan Komputer, vol. 4, no. 1, Jun. 2026, doi: 10.29408/jprinter.v4i1.32686.

Mrs. V. Divya Vani, Dr. G. A. Kumar, K. Dharan, and Ch. Tharun, “Multilingual AI-Based Voice-Controlled Robotic System Using Distributed Architecture,” IJARCCE, vol. 15, no. 4, Apr. 2026, doi: 10.17148/ijarcce.2026.154126.

S. Bhaganagare, S. Chavan, S. Gavali, and V. V Godase, “Voice-Controlled Home Automation with ESP32: A Systematic Review of IoT-Based Solutions,” Journal of Microprocessor and Microcontroller Research, vol. 2, pp. 1–13.

N. K. G, J. Merlin. D, Harini. T, N. J, and Nishanth. C. N, “Intelligent Robotic Arm-Assisted Electrical Furnace for Efficient Metal Casting,” Int. J. Res. Appl. Sci. Eng. Technol., vol. 12, no. 5, pp. 7–15, May 2024, doi: 10.22214/ijraset.2024.61120.

R. Wahyudi, D. Kiswanto, W. Aulia, and S. A. Priscilia, “Journal of Artificial Intelligence and Engineering Applications Implementation of IoT and Machine Learning for Monitoring and Prediction of Tank Water Levels,” 2026. [Online]. Available: https://ioinformatic.org/

Prof. S. G. Madhikar, A. Khatavkar, S. Mahajan, and S. Hadge, “JARVIS: A Human Assistant Robot using ROS2 and Computer Vision,” International Journal of Science, Strategic Management and Technology, vol. 02, no. 06, pp. 1–9, Jun. 2026, doi: 10.55041/ijsmt.v2i6.093.

A. Adila, D. P. Lestari, A. Purwarianti, D. Tanaya, K. Azizah, and S. Sakti, “Enhancing Indonesian Automatic Speech Recognition: Evaluating Multilingual Models with Diverse Speech Variabilities,” in Proc. 2024 27th Conf. Oriental COCOSDA Int. Committee for the Co-ordination and Standardisation of Speech Databases and Assessment Techniques (O-COCOSDA), 2024, Art. no. 10800336, doi: 10.1109/O-COCOSDA64382.2024.10800336.

Dettmers, T., Pagnoni, A., Holtzman, A., & Zettlemoyer, L. (2023). QLoRA: Efficient finetuning of quantized LLMs. Advances in Neural Information Processing Systems, 36. https://doi.org/10.52202/075280-0441.

Y. A. Li, C. Han, V. Raghavan, G. Mischler, and N. Mesgarani, “StyleTTS 2: Towards Human-Level Text-to-Speech through Style Diffusion and Adversarial Training with Large Speech Language Models,” in Advances in Neural Information Processing Systems 36 (NeurIPS 2023), 2023, pp. 19594–19621, doi: 10.52202/075280-0860.