Hand Gesture Recognition Based on EEG-EMG Coherence Analysis and Convolutional Neural Network with Application in Intelligent Police Control Systems

Iman Ahanian; Mohammadreza Ansari; Fardad Farokhi

نویسندگان

ایمان آهنیان گروه مهندسی پزشکی، واحد تهران جنوب، دانشگاه آزاد اسلامی، تهران، ایران نویسنده مسئول https://orcid.org/0000-0003-4655-7309
محمدرضا انصاری گروه مهندسی پزشکی، واحد تهران جنوب، دانشگاه آزاد اسلامی، تهران، ایران نویسنده https://orcid.org/0009-0009-4823-3237
فرداد فرخی گروه مهندسی پزشکی، واحد تهران جنوب، دانشگاه آزاد اسلامی، تهران، ایران نویسنده https://orcid.org/0000-0002-6045-5424

کلمات کلیدی:

تشخیص حرکت دست, سیگنال‌های EEG, سیگنال‌های EMG, شبکه عصبی عمیق, رابطه انسجامی

چکیده

تشخیص حرکت دست با بهره‌گیری از سیگنال‌های مغزی (EEG) و عضلانی (EMG) یکی از موضوعات محوری در علوم اعصاب و مهندسی پزشکی به شمار می‌رود و در حوزه‌هایی نظیر کنترل پروتزهای عصبی، رابط‌های مغز-رایانه و توانبخشی بیماران دچار اختلالات حرکتی کاربرد فراوان دارد. شناسایی دقیق و سریع حرکات دست می‌تواند به ارتقای کیفیت زندگی افراد دارای ناتوانی‌های حرکتی کمک کرده و در توسعه سامانه‌های هوشمند کنترل حرکتی نقشی اساسی ایفا کند. در این پژوهش، رویکردی نوین برای تشخیص حرکت دست مبتنی بر سیگنال‌های EEG و EMG و استفاده از شبکه‌های عصبی عمیق ارائه شده است. در این روش، با به‌کارگیری مراحل پیش‌پردازش سیگنال، استخراج ویژگی‌های غیرخطی و طبقه‌بندی مبتنی بر شبکه‌های عصبی، دقت و سرعت تشخیص بهبود یافته است. افزون بر این، مفهوم رابطه‌ی انسجامی میان سیگنال‌های EEG و EMG برای تحلیل ارتباط عملکردی مغز و عضله به کار گرفته شده است. ارزیابی تغییرات رابطه‌ی انسجامی بین اتصالات سیگنال‌های EEG و EMG با چگالی بالا، امکان تشخیص دقیق‌تر حرکات دست را فراهم کرده است. نتایج آزمایش‌ها نشان می‌دهد روش پیشنهادی در مقایسه با روش‌های موجود از صحت بالاتری برخوردار است. بهره‌گیری از شبکه عصبی کانولوشنی عمیق همراه با تحلیل روابط انسجامی میان سیگنال‌ها، دقت تشخیص حرکت دست را به شکل قابل توجهی افزایش داده است؛ ارزیابی‌های کمی نشان می‌دهند که مدل بر روی داده‌های آموزش، آزمون و کل داده‌ها به‌ترتیب با مقادیر AUC برابر 0.987، 0.919 و 0.971 و ضرایب تعیین R² برابر 0.9956، 0.9803 و 0.9679، عملکردی پایدار و قابل‌اتکا ارائه می‌کند.

مراجع

Çelik, Y., & Can, U. (2026). Surface EMG-Based Hand Gesture Recognition Using a Hybrid Multistream Deep Learning Architecture. Sensors, 26(7), 2281.

Cha, D., Lee, D.-G., & Ahn, S. (2026). Adversarially regularized transformer with channel-wise noise for robust hand gesture recognition using surface electromyography. Biomedical Engineering Letters, 16(2), 463-472.

Guerrero-Mendez, C. D., & Ruiz-Olaya, A. F. (2022). Coherence-based connectivity analysis of EEG and EMG signals during reach-to-grasp movement involving two weights. Brain-Computer Interfaces, 9(3), 140-154.

Hu, X., Song, A., Wang, J., Zeng, H., & Wei, W. (2022). Finger movement recognition via high-density electromyography of intrinsic and extrinsic hand muscles. Scientific Data, 9(1), 373.

Kadavath, M. R. K., Nasor, M., & Imran, A. (2024). Enhanced hand gesture recognition with surface electromyogram and machine learning. Sensors, 24(16), 5231.

Kim, K. K., Zaluska, T. J., Skov, S., Lee, Y., Park, H., Zhong, D., Khatib, M., Nishio, Y., Jiang, Y., & Delp, S. L. (2026). A simplified wearable device powered by a generative EMG network for hand-gesture recognition and gait prediction. Nature Sensors, 1(1), 27-38.

López, L. I. B., Ferri, F. M., Zea, J., Caraguay, Á. L. V., & Benalcázar, M. E. (2024). CNN-LSTM and post-processing for EMG-based hand gesture recognition. Intelligent Systems with Applications, 22, 200352.

Maghsoudi, A., Shalbaf, A. J. J. o. B. P., & Engineering. (2022). Hand motor imagery classification using effective connectivity and hierarchical machine learning in EEG signals. 12(2), 161.

Miah, A. S. M., Shin, J., & Hasan, M. A. M. (2024). Effective features extraction and selection for hand gesture recognition using sEMG signal. Multimedia tools and applications, 83(37), 85169-85193.

Montazerin, M., Rahimian, E., Naderkhani, F., Atashzar, S. F., Yanushkevich, S., & Mohammadi, A. J. S. R. (2023). Transformer-based hand gesture recognition from instantaneous to fused neural decomposition of high-density EMG signals. 13(1), 11000.

Oyemakinde, T. T., Kulwa, F., Peng, X., Liu, Y., Cao, J., Deng, X., Wang, M., Li, G., Samuel, O. W., & Fang, P. (2025). A novel sEMG-FMG combined sensor fusion approach based on an attention-driven CNN for dynamic hand gesture recognition. IEEE Transactions on Instrumentation and Measurement.

Valdivieso Caraguay, Á. L., Vásconez, J. P., Barona López, L. I., & Benalcázar, M. E. J. S. (2023). Recognition of Hand Gestures Based on EMG Signals with Deep and Double-Deep Q-Networks. 23(8), 3905.

Xi, X., Ma, C., Yuan, C., Miran, S. M., Hua, X., Zhao, Y.-B., & Luo, Z. (2020). Enhanced EEG–EMG coherence analysis based on hand movements. Biomedical Signal Processing and Control, 56, 101727.

Yang, J., Cha, D., Lee, D.-G., & Ahn, S. (2025). STCNet: Spatio-temporal cross network with subject-aware contrastive learning for hand gesture recognition in surface EMG. Computers in Biology and Medicine, 185, 109525.

Zhang, C., Zhou, D., Fang, Y., Kubota, N., & Ju, Z. (2025). Surface EMG Sensing and Granular Gesture Recognition for Rehabilitative Pouring Tasks: A Case Study. Biomimetics, 10(4), 229.

Zhang, G., Davoodnia, V., Sepas-Moghaddam, A., Zhang, Y., & Etemad, A. J. I. S. J. (2019). Classification of hand movements from EEG using a deep attention-based LSTM network. 20(6), 3113-3122.