بازشناسی حالات هیجانی چهره و صدا بااستفاده از مدل Deep-BEL | ||
| مدل سازی در مهندسی | ||
| مقالات آماده انتشار، پذیرفته شده، انتشار آنلاین از 15 آذر 1404 | ||
| نوع مقاله: مقاله کامپیوتر | ||
| شناسه دیجیتال (DOI): 10.22075/jme.2025.32615.2578 | ||
| نویسندگان | ||
| سارا معتمد* ؛ الهام عسکری | ||
| گروه کامپیوتر، واحد فومن و شفت ، دانشگاه آزاد اسلامی ، فومن، ایران | ||
| چکیده | ||
| در سالهای اخیر، بازشناسی هیجان به عنوان یکی از مؤلفههای کلیدی در تعامل طبیعی انسان و کامپیوتر مورد توجه بسیاری از پژوهشگران قرار گرفته است. بازشناسی مبتنی بر تنها یکی از مدالیتهها (گفتار یا تصویر چهره) معمولاً با ابهامات همراه است، ازاینرو همجوشی اطلاعات چندحسی میتواند عملکرد دقیقتری ارائه دهد. در این مقاله روشی ترکیبی برای بازشناسی هیجان بر اساس گفتار هیجانی، تصاویر مرئی حالات چهره و تصاویر مادون قرمز ارائه میشود. در گام نخست، از شبکههای عمیق برای استخراج بازنماییهای غنی از دادههای شنیداری و دیداری استفاده شده و سپس مدل یادگیری هیجانی مغز(BEL)، الهامگرفته از سیستم لیمبیک، برای همجوشی سه مدالیته بهکار گرفته شده است. روش پیشنهادی بر روی پایگاه داده چندرسانهایEnterface’05 ارزیابی شد و نتایج نشان داد که مدل ارائهشده به دقت 96.20٪ دست یافت که نسبت به سایر روشهای همجوشی در همین پایگاه داده بهبود قابل توجهی دارد. این نتایج نشاندهنده کارایی و قابلیت تعمیم بالای مدل Deep-BEL در کاربردهای تعامل انسان–کامپیوتر است. | ||
| کلیدواژهها | ||
| بازشناسی هیجان؛ حالات هیجانی چهره و صدا؛ شبکههای عصبی کانولوشنی؛ مدل یادگیری هیجانی مغز؛ سیستم لیمبیک مغز | ||
|
آمار تعداد مشاهده مقاله: 178 |
||
| تعداد نشریات | 22 |
| تعداد شمارهها | 718 |
| تعداد مقالات | 10,319 |
| تعداد مشاهده مقاله | 72,316,450 |
| تعداد دریافت فایل اصل مقاله | 64,040,658 |