توصیف خودکار تصویر مبتنی بر شبکه های عصبی کانولوشنی با بهره گیری از مکانیزم توجه | ||
| مدل سازی در مهندسی | ||
| دوره 23، شماره 82، پاییز 1404، صفحه 11-21 اصل مقاله (640.88 K) | ||
| نوع مقاله: مقاله پژوهشی | ||
| شناسه دیجیتال (DOI): 10.22075/jme.2025.33378.2629 | ||
| نویسندگان | ||
| فاطمه امیری* ؛ فرشته احمدی | ||
| گروه مهندسی کامپیوتر، دانشگاه صنعتی همدان، همدان، ایران | ||
| چکیده | ||
| به فرایند اختصاص دادن توضیحات یا شرح متنی به تصاویر یا عکسها توصیف تصویر اطلاق میشود. برای توصیف تصویر ابتدا لازم است که اشیا درون تصویر، ویژگی این اشیا و ارتباط میان آنان به درستی تشخیص داده شود و سپس جملاتی که از نظر گرامری و معنایی درست هستند، تولید شوند. در این تحقیق از معماری رمزگذار-رمزگشا جهت تولید توصیفات متنی استفاده شده است. مدل پیشنهادی شامل یک شبکهResNet به عنوان رمزگذار جهت استخراج ویژگیهای بصری تصویر است. در بخش رمزگشا شبکه کانولوشنی با چهار لایه جهت تولید توصیفات در مدل زبانی ارایه شده است. برای نشان دادن موثرتر ویژگی های حاصل از تصویر و درک روابط بین اشیا از یک ساز و کارتوجه استفاده شده است که قابلیت توجه به تصویر ورودی و مدل زبانی را دارد. کارایی مدل پیشنهادی بر روی مجموعه داده های MSCOCO و Flickr مورد ارزیابی قرار گرفته است. نتایج آزمایشگاهی نشان میدهد کارایی معماری پیشنهادی بر اساس معیارBleu1 و Meteor نسبت به پژوهشهای جدید برتری دارد درحالیکه زمان آموزش مدل پیشنهادی در مقایسه با پژوهشهای جدید کاهش یافته است. | ||
| کلیدواژهها | ||
| توصیف تصویر؛ معماری رمزگذار-رمزگشا؛ سازوکار توجه؛ شبکه های کانولوشن | ||
| مراجع | ||
|
| ||
|
آمار تعداد مشاهده مقاله: 1,159 تعداد دریافت فایل اصل مقاله: 377 |
||
| تعداد نشریات | 22 |
| تعداد شمارهها | 722 |
| تعداد مقالات | 10,383 |
| تعداد مشاهده مقاله | 72,838,565 |
| تعداد دریافت فایل اصل مقاله | 64,535,091 |