تشخیص رفتار غیرعادی راننده با استفاده از شبکه عصبی عمیق برروی کامپیوترهای کوچک

چکیده

در این پژوهش، یک دوربین هوشمند با قابلیت یادگیری مفهوم و پردازش داخلی طراحی شده است که از یک بستر ارتباطی پرسرعت برخوردار است که هزینه انتقال تصاویر را به حداقل می رساند. در این دوربین از ساختار پردازش موازی بر روی دو پردازنده به صورت همزمان استفاده می شود. همچنین، با استفاده از الگوریتم طبقه‌بند افزایشی بر روی وزن‌های طبقه‌بندی برگرفته از هر دوربین، وزن‌های داخلی همه آنها در بازه‌های زمانی تعریف شده، به صورت برخط به‌روزرسانی می‌گردد.

مقدمه

انگیزه طراحی و ساخت چنین سیستمی، ایجاد بستری هوشمند برای سیستم‌های نظارت تصویری و آنلاین است که بتواند بدون نیاز به حضور نیروی انسانی و به صورت مستمر و هوشمند، محیط را پردازش کند.

سیستم پیشنهادی

IPS3
طرح‌واره روش زمان ورود

فلوچارت روش پیشنهادی

سیستم از دو بخش کلی تشکیل شده است:

  • بخش داخل خودرو:
    • سخت افزار
    • الگوریتم تشخیص
  • سرور مرکزی (بخش خارجی خودرو):
    • رابط کاربری گرافیکی (GUI)
    • بانک اطلاعاتی

روش پیشنهادی

اجزای اصلی سیستم:

  1. ارائه ساختار و شکل ظاهری مناسب
  2. سخت‌افزار مناسب شرایط محیطی
  3. پردازش تصویر و سیستم یادگیر با دقت قابل قبول
  4. پیاده‌سازی بستر مخابراتی
  5. پایگاه‌داده برای ذخیره‌سازی
  6. رابط گرافیکی برای تحلیل اطلاعات
OPT
محاسبه پارامترهای بهینه

تهیه سخت افزار

قطعات استفاده شده:

  • برد Raspberry Pi 3
  • برد Tinker Board
  • دوربین ۸ مگاپیکسل دید در شب
  • سنسورهای مادون قرمز
  • مودم اینترنت همراه
  • حافظه ۳۲ گیگابایتی
چیدمان ماتریسی تصاویر

نمایش سخت افزار

IPS3
سخت افزار نمای 1
IPS3
سخت افزار نمای 2

طراحی نرم افزاری و سرور

  • سرور تحت وب با حافظه ۱۴ گیگابایت
  • پایگاه‌داده PostgreSQL
  • فریم‌ورک Pyramid برای رابط کاربری
  • نرم‌افزار تحت وب گرافیکی
چیدمان ماتریسی تصاویر

برخی صفحات طراحی شده

IPS3
سامانه هوشمند تشخیص تخلفات
IPS3
مشخصات

الگوریتم تشخیص

کلاس‌های تشخیص:

  • رفتار عادی
  • استعمال دخانیات
  • صحبت کردن با تلفن همراه
  • ارسال پیامک

مراحل پردازش:

  1. پیش‌پردازش تصویر
  2. استخراج ویژگی‌ها
  3. طبقه‌بندی
  4. ارسال نتیجه

شبکه عصبی مورد استفاده

شبکه‌های مورد بررسی:

  • AlexNet (دقت ۶۱٪)
  • MobileNet (دقت ۶۳٪)
  • ResNet50 (دقت ۶۷٪)
  • DenseNet (دقت ۷۱٪) - انتخاب نهایی

ارزیابی سیستم

مجموعه داده

داده‌های جمع‌آوری شده:

  • کلاس عادی: ۱۴۰۵۰ تصویر
  • استعمال دخانیات: ۱۱۷۳۰ تصویر
  • صحبت با تلفن: ۱۱۷۳۵ تصویر
  • ارسال پیامک: ۱۳۶۴۵ تصویر
  • مجموع: ۵۱۱۶۰ تصویر
چیدمان ماتریسی تصاویر

رفتار غیرنرمال

abnorma1
رفتار غیرنرمال سیگار کشیدن
ab2
رفتار غیرنرمال نگاه کردن به موبایل در حین رانندگی

نتایج

  • دقت کلی سیستم: ۶۹٪
  • دقت در داده‌های روز: ۷۱٪
  • دقت در داده‌های شب: ۶۷٪
  • بهبود دقت با روش افزایشی: به ۷۳٪
چیدمان ماتریسی تصاویر

رفتار

abnorma1
رفتار نرمال
ab2
رفتار غیرنرمال مکالمه با موبایل در حین رانندگی

نتیجه‌گیری

سیستم طراحی شده توانست با موفقیت پیاده‌سازی شود و چالش‌های محیط واقعی را حل کند. این سیستم قابلیت توسعه برای کاربردهای دیگر مانند تشخیص سرقت و نظارت بر بیماران را دارد.

graph TD
    A[دوربین هوشمند] --> B[پردازش موازی]
    B --> C[تشخیص رفتار]
    C --> D[ارسال نتایج]
    D --> E[سرور مرکزی]
    E --> F[ذخیره در پایگاه داده]
    F --> G[نمایش در رابط کاربری]
OPT
فلوچارت

جزییات بیشتر در پایان نامه سید محمد حسینی کارشناسی ارشد از دانشگاه فردوسی مشهد