ردیابی شی در تصاویر ویدیویی

1. ردیابی شی در تصاویر ویدیویی • با استفاده از ویژگی های رنگ و بافت و شبکه های توابع اساسی شعاعی استاد راهنما: دکتر کرمی استاد مشاور: دکتر بالغی ارائه دهنده: علیرضا اسودی دانشگاه صنعتی نوشیروانی بابل شهریور 91

2. فهرست مطالب: مقدمه مروری بر پیشینه ی تحقیق روش پیشنهادی نتایج و پیشنهادات

3. نتایج و پیشنهادات روش پیشنهادی پیشینه ی تحقیق مقدمه ردیابی شی: تخمین مسیر حرکت یک شی وقتی که شی در صحنه حرکت می کند. کاربردها: بازشناسی براساس حرکت نظارت خودکار نمایه گذاری فایل های ویدیویی ارتباطات متقابل انسان و رایانه نظارت ترافیکی هدایت وسایل نقلیه …

4. نتایج و پیشنهادات روش پیشنهادی پیشینه ی تحقیق مقدمه طبقه بندی روش های ردیابی:

5. نتایج و پیشنهادات روش پیشنهادی پیشینه ی تحقیق مقدمه ردیابی نقاط • J. Yan, M. Pollefeys, A factorization • approach to articulated motion recovery,CVPR, 2005. ردیابی براساس هسته http://staff.science.uva.nl/~vnedovic/MMIR2004/meanShift.html روش تفریق زمینه ردیابی سیاه نما http://www.umiacs.umd.edu/~knkim/research/BGS/bgs.htm http://www.robots.ox.ac.uk/~ab/dynamics.html

6. نتایج و پیشنهادات روش پیشنهادی پیشینه ی تحقیق مقدمه تفریق زمینه: مزایا: سادگی و سرعت بالا ضعف ها: ناکارآمدی در ردیابی با دوربین متحرک، وجود حرکات در زمینه و تغییرات روشنایی در تصویر ردیابی سیاه نما: مزایا: مدل کردن اشیا غیرصلب و اشیا با شکل های پیچیده، یافتن ناحیه ی دقیق شی ضعف ها: کاهش عملکرد در حضور پس زمينه شلوغ، وجود لبه هاي قوي در پس زمينه و پوشیدگی توسط زمینه ردیابی براساس هسته: مزایا: مقاومت و قدرت نسبتا زیاد در مدل کردن اشیا و عملکرد مناسب در برابر پوشیدگی های جزیی ضعف ها: وارد شدن اطلاعات زمینه در مدل شی و ناتوانی در یافتن ناحیه ی دقیق شی در اغلب روش ها ی این دسته ردیابی نقاط: مزایا: مورد استفاده در کاربردهای جنبش شناسی و یافتن وضعیت هندسی شی ضعف ها: پیچیدگی تطبیق نقاط در فریم های متوالی بخصوص در هنگام پوشیدگی و ناتوانی در یافتن ناحیه ی دقیق شی

7. نتایج و پیشنهادات روش پیشنهادی پیشینه ی تحقیق مقدمه • بررسی روش های ردیابی مرتبط: تطابق قالب یک رویکرد جستجوی سراسری در تصویر برای یافتن یک ناحیه ی مشابه با قالب شی است. سه نمونه از معیارهای شباهت متداول عبارتند از: مجموع قدرمطلق تفاضلات (SAD) مجموع مربعات تفاضلات (SSD) همبستگی تقاطعی نرمالیزه شده (NCC) normxcorr2 مزایا: در بر داشتن اطلاعات مکانی پیکسل های شی. ضعف ها: ناکارآمدی بعلت تغییر زاویه ی شی. بروز رسانی قالب (مشکل لغزش). ناتوانی در مدل کردن دقیق شی و وارد شدن اطلاعات زمینه در مدل شی.

8. نتایج و پیشنهادات روش پیشنهادی پیشینه ی تحقیق مقدمه مزایا: حذف جستجوی سراسری کل تصویر. ضعف ها: نیاز دارد که در فریم بعدی حداقل قسمتی از شی درون ناحیه ی اولیه باشد. ناتوانی در مدل کردن دقیق شی و وارد شدن اطلاعات زمینه در مدل شی در اغلب روش های این دسته. استفاده از ویژگی رنگ به تنهایی باعث می شود که ردیاب به آسانی به اشیا مجاور شی اصلی که همرنگ با آن هستند منحرف شود. محدودیت های استفاده از هیستوگرام ها در روش هایی که از هیستوگرام استفاده می کنند مانند محدودیت در تعداد ویژگی ها بعلت بروز مشکل نحوست ابعاد. بجای قالب می توان از ویژگی ها مستقیم پیکسل ها (مانند رنگ) برای مدل کردن و ردیابی شی استفاده کرد. در اغلب رویکردهای این دسته تنها از ویژگی رنگ برای ردیابی استفاده شده است و بجای انجام جستجوی سراسری از پروسه ی جابجایی میانگین برای مکان یابی شی استفاده می شود.

9. نتایج و پیشنهادات روش پیشنهادی پیشینه ی تحقیق مقدمه یکی از مشکلات استفاده از قالب شی این است که اطلاعات ظاهر شی را تنها از یک زاویه ی دید در خود دارد برای غلبه بر این مشکل نماهای مختلف شی از قبل می تواند بصورت آفلاین به یک شبکه آموزش پذیر یاد داده شود و برای ردیابی مورد استفاده قرار گیرد. مزایا: حذف مشکل روش ردیابی قالب در مدل کردن شی تنها ازیک زاویه ی دید. ضعف ها: نیاز به پروسه ی یادگیری بصورت آفلاین. محدود بودن به ردیابی هدف از پیش آموزش داده شده.

10. نتایج و پیشنهادات روش پیشنهادی پیشینه ی تحقیق مقدمه انتخاب نواحی شی و زمینه: طول موج درجه اشباع درجه روشنايي میانگین واریانس دامنه تغییرات

11. نتایج و پیشنهادات روش پیشنهادی پیشینه ی تحقیق مقدمه جدا سازی شی از زمینه: آموزش شبکه عصبی توابع اساسی شعاعی بروش ماتریس شبه معکوس: Σ Σ ، امین خروجی شبکه عصبی تابع اساسی شعاعی است. وزن بین نرون خروجی و امین نرون گوسی است. ماتریس خروجی لایه ی نهان

12. نتایج و پیشنهادات روش پیشنهادی پیشینه ی تحقیق مقدمه آموزش شبکه عصبی Σ Σ Σ Σ

13. نتایج و پیشنهادات روش پیشنهادی پیشینه ی تحقیق مقدمه آزمایش شبکه عصبی Σ Σ

14. نتایج و پیشنهادات روش پیشنهادی پیشینه ی تحقیق مقدمه ویژگی های شی و زمینه: ویژگی های تشخیص داده شده بعنوان شی با رنگ سبز و ویژگی های تشخیص داده شده بعنوان زمینه با رنگ قرمز نمایش داده شده اند. مرز تصمیم حاصل از شبکه عصبی اول:

15. نتایج و پیشنهادات روش پیشنهادی پیشینه ی تحقیق مقدمه نتیجه ردیابی بدون گسترش زمینه برای شی نمونه:

16. نتایج و پیشنهادات روش پیشنهادی پیشینه ی تحقیق مقدمه گسترش زمینه: ویژگی های تشخیص داده شده بعنوان شی با رنگ سبز و ویژگی های تشخیص داده شده بعنوان زمینه با رنگ قرمز نمایش داده شده اند. گسترش زمینه الگوریتم گسترش زمینه:

17. نتایج و پیشنهادات روش پیشنهادی پیشینه ی تحقیق مقدمه Σ Σ Σ

18. نتایج و پیشنهادات روش پیشنهادی پیشینه ی تحقیق مقدمه همه ی نقاط فضای ویژگی Σ ویژگی های شی و زمینه مرز تصمیم شبکه عصبی اول مرز تصمیم شبکه عصبی دوم

19. نتایج و پیشنهادات روش پیشنهادی پیشینه ی تحقیق مقدمه مکان یابی شی در فریم های بعدی:

20. نتایج و پیشنهادات روش پیشنهادی پیشینه ی تحقیق مقدمه جبران سازی تغییرات در اندازه ی شی:

21. نتایج و پیشنهادات روش پیشنهادی پیشینه ی تحقیق مقدمه جبران سازی تغییرات در مدل شی:

22. نتایج و پیشنهادات روش پیشنهادی پیشینه ی تحقیق مقدمه مسیر حرکت بدست آمده از روش پیشنهادی با روش های تطابق قالب (بروش NCC) و جابجایی میانگین مقایسه شد. پایگاه های داده ی مورد استفاده شامل: پایگاه داده ی PETS 2000که شامل سناریو هایی از حرکات انسان ها و اتومبیل ها با دوربین ثابت است. پایگاه داده ی PETS 2001که شامل سناریو هایی از حرکات انسان ها و اتومبیل ها با دوربین ثابت است. پایگاه داده ی CAVIAR شامل حرکات انسان ها در مکان های عمومی با دوربین ثابت است. پایگاه داده ی VIVID شامل سناریو هایی از حرکات اتومبیل ها است که بصورت هوایی و با دوربین متحرک در حالت های رنگی یا مادون قرمز فیلمبرداری شده است. روش پیشنهادی توسط مستطیل صلب با رنگ قرمز، روش تطابق قالب توسط مستطیل سبز خط- نقطه، روش جابجایی میانگین با مستطیل صورتی خط چین نمایش داده شده است.

23. نتایج و پیشنهادات روش پیشنهادی پیشینه ی تحقیق مقدمه تغییرات زمینه ی اطراف شی و پوشیدگی جزیی: روش پیشنهادی توسط مستطیل صلب با رنگ قرمز روش تطابق قالب توسط مستطیل سبز خط- نقطه روش جابجایی میانگین با مستطیل صورتی خط چین نمایش داده شده است. نمایش دقت ردیابی روش پیشنهادی (خط صلب با رنگ قرمز) روش تطابق قالب (خط- نقطه با رنگ سبز) جابجایی میانگین (خط چین صورتی)

24. نتایج و پیشنهادات روش پیشنهادی پیشینه ی تحقیق مقدمه تغییرات در اندازه ی شی: روش پیشنهادی توسط مستطیل صلب با رنگ قرمز روش تطابق قالب توسط مستطیل سبز خط- نقطه روش جابجایی میانگین با مستطیل صورتی خط چین نمایش داده شده است. نمایش دقت ردیابی روش پیشنهادی (خط صلب با رنگ قرمز) روش تطابق قالب (خط- نقطه با رنگ سبز) جابجایی میانگین (خط چین صورتی)

25. نتایج و پیشنهادات روش پیشنهادی پیشینه ی تحقیق مقدمه بروز رسانی مدل شی و زمینه: روش پیشنهادی توسط مستطیل صلب با رنگ قرمز روش تطابق قالب توسط مستطیل سبز خط- نقطه روش جابجایی میانگین با مستطیل صورتی خط چین نمایش داده شده است. نمایش دقت ردیابی روش پیشنهادی (خط صلب با رنگ قرمز) روش تطابق قالب (خط- نقطه با رنگ سبز) جابجایی میانگین (خط چین صورتی)

26. نتایج و پیشنهادات روش پیشنهادی پیشینه ی تحقیق مقدمه شباهت زیاد رنگ شی و زمینه: روش پیشنهادی توسط مستطیل صلب با رنگ قرمز روش تطابق قالب توسط مستطیل سبز خط- نقطه روش جابجایی میانگین با مستطیل صورتی خط چین نمایش داده شده است. نمایش دقت ردیابی روش پیشنهادی (خط صلب با رنگ قرمز) روش تطابق قالب (خط- نقطه با رنگ سبز) جابجایی میانگین (خط چین صورتی)

27. نتایج و پیشنهادات روش پیشنهادی پیشینه ی تحقیق مقدمه دوربین متحرک: روش پیشنهادی توسط مستطیل صلب با رنگ قرمز روش تطابق قالب توسط مستطیل سبز خط- نقطه روش جابجایی میانگین با مستطیل صورتی خط چین نمایش داده شده است. نمایش دقت ردیابی روش پیشنهادی (خط صلب با رنگ قرمز) روش تطابق قالب (خط- نقطه با رنگ سبز) جابجایی میانگین (خط چین صورتی)

28. نتایج و پیشنهادات روش پیشنهادی پیشینه ی تحقیق مقدمه دوربین متحرک همراه با تغییرات روشنایی: روش پیشنهادی توسط مستطیل صلب با رنگ قرمز روش تطابق قالب توسط مستطیل سبز خط- نقطه روش جابجایی میانگین با مستطیل صورتی خط چین نمایش داده شده است. نمایش دقت ردیابی روش پیشنهادی (خط صلب با رنگ قرمز) روش تطابق قالب (خط- نقطه با رنگ سبز) جابجایی میانگین (خط چین صورتی)

29. نتایج و پیشنهادات روش پیشنهادی پیشینه ی تحقیق مقدمه دوربین مادون قرمز متحرک همراه با تغییرات روشنایی: روش پیشنهادی توسط مستطیل صلب با رنگ قرمز روش تطابق قالب توسط مستطیل سبز خط- نقطه روش جابجایی میانگین با مستطیل صورتی خط چین نمایش داده شده است. نمایش دقت ردیابی روش پیشنهادی (خط صلب با رنگ قرمز) روش تطابق قالب (خط- نقطه با رنگ سبز) جابجایی میانگین (خط چین صورتی)

30. نتایج و پیشنهادات روش پیشنهادی پیشینه ی تحقیق مقدمه ردیابی در دنباله تصاویر نویزی: روش پیشنهادی توسط مستطیل صلب با رنگ قرمز، روش تطابق قالب توسط مستطیل سبز خط- نقطه و روش جابجایی میانگین با مستطیل صورتی خط چین نمایش داده شده است.

31. نتایج و پیشنهادات روش پیشنهادی پیشینه ی تحقیق مقدمه

32. نتایج و پیشنهادات روش پیشنهادی پیشینه ی تحقیق مقدمه بررسی و مقایسه ی سرعت الگوریتم: سرعت الگوریتم بسیار وابسته به نحوه ی پیاده سازی الگوریتم زمان لازم برای یک شی انتخاب شده با ابعاد 40* 25 که آزمایشات توسط یک کامپیوتر با پردازشگر دو هسته ای GHz 2 با حافظه GB 1 و تحت b2008 MATLAB انجام گرفت. با فرض استفاده از ساختار موازی برای پیاده سازی شبکه عصبی زمان لازم برای پردازش فریم اول 1.14 ثانیه است. زمان لازم برای فریم های بعدی (با فرض 4 تکرار برای جابجایی میانگین) برابر 1.56 ثانیه خواهد بود. زمان پردازش بدست آمده برای هر فریم برای روش پیشنهادی، روش تطابق قالب و جابجایی میانگین.

33. نتایج و پیشنهادات روش پیشنهادی پیشینه ی تحقیق مقدمه ضعف ها: نیاز دارد که در فریم بعدی حداقل قسمتی از شی درون ناحیه ی اولیه باشد ناتوانی در ردیابی شی در پوشیدگی های کلی عدم استفاده از اطلاعات مکانی پیکسل های شی ناتوانی در یافتن ناحیه ی دقیق شی در حضور پس زمينه شلوغ دارای حجم محاسباتی نسبتا بالاتر و کندتر بودن بعلت استفاده از ویژگی های بافت مزایا: امکان استفاده از ویژگی های متعدد و کنار گذاشتن محدودیت های روش های براساس هیستوگرام ها جداسازی شی از زمینه و مدل کردن دقیق شی و حذف اطلاعات زمینه از مدل شی یافتن ناحیه ی نسبتا دقیق شی با وجود متحرک بودن دوربین در زمينه های ساده عدم نیاز به پروسه ی یادگیری بصورت آفلاین عدم نیاز به جستجوی سراسری کل تصویر توانایی جبران سازی تغییرات در اندازه ی شی توانایی جبران سازی تغییرات در زمینه و شی و تغییرات در روشنایی تصویر توانایی ردیابی شی با وجود حرکات دوربین عملکرد مناسب در برابر پوشیدگی های جزیی عملکرد مناسب در دنباله ی تصاویر مادون قرمز عملکرد مناسب در دنباله ی تصاویر نویزی

34. نتایج و پیشنهادات روش پیشنهادی پیشینه ی تحقیق مقدمه پیشنهادات: 1. ترکیب روش پیشنهادی با یک روش پیش بینی مانند فیلتر کالمن یا فیلترهای ذره ای برای توانایی ردیابی شی در پوشیدگی های کلی و حذف نیاز به اینکه در فریم بعدی حداقل قسمتی از شی درون ناحیه ی اولیه باشد. 2. بکارگیری اطلاعات مکانی پیکسل های شی 3. ساخت شبکه عصبی که بسته به اندازه ی شی ورودی و تعداد و توزیع رنگ و بافت های آن بطور خودکار تعداد نرون بهینه را برای آن شی تعیین کند. 4. استفاده از ساختارهایی از شبکه عصبی با رویکرد یادگیری افزایشی تا مدل های مختلف شی را بصورت افزایشی در طول ردیابی بیاموزد.

35. مقالات استخراج شده از پایان نامه: مقالات مجله: • A. Asvadi, M. Karami-Mollaie, Y. Baleghi, “Efficient Object Tracking Using Optimized K-means Segmentation and Radial Basis Function Neural Networks,” International Journal of Information and Communication Technology (IJICT Journal), June 2012. مقالات کنفرانسی: • 2. A. Asvadi, M. Karami-Mollaie, Y. Baleghi, “Object Tracking Using Adaptive Object Color Modeling,” in: Proceedings of 4th conference on information and knowledge technology (IKT2012), May 2012. • 3. A. Asvadi, M. Karami-Mollaie, Y. Baleghi, H. Seyyedi-Andi, “Improved Object Tracking Using Radial Basis Function Neural Networks,” in: Proceedings of 7th Iranian Machine Vision and Image Processing (MVIP2011), November 2011, IEEE indexed. (Selected as a top 16 English papers of MVIP2011)

36. با تشکر از توجه شما

37. نتایج و پیشنهادات روش پیشنهادی پیشینه ی تحقیق مقدمه • پارامتر های شبکه عصبی توابع اساسی شعاعی اول: • وزن های بین لایه ی میانی و لایه ی خروجی • نوع تابع فعالساز • مراکز توابع فعالساز • شعاع مراکز توابع فعالساز • تعداد نرون های لایه ی میانی

38. نتایج و پیشنهادات روش پیشنهادی پیشینه ی تحقیق مقدمه ویژگی ها و تابع هدف بکار رفته در آموزش شبکه عصبی: ویژگی های متناظر با مقادیر یک در تابع هدف با رنگ سبز و ویژگی های متناظر با مقادیر صفر در تابع هدف با رنگ قرمز نمایش داده شده اند.

39. نتایج و پیشنهادات روش پیشنهادی پیشینه ی تحقیق مقدمه نتیجه ی بدست آمده از آزمایش شبکه عصبی: ویژگی های متناظر با مقادیر یک در تابع هدف با رنگ سبز و ویژگی های متناظر با مقادیر صفر در تابع هدف با رنگ قرمز نمایش داده شده اند.

40. نتایج و پیشنهادات روش پیشنهادی پیشینه ی تحقیق مقدمه • پارامتر های شبکه عصبی توابع اساسی شعاعی دوم: • وزن های بین لایه ی میانی و لایه ی خروجی • نوع تابع فعالساز • مراکز توابع فعالساز • شعاع مراکز توابع فعالساز • تعداد نرون های لایه ی میانی

41. نتایج و پیشنهادات روش پیشنهادی پیشینه ی تحقیق مقدمه

42. نتایج و پیشنهادات روش پیشنهادی پیشینه ی تحقیق مقدمه موارد ردیابی اشتباه: تاثیر انتخاب اندازه پنجره برای ردیابی شی استفاده از تنها چهارچوب شی (و نه چهارچوب زمینه) برای محاسبه ی مرکز ثقل شی در ترکیب با روش های پیش بینی مکان شی. استفاده از هسته ی فاصله ای