Оптимизация энергии в задачах компьютерного зрения и алгоритмы на графах

1. Оптимизация энергии в задачах компьютерного зрения и алгоритмы на графах Мини-курс, Computer Science Club, Санкт-Петербург, 2010 Виктор Лемпицкий

2. Что такое компьютерное зрение? Компьютерная графика Изображение сцены Описание сцены Компьютерное зрение

3. Из истории вопроса... План на август: Сегментация на объекты Распознавание отдельных объектов

4. Сегментация Пример из Berkeley Segmentation Dataset: Оба ответа верные! Задача плохо определена...

5. Бинарная сегментация • ...или разбиение на фон/объект

6. “Умные ножницы”[Mortensen & Barett, 1995] aka “magnetic lasso” (Photoshop), “livewire”

7. От картинки к графу[Mortensen & Barett, 1995]

8. Выбор весов для графа[Mortensen & Barett, 1995]

9. Выбор весов для графа [Mortensen & Barett, 1995]

10. Сегментация кратчайшими путями[Mortensen & Barett, 1995] Граница = цепь кратчайших путей

11. “Умные ножницы”[Mortensen & Barett, 1995] images from[Mortensen&Barett,1999]

12. Seam Carving: изменение размера[Avidan & Shamir, 2007]

13. Seam Carving[Avidan & Shamir, 2007]

14. Стереопары from Agnes Svoboda Morris collection

15. Стереосопоставление Тестовая стереопара(University of Tsukuba) Карта смещений

16. Немного геометрии b h d Глубина 1/Смещение f b

17. Стерео: локальный подход

18. Стерео: локальный подход Результаты

19. Сканлайн Stereopair from Middlebury stereo webpage

20. От стерео к кратчайшим путям λ смещение λ +∞ λ λ λ пиксель

21. Стерео и энергии Построили алгоритм для: Хотим:

22. Новая конструкция графа +λ смещение +0 +λ +λ +λ +λ пиксель

23. Результаты Ground truth: Оптимизация вдоль сканлайна

24. Динамическое программирование

25. Динамическое программирование

26. Передача сообщений

27. Передача сообщений

28. Передача сообщений Док-во: индукция

29. Передача сообщений

30. Распространение сообщений Вывод: распространение сообщений находит минимум энергии – в отсутствии «ничьих» просто берем оптимальное dt в каждой вершине.

31. Стоимость передачи сообщения Задача: сколько операций надо для подсчета сообщения в нашем случае Ответ: O(D). Вся оптимизация требует O(WD) – быстрее, чем «наивный» кратчайший путь А в этих случаях?:

32. Что получилось Ground truth: Оптимизация вдоль сканлайна Проблема: сканлайны друг с другом не связаны

33. От строк к дереву[Veksler, 2005]

34. Выбор дерева Перепады цвета коррелируют с перепадами глубины Минимальное остовное дерево!

35. От строк к дереву[Veksler, 2005]

36. От строк к дереву

37. Динамическое программирование t t

38. Передача сообщений t i i

39. Передача сообщений t Доказательство: Назначить t корнем Провести индукцию от листьев

40. Пересылка сообщений: расписание Сложность: всего O(ED) !

41. Pictorial structures[FelzenszwalbHuttenlocker 05] Image from BioID/FGNet dataset Обучается на тренировочных данных 2

42. Pictorial structures 2 Угол правой брови Левая ноздря

43. Pictorial structures Независимый поиск точек Pictorial structure result Квадратичная функция Идея [Felzenszwalb&Huttenlocher 05]: как быстро передать сообщение

44. Обобщаем дальше? Хотим:

45. Динамическое программирование? t

46. Пересылка сообщений • [Pearl 1988]: “Loopy Belief Propagation” • Сообщения передаются много раундов • Эвристика: нет гарантий на сходимость/близость к минимуму • Результат зависит от расписания/инициализации • Эмпирически, часто дает очень хороший результат

47. Полная модель: результат

48. Увеличение разрешения[Freeman,Paztor,Carmichael,Jones 2000] Средние частоты Высокие частоты = ?

49. Увеличение разрешения [Freeman,Paztor,Carmichael,Jones 2000]

50. Увеличение разрешения [Freeman,Paztor,Carmichael,Jones 2000]