Построение 3 D модели сцены по одному фотоснимку

1. Построение 3D модели сцены по одному фотоснимку Дмитрий Вихарев студент магистратуры ГУ-ВШЭ twitter.com/vikds Cornell University Make3D Project: http://make3d.cs.cornell.edu/

2. Наглядный пример http://www.flickr.com/photos/lofink/4501610335/

3. Особенность проекта diff monocular cues

4. Современно? Основная статья, разъясняющая механизм обработки фотоснимков: Make3D: Learning 3-D Scene Structure from a Single Still Image (2008) AshutoshSaxena Andrew Y. Ng Make3D: Learning 3-D Scene Structure from a Single Still Image 3-D Depth Reconstruction from a Single Still Image i23 - Rapid Interactive 3D Reconstruction from a Single Image Learning Depth from Single Monocular Images 2005 2006 2007 2008 2009 2010 2011 http://www.flickr.com/photos/lofink/4501610335/

5. Computer vision machine learning Обычная фотография 3D Модель сцены

6. MRF: Markov Random Field Модель Изинга Свойство Марковского типа

7. Сегментация Efficient Graph-Based Image Segmentation (2004) http://www.flickr.com/photos/lofink/4501610335/

8. Постановка задачи Нужно будет определить параметры: определяемые нормальным вектором Плоскостей Расстояния до суперпикселей вычисляются по

9. В MRF учитывались Local features Connection Coplanarity Collinearity

10. Monocular cues 1 2 3 4 5 … … … 31 32 33 34 +14 http://www.flickr.com/photos/lofink/4501610335/

11. Monocular cues: контекст Итого: особенности для «суперпикселя» 1 2 3 4 5 … … … 521 522 523 524

12. Edge detection bool 1 2 3 4 5 … … … 11 12 13 14

13. Формальная постановка задачи Output: Input: Параметры плоскости, определяющие положение и ориентацию суперпикселя в пространстве Входные параметры суперпикселей (local features) Параметры обученной модели MRF «Доверие» к расстоянию до объекта, вычисленному опираясь только на локальные свойства суперпикселя • Оценка того, насколько четко мы определили границу между суперпикселями http://www.flickr.com/photos/lofink/4501610335/

14. Local features

15. Connection

16. Coplanarity

17. Collinearity

18. Решение MCL (Multi-Conditional Learning) Обучение: Методы линейного программирования (LP) min-нормы Построение модели: Оценивается и максимальная апостериорная вероятность (MAP) для параметров плоскостей Методы линейного программирования (LP) min-нормы Модифицированный метод Ньютона для эффективного нахождения Гессиана

19. Технические детали Фотоснимки Всего снимков 2272x1704 400 Матрицы расстояний 55x305 150 Мб MATLAB + C++ *.cpp, *.c  *.mex VRML *.wrl

20. Ограничения В текущей реализации: • Обучение проводилось только на снимках ландшафтов местности • Небольшое количество обучающего набора фотографий (400) • Фотографии – ландафты местности Пало-Альто в летнее время • Низкая разрешающая способность лазера (55x305) • Несмотря на из разрешение фотографий, они все перед обработкой приводятся к одному и тому же небольшому разрешению • В математической модели жестко заданы параметры фототехники (фокусное расстояние, диафрагма…)

21. Дальнейшее развитие проекта Построение трехмерной модели сцены по нескольким фотоснимкам Добавление элементов Интерактивности

22. Возможное применение Google «SketchUp» Microsoft «3DVIA Shape»

23. Демонстрация

24. Спасибо за внимание • Дмитрий Вихарев • студент магистратуры ГУ-ВШЭ • dmitry.vikharev@gmail.com • twitter.com/vikds