Постановка задачи и связь с предыдущими исследованиями

1. Структурный граф цветовых сгустков: структуры контрастов и их применениеКий К.И.Институт Прикладной Математики им. Келдыша РАН, IKI 15-17 марта 2011

2. Постановка задачи и связь с предыдущими исследованиями • Решаются задача определения новых типов характерных точек и мест изображений и задача разработки алгоритмов их нахождения. • Определяются возможные применения разработанных методов. • Кратко обсуждаются знакомые автору другие работы в данной области.

3. Mishra A. K., AloimonosY. Active segmentation // International Journal of Humanoid Robotics 6 (3), 361–386 (2009). • Kadir T., Brady M. Saliency, scale and image description // International Journal of Computer Vision, 45 (2), 83--105, 2001. • K. Mikolajczyk, T. Tuytelaars, C. Schmid et al. (2005) A Comparison of Affine Region Detectors // International Journal of Computer Vision, Vol. 65, No. 1, 2005. P.43-72. • Hongwen Kang, Alexei A. Efros, Martial Hebert, Takeo Kanade. "Image Composition for Object Pop-out", IEEE Workshop on 3D Representation for Recognition (3dRR-09), in association with IEEE International Conference on Computer Vision (ICCV) 2009. • J. Correa and A. Soto, "Active visual perception for mobile robot localization". Journal of Intelligent and Robotic Systems, vol. 58, No. 3-4, 2010, pp. 339-354. • P. Espinace, T. Kollar, A. Soto, and N. Roy, "Indoor Scene Recognition through Object Detection". Proc. of IEEE International Conference on Robotics and Automation (ICRA), 2010. • Forsyth D. A., Ponce J. Computer Vision: a Modern Approach //NY.: Prentice Hall, 2003. • Yu. B. Blokhinov, Automation of Mutual Orientation of Digital Images Based on Computer Vision Algorithms, Journal of Computer and Systems Sciences International, 49 (6), 981--991 (2010).

4. Задача cегментации на структурном графе цветовых сгустков • В предыдущих работах автора каждому цветному изображению поставлен в соответствие структурный граф цветовых сгустков. • Изображение разбито на полосы равной ширины, параллельные вертикальной или горизонтальной оси системы координат, связанной с изображением. • Каждой полосе соответствует своя часть графа цветовых сгустков. Пусть полосы параллельны горизонтальной оси. Вершины структурного графа, соответствующие полосе, есть интервалы горизонтальной оси [cn,dn].Каждому интервалу поставлены в соответствие числа Cardn, и тройки • (Hmin, Hmean, Hmax), (Smin, Smean, Smax) и (Imin, Imean, Imax).

5. Пример множества вершин графа цветовых сгустков

6. Вершины графа цветовых сгустков уличной сцены

7. Построение структуры цветовых контрастов на графе цветовых сгустков Решаются следующие задачи: 1. Нахождение контрастных соседних цветовых сгустков. 2. Объединение похожих соседних цветовых сгустков в один. При решении делается попытка разработать формальный аппарат для учета свойств человеческого зрения.

8. Основные конструкции • Каждый цветовой сгусток задается набором чисел - интервал на оси, который параллелен стороне полос разбиения изображения - интервалы значений - средние значения , соответствующие сгустку • Интервалы симметризованы относительно средних значений: • Пусть - два числовых интервала, • - длина интервала. • Интервалы очень значительно пересекаются: • ; • Интервалы значительно пересекаются: • .

9. Пусть - два числовых интервала, - длина интервала Интервалы очень значительно пересекаются: Интервалы значительно пересекаются:

10. Пусть , Значения S квантованы от 0 до 15; значения I разделены на 8 зон от 0 до 7; значения H разделены на 6 зон от 0 до 5. Для каждого квантового значения и каждой зоны установлены пороги: .

11. Вводятся переменные hue_close, saturation_close, intensity_close. • Строится система продукций, которая на основе введенных переменных присваивает hue_close, saturation_close, intensity_close значения из множества (3, 2, 1, 0, -1, -2, -3) для сгустков с близкими или пересекающимися интервалами и .

12. Далее строится различающая функция • Discr(hue_close, saturation_close,identity_close), принимающая значения (4, 3,2, 1, 0, -1, -2, -3, -4). • Положительные значения означают, что интервалы с некоторой степенью уверенности можно объединить, отрицательные значения определяют некоторую степень контраста. • Нулевое значение означает, что вывод не сделан. • Далее приводятся примеры работы алгоритмов построения виртуальных граничных точек.

13. Снимок с конференции

14. Примеры структур контрастов

17. Структура с найденным ориентиром

18. Более детальное изучение ориентира

19. Пара изображений, снятая из близких точек

20. Выводы • Разработан новый метод выделения характерных мест на изображении, основанный на методе геометризованных гистограмм, удобный для решения задач понимания изображений в реальном времени. • Основу представления данных составляет структура контрастов, поставленная в соответствие любому цветному изображению. • Предложенная техника может быть полезной при решении навигационных задач при движении робота и анализе движения объектов на изображении. • Разрабатывается система поиска ориентиров на изображениях, основанная на развитой технике и поиска объектов на изображении по содержательному вербальному описанию.

21. Программная реализация • Система реализованав С++(Visual Studio 2008) вместе со средствами сопряжения с вводом изображений из телекамер с использованием DirectX SDK. • Скорость обработки для цветных изображений 640х480 8-10 fps, для изображений 320х240, в четыре раза быстрее. • Система имеет средства для работы через сеть, включая работу через Internet.

22. Спасибо за внимание!