Использование скрытых марковских моделей для распознавания жестов головы

1. Использование скрытых марковских моделей для распознавания жестов головы Докладчик: Калитеевский В.Н. Научный руководитель: проф. Граничин О.Н. • Санкт-Петербургский Государственный Университет, Математико-Механический • Факультет, 2014 год

2. Постановка задачи Создание приложения, распознающего заданный набор жестов: • Кивок • Наклон головы влево и возврат • Наклон головы вправо и возврат • Поворот головы влево и возврат • Поворот головы вправо и возврат • Приближение • Отдаление • Прочие

3. Этапы распознавания Предварительная работа перед обучением и распознаванием делится на следующие этапы: • Выделение жестов на видео потоке • Подготовка входных параметров • Извлечение признаков

4. Признаки Базовая тройка: , где : отклонение направления головы угла относительно вертикали :изменение отрезка [Глаза] – [Рот] : горизонтальное отклонение координаты центра рта

5. Признаки:пример Рис. 1: Два положения лица при наклоне головы налево Рис. 2: Схема наклона головы

6. Признаки

7. Распознавание лица Распознавание опорных точек лица Рис. 3: intel perceptual computing sdk

8. Выделение жестов В случае преувеличения суммы последних десяти кадров одного из признаков некоторого порогового значения начинается запись жеста Порог Время Рис. 4: начало записи жеста при превышении некоторого порогового значения

9. СММ: Формальное определение • , • , для • , Полный набор параметров модели будем обозначать, как

10. Обучение СММ • Даны N – обучающих примера , где - наблюдаемая последовательность, а - метка из числа классов • Делим эти N примеров на M групп так, чтобы каждая группа содержала элементы с одной меткой • Подготавливаем данные из : извлекаем признаки и равномерно распределяем точки • С помощью алгоритма Баума-Уелшаобучаем СММ, подавая на вход признаки и соответствующую метку

11. Алгоритм Баума-Уелша Исходные данные:   со случайными начальными условиями. Алгоритм итеративно обновляет параметр   до схождения в одной точке.

12. Классификация • Дана наблюдаемая последовательность • Подготавливаем данные: извлекаем и распределяем точки • С помощью алгоритма Витерби, подавая на вход признаки, вычисляем принадлежности к каждому классу M: • Выбираем класс , набравший максимальную вероятность

13. Алгоритм Витерби • Инициализация: • Рекурсия: , , • Остановка: ,

14. Заключение Достигнут высокий уровень детектирования жестов

15. Результаты Приложение, с высокой точностью распознающее заданный набор жестов. • C# Gui • Python