Моделирование позы человека по изображениям с разметкой суставов(1)

1. Моделирование позы человека по изображениям с разметкой суставов(1) Решаемая задача: По набору изображений с размеченными суставами получить простую модель позы человека. • В качестве входных данных используются фотографии, снятые из одной точки • На них должны быть отмечены 18 точек, обозначающих границы соответствующих суставов • Минимальное количество снимков для точного восстановления- 5 • Рабочим образцом является модель человека, состоящая из 17 костей

2. Моделирование позы человека по изображениям с разметкой суставов(2) Алгоритм состоит из двух этапов: • Нахождение размеров параметров проекций костей скелета, длин самих костей и их ограничений. Неизвестные собираются в один вектор X = {l2, s2, dz2, e2}, где l – длины костей скелета, s- параметры камеры, dz – координаты кости, e – размеры ограничений на кости. В итоге, все сводится к решению задачи условной оптимизации: где Ep – функция проектирования, Es – ограничения, связанные с симметрией костей и Er – жесткие ограничения на расположение некоторых костей( см. рисунок, треугольниками ∆ABC, ∆ADE, ∆ADF, ∆DEF определяются жесткие ограничения, накладываемые на торс.)

3. Моделирование позы человека по изображениям с разметкой суставов(2) Вторая стадия алгоритма Определение расположения в пространстве каждой кости. После нахождения координат каждой кости (dz) еще точно не известен их знак, следовательно требуется определить точную позу человека в пространстве. Здесь снова решается задача условной оптимизации. Роль параметра здесь выполняет вектор с размерностью 37 – углы для каждой кости с разными степенями свободы. А сама задача выглядит так: Где ql и qu - нижняя и верхняя границы ????????? Трехмерной позы человека соответственно. E’p- функция проектирования, а E’r- функция жестких ограничений

4. Моделирование позы человека по изображениям с разметкой суставов(2) • Преимущества алгоритма: • В отличие от многих алгоритмов такого типа, не требует дополнительной информации, в виде размеров скелета или параметров проекции • Может работать с неполными данными(на рисунке изображены модели, восстановленные по 12 кадрам) • Нет привязки к качеству изображений • Недостатки алгоритма: • Необходимо иметь несколько изображений для получения точных результатов