Multimedia

1. Multimedia Solomeshch Natalya

2. Кодирование областей произвольной формыосновной профиль • чересстрочная развертка; • объектно-ориентированное кодирование с «серой» (градуированной) формой («альфа-плоскостью»); • кодирование «спрайтов» • «Спрайтом» называется видео объект (задний плана или фон), который полностью или частично передается в начале сцены и который может слегка меняться во время отображения на видео сцене.

3. Кодирование областей произвольной формыосновной профильГрадуированное кодирование формы Бинарный носитель маски Градуированная альфа-плоскость

4. Кодирование областей произвольной формыосновной профильстатическое кодирование “спрайтов” • Статическим «спрайтом» называется текстурное изображение, которое может перемещаться и деформироваться только в некоторых ограниченных пределах. • «Спрайт» заднего плана и три разных «взгляда» видеокамеры.

5. Кодирование областей произвольной формыосновной профильстатическое кодирование “спрайтов” • Базовый “спрайт” - передается целиком в начале видеопоследовательности • “Спрайт” с малой задержкой по времени – обновляется по ходу передачи видеоряда

6. Кодирование областей произвольной формыпрофиль повышенной степени сжатия(Advanced Coding Efficiency) • Прогноз компенсации движения с точностью в четверть пиксела; • GMC (Global Motion Compensation); • Чересстрочная развертка; • Градуированное кодирование формы; • Адаптированное к форме преобразование DCT(SA-DCT, Shape-Adaptive DCT) • 1. Сдвинуть непрозрачные величины X блока 8x8 вверх. • 2. Применить одномерное DCT к каждому столбцу (число точек преобразования совпадает с числом непрозрачных величин в каждом столбце). • 3. Полученные промежуточные коэффициенты Y сдвинуть влево. • 4. Применить одномерное DCT к каждой строке (с совпадением по числу значений в каждой строке).

7. Кодирование областей произвольной формыN-битовый профиль Предоставляет дополнительные инструменты для работы со словами из N-бит, которые позволяют представлять цветовые компоненты (яркость и хроматичность) с глубиной от 4 до 12 бит на сэмпл (вместо стандартных 8 бит). Применяется при кодировании видео для дисплеев с низкой глубиной цветопередачи (менее 8 бит на сэмпл) и для высококачественных дисплеев с большой глубиной цветопередачи (где цветовые компоненты имеют глубину больше 8 бит на сэмпл и следовательно, требуется высокая точность воспроизведения цвета)

8. Масштабируемое видеокодирование • Пространственное масштабирование • Временное масштабирование • Мелкозернистая масштабируемость (Fine Grain Scalability)

9. Масштабируемое видеокодированиеПространственное масштабирование Кодирование: • Сделать подcэмплирование каждого входного кадра(или видеообъекта) по горизонтали и вертикалииспользуя укрупненные сэмплы. • Кодировать кадры с сокращенным разрешением для формирования базового слоя. • Декодировать базовый слой и сделать измельчающее сэмплирование до исходного разрешения для нахождения кадра-прогноза

10. Масштабируемое видеокодированиеПространственное масштабирование • Вычесть исходный кадр с полным разрешением из кадра-прогноза. • Кодировать полученную разность (остаток) для получения улучшающего слоя. Декодирование: • Декодировать базовый слой и сделать измельчающее сэмплирование до исходного разрешения. • Декодировать улучшающий слой. • Сложить декодированный остаток из улучшающего слоя и декодированный базовый слой для получения требуемого выходного видеоряда.

11. Масштабируемое видеокодированиеВременное масштабирование

12. Масштабируемое видеокодированиеМелкозернистая масштабируемость (Fine Grain Scalability) • Кодирование: • Найти старший (ненулевой) битовый разряд среди всех остаточных коэффициентов кадра. • Кодировать каждую битовую плоскость, как описано выше, начиная с битовой плоскости старшего разряда.

13. Масштабируемое видеокодированиеМелкозернистая масштабируемость (Fine Grain Scalability) • Декодирование:

14. Масштабируемое видеокодированиеМелкозернистая масштабируемостьпрофили • Простой масштабируемы профиль • Объекты I-VOP, P-VOP, 4MV, неограниченный MV и прогнозирование в моде intra; • Видео пакеты, разделение данных и обратимые коды VLC; • Объекты B-VOP; • Прямоугольное временное масштабирование (один улучшающий слой); • Прямоугольное пространственное масштабирование; (один улучшающий слой) • Базовый масштабируемый профиль • Прямоугольное временное масштабирование (один улучшающий слой); • Прямоугольное пространственное масштабирование (один улучшающий слой); • Объектно-ориентированное пространственное масштабирование • Профиль мелкозернистой масштабируемости • В-VOP, чересстрочная развертка и модуль альтернативного квантователя; • Пространственное масштабирование FGS; • Временное масштабирование FGS.

15. Кодирование видео студийного качества

16. Кодирование видео студийного качестваПростой студийный профиль • Формат источника • Преобразование и квантование • Кодирование формы • Слои • Заголовки

17. Кодирование видео студийного качестваБазовый студийный профиль • В этом профиле добавлена поддержка «спрайтов» и P-VOP к инструментам простого студийного профиля. Кодирование «спрайтов» модифицировано расширением параметров контролирования трансформаций «спрайтов», чтобы они еще больше походили на съемку «реальной» видеокамерой, например имитируя дисторсию объектива. Компенсация движения и векторы движения при кодировании объектов P-VOP изменены для совместимости с синтаксисом стандарта MPEG-2.

18. Кодирование синтетических сцен • Анимированное сеточное кодирование (Synthetic Natural Hybrid Coding, SNHC, гибридное синтетическое и натуральное кодирование) • Анимация лиц и фигур(FBA, Face and Body Animation)

19. Выводы • Стандарт MPEG-4 Visual поддерживает кодирование и представление визуальных объектов с эффективной компрессией и беспримерной гибкостью. Разнообразный арсенал инструментов кодирования, описанных в стандарте, дает возможность поддерживать широкий диапазон приложений, таких как эффективное сжатие видеокадров, видеокодирование для передачи по ненадежным сетям связи, объектно-ориентированное кодирование и манипуляция, кодирование синтетических и «гибридных» искусственных/натуральных сцен и высокоинтерактивных видеокоммуникаций. • Стандарт MPEG-4 продолжает развиваться с: добавлением новых инструментов (например, профилей, поддерживающих потоковое видео). Однако среди разработчиков и производителей самыми популярными элементами MPEG-4 до последнего времени оставались простой и простой расширенный профили. Кроме того, все яснее проявляется возросшая потребность видеоиндустрии в еще более эффективном кодировании видео прямоугольных форматов. Эта потребность вместе с затянувшимся периодом неопределенности в связи с патентами и лицензированными выпусками MPEG-4 Visual означает, что новый стандарт Н.264 имеет неплохие шансы обойти на видеорынке стандарт MPEG-4 Visual.