Mpeg 7
This presentation is the property of its rightful owner.
Sponsored Links
1 / 14

Применение MPEG-7 для классификации и поиска визуальных данных PowerPoint PPT Presentation


  • 126 Views
  • Uploaded on
  • Presentation posted in: General

Применение MPEG-7 для классификации и поиска визуальных данных. Вихровский Кирилл [email protected] Graphics & Media Lab. Проблемы поиска мультимедиа данных. Более 90% информации создается и хранится в цифровом виде цифровых архивов широковещательных потоков

Download Presentation

Применение MPEG-7 для классификации и поиска визуальных данных

An Image/Link below is provided (as is) to download presentation

Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author.While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server.


- - - - - - - - - - - - - - - - - - - - - - - - - - E N D - - - - - - - - - - - - - - - - - - - - - - - - - -

Presentation Transcript


Mpeg 7

Применение MPEG-7 для классификации и поиска визуальных данных

Вихровский Кирилл

[email protected]

Graphics & Media Lab


Mpeg 7

Проблемы поиска мультимедиа данных

  • Более 90% информации создается и хранится в цифровом виде

    • цифровых архивов

    • широковещательных потоков

    • в форме частных или профессиональных баз данных

  • Большинство систем хранения и поиска информации не предоставляют возможности поиска мультимедиа данных

    • либо имеют собственный формат описания свойств объектов


  • Mpeg 71

    Стандарт MPEG-7

    • MPEG-7 являетсястандартом ISO/IEC

      • “Интерфейс для описания мультимедийного содержимого” - Multimedia Content Description Interface

    • Цель: стандартизовать описание семантики мультимедийного материала, которое может быть передано для обработки ЭВМ

    • MPEG-7 использует схему XML в качестве языка выбора текстуального представления описания материала


    Mpeg 7

    Средства стандарта

    Главными элементы стандарта MPEG-7:

    • Дескрипторы (Descriptors)

      • определяют синтаксис и семантику представления каждой из характеристик элемента данных

    • Схемы описания (Description Scheme)

      • специфицируют структуру и семантику взаимодействия между компонентами (дескрипторами и схемами описания)

    • Язык описания определений (Description Definition Language)

      • позволяет создавать новые DS и, возможно, D и обеспечивает расширение и модификацию существующих DS

    • Системные средства

      • служат для поддержки двоичного представления, механизмов передачи, синхронизации описаний с материалами, контроля интеллектуальной собственности в описаниях MPEG-7, и т.д.


    Mpeg 7

    Поиск и классификация

    • Контентно-зависимый поиск (CBR).

      • основываются на сравнении таких характеристик как цвет, текстура или форма

    • Поиск на основе метаданных (MBR).

      • использует более высокоуровневую информацию, опираясь на ключевые слова или свободную текстовую аннотацию


    Mpeg 72

    Поиск на основе метаданных:Примерописания MPEG-7

    <Mpeg7>

    <Description type="SemanticDescriptionType">

    <Semantics>

    <Label>

    <Name>Dodge Viper</Name>

    </Label>

    <Definition>

    <FreeTextAnnotation>

    mountain on the background

    </FreeTextAnnotation>

    </Definition>

    <MediaOccurrence>

    <MediaLocator>

    <MediaUri>image.jpg</MediaUri>

    </MediaLocator>

    </MediaOccurrence>

    </Semantics>

    </Description>

    </Mpeg7>


    Mpeg 73

    Дескрипторы цвета MPEG-7

    Устойчивы к изменению цветов фона и независимы от размера изображения и ориентации объекта в сцене

    • Цветовое пространство(CS)

      • пространства RGB, YCrCb, HSV, HMMD (hue-min-max-diff), матрица линейного преобразования с учетом RGB, монохромное

    • Масштабируемый цвет(SCD)

      • описывающий распределение цвета в изображении

      • может быть использован для эффективного поиска в базе однородных данных

    • Доминантный цвет(DCD)

      • наиболее удобный для представления локальных характеристик

      • высокоскоростной поиск, где для предоставления цветовой информации достаточно малого числа цветов


    Mpeg 74

    Дескрипторы цвета MPEG-7

    • Цветовое распределение(CLD)

      • описывает пространственное распределение цветов в областях произвольной формы

    • Структура цвета(CSD)

      • локальные цветовые характеристики в изображениях

      • поиск, базирующийся на подобии естественных изображений


    Mpeg 7

    Дескрипторы текстуры

    Могут быть использованы как независимо, так и в комбинации с другими MPEG-7 дескрипторами

    • Однородная текстура(HTD)

      • поиск и просмотр в большой

        коллекции сходно выглядящих

        образов

    • Краевая гистограмма(EHD)

      • поиск изображений по образцам или наброскам, в особенности для изображений с нерегулярными краями


    Mpeg 7

    Дескрипторы формы

    Предоставляет мощное средство для поиска и сравнения в базе изображений

    • Форма, базирующаяся на

      областях (Region Shape)

    • Форма, базирующаяся на

      контуре (Contour Shape)


    Mpeg 7

    Дескрипторы формы

    • 3D-форма (Shape 3D)

    • Дескриптор 2D/3D формы

      • 3D объект может быть описанконечным числом 2D форм

      • известен как дескриптор световых полей

      • устойчивый поиск в базе объектов с различными разрешениями


    Mpeg 7

    Экспериментальная модель

    • Модули программного обеспечения XM используют специфицированные интерфейсы

    • Это позволяет облегчить навигацию среди множества различных модулей для разных D и DS.

    • С другой стороны, использование фиксированного интерфейса позволяет повторно использовать и объединять отдельные модули в большие приложения.


    Mpeg 7

    Особенности поиска создаваемой системы

    • Гистограмма цветов

      • поиск в базе однородных данных

    • Краевая гистограмма

      • поиск по образцу или наброску

    • Форма, базирующаяся на контуре

      • поиск, основанный на сходстве

      • устойчиво при частичном перекрытии формы


    Mpeg 7

    Область применения

    • Мультимедийные библиотеки

    • Фотоальбомы

    • Базы 3D-моделей для разработчиков компьютерных игр и дизайнеров


  • Login