JSPS 未来開拓学術研究推進事業研究プロジェクト

JSPS未来開拓学術研究推進事業研究プロジェクトJSPS未来開拓学術研究推進事業研究プロジェクト知能情報･高度情報処理マルチメディア･コンテンツの高次処理の研究大阪大学工学研究科情報システム工学専攻西尾章治郎

ハードウェア･ソフトウェアの発達 マルチメディア・コンテンツ CPU高速大容量ソフト高機能ハードウェア･ソフトウェアからコンテンツへ JSPS Multimedia Contents Project

コンテンツとは？ 赤、青サッカー積み木シュート原因結果サッカーストーリーゴール! 素材となるデータ構造化・意味付けされたデータ JSPS Multimedia Contents Project

画像テキスト 3次元データマルチメディア・コンテンツの管理第１世代異なるメディアの統合管理第２世代男･運動している･ボールを持っている時間による関連を付加音声第３世代空間的な関連を付加第４世代内在する知識の導出機能を付加動画像データ JSPS Multimedia Contents Project

マルチメディア・コンテンツの表現モデル • 統一モデル：統一的な表現モデル．完全には実現されていない． • 統合モデル：複数レイヤの統合モデル．各レイヤに適した表現が可能．プレゼンテーションレイヤリンクレイヤデータベースレイヤ JSPS Multimedia Contents Project

Broadband Network マルチメディア・コンテンツの流通 • 物理メディア • CD-ROM,　DVD-ROM • 通信メディア（１対１） • 広帯域ネットワーク • 移動体通信 • 放送メディア（１対多） • ディジタル衛星放送 • 無線ネットワーク０１１０１… JSPS Multimedia Contents Project

ＤＢコンテンツの創生マルチメディア･コンテンツ検索・加工･編集ユーザ要求獲得･蓄積アクセス管理機構 JSPS Multimedia Contents Project

研究組織機構図 マルチメディア･データモデルとコンテンツの知的構造リーダー龍谷大学教授有木康雄神戸大学教授上原邦昭マルチメディア･コンテンツのアクセスアーキテクチャリーダー神戸大学教授田中克己大阪大学助教授下條真司神戸大学助手田島敬史大阪大学助手春本要プロジェクトリーダー西尾章治郎大阪大学工学部教授マルチメディア･コンテンツのデータベースからの仮想空間･拡張現実空間の生成と活用（モーバイルDBを含む）リーダー大阪大学教授岸野文郎広島市立大学助教授有川正俊大阪大学助教授北村喜文大阪大学助教授塚本昌彦大阪大学助手正城敏博 JSPS Multimedia Contents Project

マルチメディア･コンテンツの高次処理 • 有木康雄 : マルチメディア･データモデルとコンテンツの知的構造化 • 田中克己 : マルチメディア･コンテンツのアクセスアーキテクチャ • 岸野文郎 : マルチメディア・コンテンツのデータベースからの仮想空間･拡張現実空間の生成と活用　 JSPS Multimedia Contents Project

マルチメディア･データモデルとコンテンツの知的構造化マルチメディア･データモデルとコンテンツの知的構造化有木康雄*1　　上原邦昭*2 *1 龍谷大学 *2 神戸大学

放送（テレビ） 出版（新聞、書籍）娯楽・教養（映画、講義）通信（インターネット）電子図書館仮想博物館仮想美術館仮想キャンパスマルチメディア環境メディアのディジタル化と統合マルチメディア環境知的活動を行う情報空間 [ 興味ある情報の収集と分析 ] JSPS Multimedia Contents Project

本マルチメディア・コンテンツの構造化構造化されているデータ構造化されていないデータ索引（概念） • アニメ • ドラマ • 映画 • ビデオ • ドキュメンタリ • ニュース映像 • スポーツ映像 • 個人の映像目次（構成）要約（文脈・粗筋）コンテンツへのアクセス・絞り込みコンテンツの構造化 JSPS Multimedia Contents Project

コンテンツの知的構造化のプロセス （知的構造化）ハイフェーズコンテンツ概念因果関係の検索記述の抽象化＆意味付け構造化／自己組織化状況状況検索時空間における関係付け従来のデータベース記号イベント検索認識＆索引付け（自己組織化）ローフェーズパターンパターン検索セグメンテーション＆分類データ信号信号検索 JSPS Multimedia Contents Project

マルチメディア・データの自己組織化 コンテンツ構造化の要求 • 映像中のイベント検索 • 映像の分類、要約、編集 • 自己組織化 • 人手を介さない大量データの処理 • ハイフェーズへのブラウザ提供基本課題 • イベント統合 • 構造抽出 [ 目次 ] • 各種メディアのイベント統合 • 階層間のイベント統合 • （信号・パターン・記号） • イベント系列を上位のイベント • へ統合 • ショットやシーン • イベント抽出 [ 索引 ] • 音声・映像・文字メディア JSPS Multimedia Contents Project

ＴＶニュース映像の自己組織化 ＴＶで放映されているニュース映像 • 多チャンネル化粒度 • ＮＯＤ • イベント検索時間 • 多様な検索要求 • 関連する日本語ニュース • 関連する英語ニュース • ニュースの要約 • ニュースの解説（背景・予想）トピック JSPS Multimedia Contents Project

シーンカットとニュース記事の抽出 バイグラム音声認識による内容理解テロップやフリップ文字認識による内容理解顔やシーンの映像認識による情景･状況理解ＴＶニュース映像の自己組織化表現メディアの特質状況内容を表現内容を要約情景・状況を伝達 • 音声 • 文字 • 映像関係付け記号認識索引付けコンテンツ構造化のプロセスパターンセグメンテーション分類（信学論ＤＩＩ 97年9月）信号（CoopIs97）（ICDAR97）（IPSJ97､ ACCV97） JSPS Multimedia Contents Project

ニュース映像の情報検索 JSPS Multimedia Contents Project

ニュース映像の索引付けと分類 JSPS Multimedia Contents Project

マルチメディアコンテンツの構造化と概念獲得マルチメディアコンテンツの構造化と概念獲得

コンテンツ･プロバイダからの依頼 • CATV 会社（チャネルＫ）の場合 • 2,000 本の VCR テープ • 秋の六甲山の風景を再利用したい • 映画会社（東映）の場合 • 2,000 本の映画予告編 • いつでも見たいシーンをすぐに取り出したい JSPS Multimedia Contents Project

マルチメディアコンテンツの構造化と概念獲得マルチメディアコンテンツの構造化と概念獲得研究目標 • 意味内容を考慮した映像検索方式 • 見たい映像をどのように検索するか • ビデオデータの内容記述形式の定式化 • ビデオデータの意味表現言語の開発 • ビデオデータからの概念獲得 • ビデオデータの共有と再利用 JSPS Multimedia Contents Project

内容記述モデル • 静的･トップダウン的なモデル（CODAS-96） • シナリオが予め与えられている場合 • おとぎ話など、ストーリが単純な映像 • 動的･ボトムアップ的なモデル（DMIB-97） • ドラマなど、ストーリが複雑な映像 • 断片的記述によるモデル（DEXA-97） • 映画の予告編、スポーツなど、ストーリが含まれない映像 JSPS Multimedia Contents Project

ストーリの文法に基づくビデオデータベースの機能ストーリの文法に基づくビデオデータベースの機能 • ストーリの因果関係に基づく検索 • ストーリ全体を見て必要なサブストーリを選択 • 登場人物や行動に基づく検索 • 特定の人物や行動を検索 • 動画像のダイジェスト化 • 意味的に余分なシーンを省略して、ビデオのダイジェストを作成ストーリグラフ JSPS Multimedia Contents Project

ストーリ文法に基づくビデオデータベース 検索設定用のウィンドウストーリの文法による記述出力映像自然言語による検索文の入力 JSPS Multimedia Contents Project

内容記述モデル • 静的･トップダウン的なモデル（CODAS-96） • シナリオが予め与えられている場合 • おとぎ話など、ストーリが単純な映像 • 動的･ボトムアップ的なモデル（DMIB-97） • ドラマなど、ストーリが複雑な映像 • 断片的記述によるモデル（DEXA-97） • 映画の予告編、スポーツなど、ストーリが含まれない映像 JSPS Multimedia Contents Project

プロトタイプの概念に基づくビデオデータベースプロトタイプの概念に基づくビデオデータベース内容記述の効率化 • 意味的な関連性によるデータの抽象化 • 典型的なシーンの発見 • 性質の似た内容記述のグループ化 • 典型的なシーンのクラスタリングデータ管理の効率化 • 半構造性を持つデータ構造の管理 • 視認性が高いデータ構造 JSPS Multimedia Contents Project

プロトタイプ 特徴 • 静的なクラス定義を持たない • 既存のオブジェクトをプロトタイプとして利用するオブジェクトのコピーにより新たなオブジェクトが生成されるプロトタイプ修正コピー …オブジェクト JSPS Multimedia Contents Project

プロトタイプの概念に基づくビデオデータベースプロトタイプの概念に基づくビデオデータベース典型的なシーンの選択プロトタイプに基づく内容記述映像に関する情報ユニットの内容記述実際の映像シーンの内容記述 JSPS Multimedia Contents Project

これまでの成果 • 静的・トップダウン方式による内容記述モデル • ストーリの文法に基づくビデオデータベースの開発 • 動的・ボトムアップ方式による内容記述モデル • プロトタイプの概念に基づくビデオデータベースの開発 • 知識表現からの共通構造の発見と概念獲得への応用 • ネットワークと並列化による高速なグラフマッチングアルゴリズムの開発 JSPS Multimedia Contents Project

マルチメディア・コンテンツのアクセスアーキテクチャマルチメディア・コンテンツのアクセスアーキテクチャ田中克己*1 田島敬史*1 下條真司*2 春本　要*2 *1神戸大学 *2 大阪大学

コンテンツを取り巻く状況 • 通信，放送の融合 • 技術的にも政治的にも • デジタルコンテンツ • デジタル化による多様なサービス提供 • 権利・課金管理の変貌 • メディアミックスによるコンテンツ再利用 • 生産者と消費者の境がなくなっていく新しいアクセスアーキテクチャが求められている JSPS Multimedia Contents Project

研究目的 • コンテンツ情報の共有・再利用のための要素技術とアクセス・アーキテクチャ • コンテンツの構造化と検索 • コンテンツの流通管理 • コンテンツ配送と情報フィルタリングアクセスアーキテクチャ深い意味レベルでの構造化自己組織化 DBからの空間生成空間上での検索知的構造化仮想空間・拡張現実空間 JSPS Multimedia Contents Project

モーションデータ 仮想スタジオ用素材都市空間データテクスチャ素材実写映像対象コンテンツ • ビデオ、文書、空間データ、モーションデータ、３ＤＣＧデータ、放送データ JSPS Multimedia Contents Project

研究内容 • コンテンツの構造化と検索 • 映像などの連続メディアの記述・検索モデル • コンテンツベースの構造化機構 • 半構造データの再構造化 • 素材の組み合わせ検索 • コンテンツの流通管理 • コンテンツのアクセス権管理 • コンテンツの版権管理 • 放送型コンテンツ配送 • コンテンツ検索と動的組織化 • PUSH型に対応したNews On Demandシステム JSPS Multimedia Contents Project

マルチメディアコンテンツの特性 (1) • 半構造性 • 完全なスキーマを持たない • データ項目の出現位置が不定 • 再構造化機構（コンテンツベースの分類、集合型再構造化言語、ビュー定義）の必要性 JSPS Multimedia Contents Project

マルチメディアコンテンツの特性 (2) • 多様性 • メタデータ（内容記述情報）の多様性（多レベル性） • ビュー統合、レイヤ構造、ハイブリッド化の必要性 • 表示・サービスの多様性 • マルチバージョン、自律的管理の必要性 • 利用者の視点の多様性 • 印象や使用履歴に基づく類似検索、ビューの必要性 JSPS Multimedia Contents Project

マルチメディアコンテンツの特性 (3) • 連続性 • 情報単位や検索単位が連続的 • 連続オブジェクトに適したオーサリング・検索モデルの必要性 JSPS Multimedia Contents Project

アプローチ • 半構造性 • インスタンスベース、オブジェクトモデル（プロトタイプ、メディエータ） • ビュー • 動的構造化、自己組織化 • 多様性 • ビュー・知識の統合 • 分散オブジェクト • インスタンス・オブジェクトのビュー • 印象・感性検索 • 連続性 • ストリーム＋半構造のデータ操作 • 連続オブジェクトの記述・検索モデル • ストリームと内容記述の一体化（MPEG7） JSPS Multimedia Contents Project

コンテンツの構造化と検索－連続メディアの記述と検索－コンテンツの構造化と検索－連続メディアの記述と検索－サイボーグサイボーグ区間１ • 質問：「サイボーグが怪獣と戦っている区間？」 • AND解釈：サイボーグ AND 怪獣 AND 戦闘 • 区間１，２，３のintersectionが解？ • OR解釈：サイボーグ OR 怪獣 OR 戦闘 • {区間１，２，３}が解？ • 区間１，２，３の拡張unionが解区間 • 解区間中でキーワードはどこかに出現（somewhere） • 解区間中のノイズの扱いと解の評価尺度怪獣怪獣区間２戦闘区間３ JSPS Multimedia Contents Project

コンテンツの構造化と検索－内容記述モデル－コンテンツの構造化と検索－内容記述モデル－ • 時刻印付きオーサリンググラフ • 区間指定の困難さへの対処 (DEXA97) • 解区間の動的合成とキーワードの成立範囲・同時性を考慮したモデル • 記述の有効範囲と同時性 • 記述の半順序関係による近似解検索 • 情処国際シンポ97 • x*: everywhere x^: surface (この範囲のみ）x : somewhere (どこか）x・y : xとyが同時内容記述 JSPS Multimedia Contents Project

３次元自己組織化マップ コンテンツの構造化と検索－コンテンツベースの構造化－ • ハイブリッド型構造化機構コンテンツとメタ情報併用によるコンテンツ群の自己組織化 (DMIB’97) • 分類精度の向上 • メタ情報記述の軽減 • Kohonenの自己組織化マップの3D化 (DASFAA’97) • インターネットで収集した文書・動画の動的な分類 (DASFAA’97) JSPS Multimedia Contents Project

コンテンツの構造化と検索－半構造データの再構造化－コンテンツの構造化と検索－半構造データの再構造化－ • 内容処理による再構造化 • 木構造、部分木が実体に対応 • 同一タグの出現レベルが不定 • コンテンツベースの再構造化 • メイリングリスト, web, VRMLデータ • 半構造データの再構成 • 半構造データ再構造化言語の開発 (情処全大9709) • Web・VRMLデータのビュー定義 • 仮想空間上でのwalkthroughによる質問形成 (投稿中) • サンプルによる質問ベクトル形成 JSPS Multimedia Contents Project

コンテンツの構造化と検索－映像制作素材の組み合わせ検索－コンテンツの構造化と検索－映像制作素材の組み合わせ検索－ • ３ＤＣＧ素材の組み合わせ検索 (DMIB97) • 3D CGオブジェクト（大道具・小道具）の組合せ検索印象語ベクトル空間モデルでの部分マッチング • VRMLデータの検索と合成 • VRML検索エンジン(投稿中)VRMLの論理構造に基づく検索 • VRML空間の対話的生成 (実装中)空間による型制約 JSPS Multimedia Contents Project

仮想スタジオセット JSPS Multimedia Contents Project

コンテンツの構造化と検索－モーションデータの内容記述と検索－コンテンツの構造化と検索－モーションデータの内容記述と検索－ • 拡張ビデオ代数の利用 (DMIB97) • マルチストリーム • マルチレイヤ • 階層記述 • VRML空間での合成・表示 JSPS Multimedia Contents Project

マルチメディア情報の意味抽出 コンテンツの構造化と検索－ News On Demand － JSPS Multimedia Contents Project

コンテンツの流通管理－アクセス権管理－ • マルチメディアコンテンツのアクセス権管理（WWCA97） • 多レベルの詳細度を持つ • 利用者毎に異なる詳細度 • 複雑な部分・全体関係 • 従来のDBMSのアクセス権管理はall-or-nothing • Non all-or-nothingなアクセス権管理方式の必要性（投稿中） • マルチメディアDBのための新しいアクセス権管理手法の確立が求められる JSPS Multimedia Contents Project

マルチメディアデータ オブジェクト化認証要求認証された画像オブジェクト認証されていない画像オブジェクト Level1 index Level2 Index Level3 Index Methods コンテンツの流通管理－版権管理－ • コンテンツと認証機構の分散オブジェクト化 • 自律的な認証・配送 • DEXA97および投稿中 • 認証レベルに応じたサービス多様化 JSPS Multimedia Contents Project

JSPS 未来開拓学術研究推進事業研究プロジェクト