230 likes | 470 Views
IIDC 1394 Digital Camera over IP による 遠隔講義用高品位映像伝送システム の実装とプロトコル. 京都大学 学術情報メディアセンター 中村素典、八木啓介、岡部寿男 ITRC meet15 (2004/5/27). 内容. 実験・評価システムの変遷 相互接続のためのプロトコルの検討. システムの概要. IIDC 1394 規格のデジタルカメラを用いると 高解像度映像が比較的安価に取得できる。 (ただし、非圧縮なのでフレームレートは IEEE1394 Bus の帯域の制約を受ける。 1280×960 で 7.5fps 等)
E N D
IIDC 1394Digital Camera over IPによる遠隔講義用高品位映像伝送システムの実装とプロトコル 京都大学 学術情報メディアセンター 中村素典、八木啓介、岡部寿男 ITRC meet15 (2004/5/27)
内容 • 実験・評価システムの変遷 • 相互接続のためのプロトコルの検討
システムの概要 • IIDC 1394 規格のデジタルカメラを用いると高解像度映像が比較的安価に取得できる。(ただし、非圧縮なのでフレームレートはIEEE1394 Bus の帯域の制約を受ける。1280×960で7.5fps等) • 非圧縮映像をそのままネットワーク伝送(FastEthernetでは帯域不足) • 受信側は、SXGAフレームバッファに直接描画(PCとPC用ディスプレイさえあれば受信可能)
システム構成 IEEE1394カメラ Gigabit Network 送信用PC IEEE1394 I/F内蔵 受信用PC SXGA対応プロジェクター IEEE1394バス
PCの要求仕様(ハード) • Gigabit Ethernet • 150Mbpsが流れる • IEEE 1394 I/F (送信側のみ) • DFW-SX900を接続、距離問題に注意 • SXGA対応Graphic Card • DFW-SX900は1280x960の解像度 • DirectX 8.1以上(Windowsの場合)
要求仕様(ソフト) • 複数のカメラを接続、選択が可能 • 送信映像のモニタ(全画面) • 受信映像の表示(全画面) • カメラパラメータの制御 • ユニキャスト送信・マルチキャスト送信 • 受信側は自動切換えが嬉しい
実験・評価システムの変遷 • デスクトップ(ミニタワー)PC • Dell Precision 340 • Pentium4 1.8GHz, 256M Mem, NVIDIA Quadro4 900XGL • FASE FWLink-4001s • スモールデスクトップPC • Dell OptiPlex GX270 small desktop • Pentium4 2.6GHz, 512M Mem • ノートPC • Latitude D600 (受信専用) • Pentium-M 1.6GHz, 512MB Mem, ATI MOBILITY RADEON 9000 • 小型PC • FASE PC-CUBE • Pentium-M LV 1.1GHz, 1GB Mem, Flash Disk (CF) • Windows XP Embedded
実験・評価システムその後 • Windows XP への対応 • 従来は Windows2000 で動作 • マルチキャストへの対応 • 従来はブロードキャスト… • フレームの間引き などなど
運用システムの構築 • 仕様 • Pentium3 1.2GHz, 512MB Memory • 256MB Flash Disk • 複数カメラの切り替え • 2式を装備し、2ストリーム同時送受信可能 • RS232Cからの制御 • 2004年度から運用開始
ネットワークの設計(L2でべったり) 吉田キャンパス 講義室 (化学) 講義室 (電気) 桂キャンパス 講義室 (電気) 1G 1G Cat6500 講義室 (メディア) 10G Cat6500 講義室 (化学) 10G 1G 講義室 (生存圏) Cat6500 宇治キャンパス
ストリームのRTP化の検討 • 目的 • 異なる実装間で相互通信できるようにする • EthernetのMTUを超えるサイズのIsochronous packetを事前に分割する方式を規定する • フレームを構成するパケットの一部の損失があっても、フレームを部分的に再構成できるようにする(実装はともかく、プロトコルとして) • フレームの先頭や末尾の欠落、順序の入れ替わり等
IIDC 1394-based Digital Camera Specification Version 1.3 (Jul. 2000) • 1394 Trade Association Instrumentation and Industrial Control Working Group (II-WG), Digital Camera Sub Working Group (DC-SWG) • http://www.1394TA.org/
IIDC 1394 データフォーマット(Video Isochronous packet structure) 0-7 8-15 16-23 24-31 data length tg channel tCode sy header CRC Video data payload data CRC sy: 同期情報 ― フレームの先頭は0001、その他は0000 tg, tCode は固定値
ペイロードのサイズ • Format, Modeによって変動する • 125μsec間隔でパケット送出 • Format 2, Mode 0 : 1280x960, YUV(4:2:2), 16bit/pixel, 1line/packet, 7.5fps • 2560Bytes/packet × 1packet/line × 960lines/flame × 7.5fps = 147456000bps • Format 0, Mode 2 : 640x480, YUV(4:1:1), 12bit/pixel, 2lines/packet, 30fps – 1920B/p • そのままIPに乗せるとフラグメントが必要
ペイロードの形式 U-(K+0) Y-(K+0) V-(K+0) Y-(K+1) U-(K+2) Y-(K+2) V-(K+2) Y-(K+3) U-(K+4) Y-(K+4) V-(K+4) Y-(K+5) U-(K+Pn-6) Y-(K-Pn-6) V-(K-Pn-6) Y-(K-Pn-5) U-(K+Pn-4) Y-(K-Pn-4) V-(K-Pn-4) Y-(K-Pn-3) U-(K+Pn-2) Y-(K-Pn-2) V-(K-Pn-2) Y-(K-Pn-1) 位置情報が含まれない
検討事項 • Isochronous packetのヘッダをどうするか • フレームの先頭を示す情報が別途あればよい? • Any IEEE 1394 over IP は目指さない • MTUに収まるように事前に分割する • パケットの一部損失でフレーム全部を捨てずに、部分的な再構成を可能にする • フレーム内の位置を示す情報を付加する? • フレームの先頭パケットの損失もありえるので、RTPのシーケンス番号だけではつらいだろう • 実は draft-ietf-avt-uncomp-video-06.txt が使えるかも? • カメラのパラメータ制御は別途RTSPで考える
運用状態のモニタリング • 統計情報の取得 • パケットロスの数、頻度 • パケットロスで再構成できなかったフレームの数(合計、単位時間あたり) • 内部処理の遅延によって再構成できなかったフレームの数(合計、単位時間あたり) • 映像状態の遠隔監視
今後の課題 • RTPフォーマットの確定と複数の実装による相互接続の実現 • IPv6対応 • 一部パケットの損失時でも残りで再構成 • 音声ストリームへの対応、同期 • 広域環境での評価実験 • FECの適用
まとめ • IIDC 1394Digital Camera over IPによる遠隔講義用高品位映像伝送システムを構築 • 異なる実装間での相互通信を実現するための仕様の検討