Elia Chen 陳世揚 , Chief Technologist e-mail: eliachen@nbl.tw Network Benchmarking Laboratory

無線網路 SIP 家用閘道器效能測試方法與結果發表Performance Benchmarking on Wireless SIP Residential Gateways Tue., July 24, 2007 Elia Chen 陳世揚, Chief Technologist e-mail: eliachen@nbl.org.tw Network Benchmarking Laboratory 工研院交大網路測試中心

Outline • 公開評比的設計 • 組合測試設備方法 • 測試項目與結果 • 測試總結與展望 • I have to acknowledge our test engineer, Rex Wu, for his hard work.

公開評比的設計 動機：讓傳統電話一起上網 • 家用 IP 分享器再加上 VoIP • 具有 Wireless LAN 的 NAT Gateway 已經很普遍 • 使用者不曉得家裡的類比電話也可以上網 • 加入 SIP 功能的 Gateway 可以讓類比電話接上 VoIP • 用 PC 或是類比電話來接上 VoIP • 類比電話當然讓多數人覺得比較方便 • Desktop 或 Notebook PC 可以比較多台一起用 • 哪一種品質好？尤其是同時有別種的 Traffic 共存時 • 多次撥打的通話斷話過程是否都有效率且穩定？ • 評比結果將以匿名呈現 (送測者知道自己的)

公開評比的設計 居家電話的 Scenario 與品質 • DUT: 無線 SIP 家用閘道器 • Ethernet WAN port • Analog FXS port + Ethernet LAN port(s) + Wireless LAN interface • 類比電話的接收路徑 • 對方→WAN (Router)→Ethernet→DUT→RJ11→電話接收 • 在 WAN 上或在 DUT 上都可能損害語音品質 • PC 的 SoftPhone 的傳送路徑（有兩種） • 對方→WAN (Router)→Ethernet→DUT→Ethernet→PC 接收 • 對方→WAN (Router)→Ethernet→DUT→Wireless→PC 接收 • 一樣有上述的可能損害，而且 Wireless 也可能會有損害

公開評比的設計 測試結構：群組與項目

公開評比的設計 採用測試設備及其原因 • 1. Spirent Abacus 5000 4.10 • Enhanced Analog Call Generator (ECG3) Subsystem • IP Telephony Call Generator (ICG3) Subsystem • 2. Spirent Avalanche/Reflector 220 and Software 7.51 • 3. Ixia IxWLAN Multi-Client Performance Tester • 4. NIST-Net + Linux (on Duo-Core PCI-Express arch) • 採用的原因考量 • Abacus 可多重介面（IP、TDM、Analog…）模組整合，是故很適合直接測試 Gateway 或 Call Agent 的網路，單一 DUT 亦方便 • Avalanche 應用層 Traffic 的負載容易定義，造就真實的網路 Busy • IxWLAN 用來將 Abacus ICG 模組和 Avalanche 對應至 Wireless

組合測試設備方法 術語：Call Generation • Originate (撥號者) 是執行 Call Generation script 的角色 • IC 決定可再次撥號的效率，不過我們指定的是較高精度的 CC • SS 是決定另一個撥號者動作的速度

組合測試設備方法 術語：Call Generation (cont.), Path Confirmation • Path Confirm 用來讓 Originate 確認是否和 Terminate 成功通話

組合測試設備方法 增加背景 Traffic 的步驟 Abacus Call Generation PESQ-123 CL (120 sec) ST Cut-Through Time (~75 sec) 0 15 30 90 150 210 240 (sec) Dial Ramp Up Steady h = Load Spec Steady h = 0 LOAD SPEC Sessions (Avalanche) Session Rate (Avalanche) Avalanche FTP File Size: 10 MB • 讓 SIP 在 FTP Ramp Up 之前完成，以順利測試 RTP 語音

測試項目與結果 (Gateway) TG A Topology 1: Gateway Call Setup Ratio VOICE CODEC G.711u FACTORS Single Call Rate (Abacus) Abacus ECG3 ICG3 SIP Access Gateway Switch FXS WAN DUT SIP Server

測試項目與結果 (Gateway) A.1 Setup Ratio by Single Call Rate

測試項目與結果 (Gateway) TG A Topology 2: Gateway Voice Quality VOICE CODEC G.711u FACTORS WAN Packet Loss Ratio (NIST-Net) WAN Packet Dup. Ratio (NIST-Net) WAN Delay Distribution (NIST-Net) BG FTP Session Number (Avalanche) BG FTP Session Rate (Avalanche) Abacus ECG3 ICG3 Linux Router NIST-Net SIP Access Gateway Switch 1 Switch 2 FXS WAN LAN DUT SIP Server Avalanche Client Reflector

測試項目與結果 (Gateway) A.2 Voice Quality by WAN Packet Loss Ratio

測試項目與結果 (Gateway) A.3 Voice Quality by WAN Packet Dup. Ratio

測試項目與結果 (Gateway) A.4 Voice Quality by WAN Delay Distribution

測試項目與結果 (Gateway) A.5 Voice Quality by BG FTP Session Number

測試項目與結果 (Gateway) A.6 Voice Quality by BG FTP Session Rate

測試項目與結果 (Ethernet) TG B Topology 1: Ethernet Call Setup Ratio VOICE CODEC G.711u FACTORS Multiple Calls (Abacus) Multiple Call Rate (Abacus) Abacus ICG3 (O) ICG3 (T) SIP Exchange L2 Bridge Switch LAN LAN DUT SIP Server (not required if DUT is a SIP server)

測試項目與結果 (Ethernet) B.1 Setup Ratio by Multiple Calls • No result for P3 since it only has 1 LAN port

測試項目與結果 (Ethernet) B.2 Setup Ratio by Multiple Call Rate • No result for P3 since it only has 1 LAN port

測試項目與結果 (Wireless) TG C Topology 1: Wireless Call Setup Ratio VOICE CODEC G.711u FACTORS Multiple Calls (Abacus) Multiple Call Rate (Abacus) Abacus ICG3 (O) ICG3 (T) SIP Exchange L2 Bridge IxWLAN Switch WLAN LAN DUT Azimuth Platform SIP Server (not required if DUT is a SIP server)

測試項目與結果 (Wireless) C.1 Setup Ratio by Multiple Calls

測試項目與結果 (Wireless) C.2 Setup Ratio by Multiple Call Rate

測試項目與結果 (Ethernet) TG B Topology 2: Ethernet Voice Quality VOICE CODEC G.711u FACTORS Multiple Calls (Abacus) Multiple Call Rate (Abacus) BG FTP Session Number (Avalanche) BG FTP Session Rate (Avalanche) Abacus ICG3 (O) ICG3 (T) SIP Exchange L2 Bridge Switch 1 Switch 2 LAN LAN DUT SIP Server Avalanche Client Reflector (not required if DUT is a SIP server)

測試項目與結果 (Ethernet) B.3 Voice Quality by Multiple Calls • No result for P3 since it only has 1 LAN port

測試項目與結果 (Ethernet) B.4 Voice Quality by Multiple Call Rate • No result for P3 since it only has 1 LAN port

測試項目與結果 (Ethernet) B.5 Voice Quality by BG FTP Session Number • No result for P3 since it only has 1 LAN port

測試項目與結果 (Ethernet) B.6 Voice Quality by BG FTP Session Rate • No result for P3 since it only has 1 LAN port

測試項目與結果 (Wireless) TG C Topology 2: Wireless Voice Quality VOICE CODEC G.711u FACTORS Multiple Calls (Abacus) Multiple Call Rate (Abacus) BG FTP Session Number (Avalanche) BG FTP Session Rate (Avalanche) Abacus ICG3 (O) ICG3 (T) IxWLAN SIP Exchange L2 Bridge Switch 1 Switch 2 WLAN LAN DUT Azimuth Platform SIP Server Avalanche Client Reflector (not required if DUT is a SIP server)

測試項目與結果 (Wireless) C.3 Voice Quality by Multiple Calls

測試項目與結果 (Wireless) C.4 Voice Quality by Multiple Call Rate

測試項目與結果 (Wireless) C.5 Voice Quality by BG FTP Session Number

測試項目與結果 (Wireless) C.6 Voice Quality by BG FTP Session Rate

測試總結與展望 在 Lab 裡逼近實際的 VoIP 經驗 • 在嚴苛的網路環境考驗下的 VoIP • 幾乎語音 (RTP) 都無法抵擋 Packet Loss 的損害 • 對於 Packet Dup. 和 Delay Variance 的狀況有的產品可以盡力維持 • 同時要 Forward Traffic 時也可能維持 VoIP 的處理品質 • 在 Heavy Load 下的語音，Wireless 還是比 Ethernet 糟糕很多 • 能力最好的 SIP Gateway: P2; Ethernet: P2, P5, P6;Wireless: P1 • 延伸至 ‘Real’ Condition 的結果 • 如果使用更逼真的 WAN Emulator，反應得出 VoIP 使用經驗嗎？ • NIST-Net 有可以套用自行取樣的 Model，也值得嘗試 • 感謝您的參與指教 Any Question?

Elia Chen 陳世揚 , Chief Technologist e-mail: eliachen@nbl.tw Network Benchmarking Laboratory