中央大學 電算中心 楊素秋 97 年 8 月 25 日

1. 國家科學委員會補助專題研究計畫匯集網路之異常訊務偵測與通告系統Flood Detection and Notification System over Aggregate Network (FDNS) 中央大學 電算中心 楊素秋 97年 8月 25日

2. 報告大綱 • 1. 研究動機 • 2. Flooding 異常訊務特徵 • 3. FDNS系統 • 4. 需求規格完成度 • 5. 成果可應用性 • 6. 技術方案優越性 • 7. 測試完整性

3. 1. 研究動機 • myNetWatchman 觀點 • 最主要的網路安全問題不在於駭客的騙術 • 該優先解決的是那一大票不安全連網主機 • ISP網路業者應負更多的責任 • 閘門位置,有豐富的技術能力 • 連網封包均透過router轉送 • 直接與用戶溝通, 排除問題 • 擁有用戶基本資訊 • Routing 紀錄 • IP 對應的註冊紀錄

4. 1. 研究動機(cont.) • 異常偵測與通告系統的實現 • 環境與資源的配合 • Aggregate router NetFlow data • Flood Detection algorithms • Server, shareware packages (H/w & S/w) • 上游匯流節點增加一層anomaly 異常攻擊偵測機制 • Portscan(弱點掃瞄), ssh (密碼猜測) • spam (廣告信) • packet flooding 攻擊, SopCast(網路電視)

5. 1.研究動機(cont.) • Our Contributions • 成功裝置於 TANet 骨幹節點,NCU校園骨幹 • 協助網管監看具體flooding 訊務數據 • PortScanning flooding traffic • Spam: Aggressive SMTP senders traffic • ICMP/UDP packet flooding traffic • 自動通告網管 flooding 訊務數據 • 提供匯流節點的anomaly 異常攻擊偵測機制 • 避免遠程網路被 flooding packets 壅塞 • 控管 網路誤用事件 (Abuse)

6. 1. 研究動機2. FLOODING 異常 訊務特徵3. FDNS系統4.需求規格完成度5.成果可應用性6.技術方案優越性7.測試完整性

7. Protocol_id (TCP/ UDP/ ICMP/ Reserved) srcPort dstPort dstIP srcIP 2. Flooding 異常訊務特徵 • Internet socket connection • Socket stub • The 5-tuples Flow Identifier srcIP dstIP prot srcPort dstPort octets packets ----------------------------------------------------------------------------------------------- 96.244.49.242 140.135.230.123 6 3618 445 64 1 96.244.49.242 140.135.59.95 6 3619 445 64 1

8. 2. Flooding 異常訊務特徵(cont.) • A. PortScan flooding • 典型port scan 通訊模式 • 透過TCP three-way handshaking機制 • 快速送出SYN或FIN TCP封包 • 選定IP位址的網路主機群之多個弱點ports • 檢視各個回傳封包的RST flag • 判定 target主機是否具安全弱點

10. 2. Flooding 異常訊務特徵(cont.) • PortScan傳訊特徵 • Contaminated sources • 同時開啟(forked)多個 socket connection • Source port range: 1024 ~ 65535 • Destination port弱點: vulnerable ports • 建立明顯超量的PortScan flows • 各flows 之destination port • 集中在特殊的弱點ports • 反觀目的主機回應到source的port number • 分散於大範圍的1024 ~ 65535

11. 2. Flooding 異常訊務特徵(cont.) • PortScan 偵測策略 • 結合source IP與destination port 兩變量為key • 累計/排序 傳輸小封包的 tcp flow之傳訊量 • flows, packets, octets 或 bytes • Pkt_Size • 突顯收斂於弱點ports 之port scan 傳訊數據 • 並藉multi-thresholds 偵測程序,突顯出異常訊務 • Duration (hours) • Mean flow rate • History flood records

12. 2. Flooding 異常訊務特徵(cont.) • B. Spam flooding • 持續傳送超量的SMTP 訊務往多部主機 • 發送源與多個目的主機建立超大量SMTP flow連接 • 各flows 之destination port 集中在25/tcp port • target主機回應給發送源的traffic • port 範圍則分散於1024 ~ 65535大範圍 • 偵測策略 • 結合source IP與25 destination port 兩變量為key • 累計/排序 SMTP tcp flow之傳訊量 • multi-thresholds 偵測程序

13. 2. Flooding 異常訊務特徵(cont.) • C. Packet flooding傳訊特徵 • 持續傳送超大量UDP/ICMP packets • 即時傳輸協定 (real-time transmission protocol) • 往單一或多部target的受害主機 • 阻斷受害主機(victim)的開放服務 • 嚴重壅塞沿徑所有routing網段 traffic • 虛耗珍貴的遠程網路資源 • 中斷連線運作 • Transit Devices going off • Bandwidth use up

14. 2. Flooding 異常訊務特徵(cont.) • Packet flooding 偵測策略 • 結合source IP與UDP/ICMP 協定 兩變量為key • 累計/排序 該 virtual flow 傳訊量 • 連接總數(flows) • 封包數(packets) • 傳輸量(octet 或 bytes) • Pkt_Size • multi-thresholds 偵測程序 • Duration (hours) • Mean packet rate

15. 1. 研究動機2. Flooding 異常訊務特徵3. FDNS系統4.需求規格完成度5.成果可應用性6.技術方案優越性7.測試完整性

16. 3. FDNS系統

17. 3. FDNS系統 (cont.) • A.轉送訊務紀錄擷取子系統(TDC) • router 轉送紀錄: FDNS 的最基本依據 • router轉送資料的擷取 • 啟動Router Netflow 功能, 使送出轉送記錄 • TDC主機執行flow-capture & flow-print程式 • 與router建立連接,接收NetFlow 紀錄 • 解壓縮解 raw NetFlow 紀錄 • 成為ASCII 文字形式 • 以time 序命名/存檔

18. 3. FDNS系統 (cont.) • B. 異常偵測子系統(FDS) • 多元特徵之訊務累計(Feature- based) • 讀取 NetFlow data files • 結合多個傳訊變量作為virtual_flow • 累計/排序 TopN 的訊務 • 多元臨界之異常偵測(Multi-Thresholds) • 讀入各時段累計的TopN PortScan數據,累計 • duration[sourcei ] • flow_rate[sourcei] • 比對多個訊務臨界值 • 找出持續送出超量訊務的源端主機

19. 3. FDNS系統 (cont.) 累計的TopN flooding訊務紀錄(範例) 12-12 :: 01 SRC_IP>serv_port Flows pk_size(KB) Pkts Total(MB) ======================================================================= 03.68.248.116>#.#.#.#.(139) 12093 0.048 13318 0.639 203.72.84.250>#.#.#.#.(135) 944 0.048 945 0.045 210.0.137.102>#.#.#.#.(139) 784 0.048 880 0.042 163.30.44.21>#.#.#.#.(80) 583 0.048 1133 0.054 1212-0110 SRC_IP>serv_port Flows pk_size(KB) Pkts Total(MB) =============================================================== 203.68.248.116>#.#.#.#.(139) 8021 0.048 8562 0.411 140.115.17.134>#.#.#.#.(23) 712 0.050 1857 0.092 203.72.84.250>#.#.#.#.(135) 604 0.048 604 0.029

20. 3. FDNS系統 (cont.) 偵測的Portscan異常訊務紀錄 src_IP >#.#.#.# DST_P1/Flows DST_P2/Flows (FwRate *Hour)[Shool] ====================================================================== 203.68.248.116>#.#.#.# 139/1729530 |@@ 72063 * 24 [新興高中] 163.30.45.6>#.#.#.# 80/295041 |@@ 42148 * 7 [桃園縣網東門國小] 163.25.154.253>#.#.#.# 445/84878 |@@ 21219 * 4 [陸軍高級中學] 163.30.44.21>#.#.#.# 80/44028 8081/37049 |@@ 3685 * 22 [桃園國小] 140.115.214.215>#.#.#.# 80/56840 |@@ 2368 * 24 [中央大學宿舍網路] 140.115.72.154>#.#.#.# 5900/52344 |@@ 8724 * 6 [中央大學 電機] 140.115.204.20>#.#.#.# 80/36643 |@@ 3331 * 11 [中央大學宿舍網路] 209.190.23.138>#.#.#.# 3306/29526 |@@ 3280 * 9 [ ] 140.115.17.134>#.#.#.# 23/23858 |@@ 3976 * 6 [中央大學電算中心] 203.68.89.163>#.#.#.# 80/22395 |@@ 2488 * 9 [萬能科技大學] 210.59.70.210>#.#.#.# 80/21176 |@@ 2352 * 9 [金門縣網中心] 203.68.248.148>#.#.#.# 139/7703 445/7595 80/5109 |@@ 4081 * 5 [新興高中]

21. 3. FDNS系統 (cont.) • C. 尋徑紀錄萃取子系統(RTES) • IP位址本身不包含管理資訊 • 為及時通告偵測的異常訊務數據 • snmpwalk快速萃取router的ip_routing 紀錄 • ip.ipRouteTable.ipRouteEntry.ipRouteMask • ip.ipRouteTable.ipRouteEntry.ipRouteNextHop • 選擇 Rwhoisd 建置 IP管理資訊查詢服務 • 參照IP routing 與連線單位聯絡紀錄 • 建立IP管理資訊 • 餵入rwhoisd資料庫,啟動 rwhoisd • 提供遠端連接,查詢異常發送源的管理員Email

22. 3. FDNS系統 (cont.)

23. 3. FDNS系統 (cont.)

24. 3. FDNS系統 (cont.) • D.異常訊通告子系統(ANS) • IP管理資訊查詢 • 讀取FDS之輸出檔案,萃取得 anomaly source IP • 依IP位址呼叫 Net-Rwhois perl module • 連接RWhoisd server • 查詢異常IP主機對應之網管人員email紀錄 • 異常訊務通告 • 再次讀取當日的異常訊務數據檔 • 過濾該 anomaly IP 的異常訊務既紀錄 • 呼叫 Mail::Sendmail perl module,寄出具體訊務數據

25. 3. FDNS系統 (cont.) • E.異常訊務監看子系統(ATM) • 單日異常訊務之監看 • PHP動態網頁, 接受使用者鍵入欲查詢之 月/日數字 • 讀取該日期之各筆異常訊務數據(依日期編碼命名) • 顯示於監看網頁 • 單月異常訊務之監看 • 提供網路管理人員查看單月之異常訊務歷史紀錄 • PHP動態網頁程式, 接受使用者鍵入欲查詢之年/月 • 連接mysql server,查詢該年/月 之異常紀錄 • 顯示於監看網頁.

26. 3. FDNS系統 (cont.) • 異常偵測狀況 • 93年 case v.s. 96年 case • PortScan • Spam • UDP packet flooding • 可能影響因素 • Windows SP3 (service pack) • Anti-virus • Update • IDS device • 網路電視訊務 (udp, p2p)

33. 1. 研究動機2. Flooding 異常訊務特徵3. FDNS系統4.需求規格完成度5.成果可應用性6.技術方案優越性7.測試完整性

34. 4.需求規格完成度

35. 4.需求規格完成度（cont.)

36. 4.需求規格完成度(cont.) • 未來研究方向 • 增加異常偵測比對的臨界變量 • Flow_rate (mean flows per hour) • Duration (Hours) • History record (Days) • Sensitive Domain (China, East europe) • 引入 Data Mining • 知識庫的累積 (網管員經驗傳承) • 自動分析可能的原因 / 排除方法

37. 1. 研究動機2. Flooding 異常訊務特徵3. FDNS系統4.需求規格完成度5.成果可應用性6.技術方案優越性7.測試完整性

38. 5.成果可應用性 • 匯集網路之異常訊務偵測與通告系統 • 提供上游網路多一層的異常偵測/防護 • 連網封包均透過router轉送(flow-based) • 遭誤用系統的行為 • 頻繁地傳送超量訊務給單一或多部主機 • 且傳送超量訊務的持續時段也明顯拉長 • 可推廣對象 • ISP業者骨幹網路 • 校園core網路 • 企業 core網路

39. 5.成果可應用性(cont.) • 使用狀況 • 首建於TANET (台灣學術網路)桃園區域網路中心 • 該區域連線學校之flooding異常訊務之偵測 • 40餘所大專院校/高中職校,與數百所國中/國小 • 桃園區網技術小組成員 • 推廣到TWAREN 桃園GigaPoP節點 • 推廣到中央大學校園網路 • 中央大學校園網管小組成員 • 系所 &宿舍: 技術員,工讀生 • 行政單位:工讀生

40. 5.成果可應用性(cont.)

41. 1. 研究動機2. Flooding 異常訊務特徵3. FDNS系統4.需求規格完成度5.成果可應用性6.技術方案優越性7.測試完整性

42. 6.技術方案優越性 • FDNS 系統優點 • i) 善用匯集點router 轉送紀錄 • 實現異常訊務偵測機制 • 廣範圍網路的Anomaly 異常偵測/防護 • ii) 善用router ipRoute SNMP MIB • 快速萃取最新的 routing 資訊 • 建置IP主機管理資訊查詢服務 (Rwhoisd) • 實現異常訊務自動通告機制 • iii) 結合網路管理組織與實際運作機制 • 分享問題排除經驗,實施有效控管

43. 1. 研究動機2. Flooding 異常訊務特徵3. FDNS系統4.需求規格完成度5.成果可應用性6.技術方案優越性7.測試完整性

44. 7.測試完整性 • 品質指標 • 與網路計費系統之差異 • 計費系統 • 以單一的source IP 或destination IP 為index key • 累計IP對應的 輸出或輸入傳輸量 • FDNS系統 • 實做異常訊務的累計/排序 • 結合多個socket flow 變量,做為基本辨識單元 • 精確地突顯flooding訊務 • 偵測程序 :比對多元變量之臨界值

45. 7.測試完整性(cont.) • 與IDS系統之差異 • FDNS適合涵蓋廣範圍網路(flow-based) • 未知攻擊行為或入侵事件之偵測 • 具體傳輸訊務量 (協助鎖定異常發送源與訊務量) • 無法提供確切的異常傳訊封包內容 • IDS異常偵測系統 • 能精確地發現已被鑑識/建立特徵的異常 • 需龐大計算資源 (content-based) • 無法發現未完整定義的未知攻擊行為或入侵事件 • 無法運用於涵蓋大範圍網路的異常偵測 • 易成為攻擊的目標(癱瘓IDS)

46. 7.測試完整性(cont.) • 使用經驗 • FDNS 能偵測 • 變的portscan 訊務(不斷翻新的弱點ports) • spam • packet flooding事件 • 能自動通告具體的flooding 訊務數據 • 協助網管人員 • 及時發現異常訊務的發生 • 掌握異常源端主機及具體訊務數據 • 為用戶分析異常發送主機之flooding現象

47. Thank You !