インターネットの測定技術に 基づくセキュリティ診断

1. インターネットの測定技術に基づくセキュリティ診断インターネットの測定技術に基づくセキュリティ診断 後藤 滋樹グローバルCOEプログラムアンビエントSoC教育研究の国際拠点（早稲田大学　理工学術院）

2. 概要 インターネットのトラフィックが増大するにつれて、生のデータを直接に測定することが難しくなった。これを解決するためにサンプリングを行なったり、特徴 を簡単に表現する方法が提案されている。ここでは我々の提案を紹介する。ネッ トワークの測定を行なうと、教科書に載っているような整ったデータだけではなく、奇妙なパケットやフローが現れる。これは多くの場合には不正なアクセスや ウィルス、ボット、spamメールなどに起因する。講演の後半では、セキュリティ に関する検知を能率良く行なう方法について説明する。

3. 本資料の構成

4. （背景）広帯域ネットワークの利用増→　測定が難しくなる（背景）広帯域ネットワークの利用増→　測定が難しくなる • 対象とするデータ量が膨大になる例：早稲田大学のSINET対外接続は10Gbpsもし使用量１.６Gbps＝０.２ＧＢ/sec としても１時間のデータ（６０秒×６０分）　７２０ＧＢ • 個々のパケットではなくフローとして把握（2.1） • サンプリング（1.1）, フィルタリング（2.1） • できるだけ即時に処理（2.2） • 多地点のデータを分散管理（1.2）

5. 1.1 サンプリングによる測定 • 電気通信普及財団　テレコムシステム技術賞２０１０年３月１５日　授賞式 • T. Mori, T. Takine, J. Pan, R. Kawahara. M. Uchida, and S. Goto, Identifying Heavy-Hitter Flows From Sampled Flow Statistics,IEICE Transactions on Communications, Vol. E90-B, No.11, pp. 3061--3072, Nov. 2007. • 電子情報通信学会　論文賞２００９年５月２９日　授賞式

6. 電気通信普及財団賞 ネットワーク内を流れるトラフィックをチェックして、長時間大量のパケットを流すフローを識別することは重要な問題である。この研究は、すべてのパケットではなく、サンプリングにより高精度且つスケーラブルにそのようなフローを特定する理論的手法を確立し、実トラフィックデータを用いて実証したもので、実社会で求められている優れた仕事である。

7. 1.1 サンプリングによるエレファントフローの特定 • エレファントフロー とは「巨大なフロー 」 • P2Pによって発生したフロー • 今日では巨大フローは一般ユーザーが発生する • CATV,DSL, FTTH 加入者 • 帯域の消費が著しい • ネットワークによらない普遍的な現象(2:8の法則) • エレファントフローを検出・制御すると • 制御対象とするフロー数が少なくて済む • 制御する効果が大きい

8. 分析の対象とするデータ　 • OC48c パケットトレース(PMA project, NLANR) • N=10,000,000 (約2分の片道トラフィック) • 総フロー数: 737,800 • エレファントフロー数 (Xj >= 10,000) : 167 • エレファントフローのトラフィック量占有率 : 59.3% Pr[Xj = x]

9. パケットサンプリングとフロー計測 • パケットサンプリング • Nパケットに1パケットをサンプルする • フロー計測のコストを削減することが目的 • メモリ消費量、アクセススピード • 超高速ネットワークに対するスケーラビリティを提供 • 標準化、実装が進んでいる技術 • サンプリングにより、フロー統計情報の一部は失われる

10. 課題とアプローチ: • 課題 • サンプルしたパケットからエレファントフローを特定する  エレファントフローを特定するためにはパケットカウントの閾値をどのように定めれば良いか？ • 本研究のアプローチ ベイズの定理を用いる

11. ベイズの定理: • フロー j • 元のパケット数: Xj • サンプルパケット数: Yj • エレファントフロー Xj >= Xe Pr[ Yj = Y’ | Xj = Xe] : 超幾何分布 ベイズの定理により、次式を計算可能 Pr[ Xj = Xe | Yj = y’] ※　ただし、事前分布Pr[Xj = x]が必要

12. ベイズの定理 フローj:　母集団におけるパケット数が Xj=x である条件 のもとでサンプルしたパケット数が Yj=yである確率 (超幾何分布) フローj: サンプルしたパケット数が Yj≧yである条件の もとで母集団におけるパケット数が Xj≧xである確率 （i.e., フローｊがエレファントフローである確率） (A) (B)

13. False probabilities: フローjについてサンプルしたパケット数が　　　　　　　 を満たしたらエレファントフローであると特定する • False positive ratio:= Pr [特定したフローがエレファントでない]= • False negative ratio:= Pr [エレファントフローが特定されない]== 誤って検出 見逃し

14. False率のトレードオフ f=1/1,000 f=1/10,000 サンプリングレートが低いほど、トレードオフが顕著

15. 応用例:False positive を小さくする (≦ 0.05) f=1/1,000 f=1/10,000 False positive小  特定したフローは高確率でエレファント ただし、未検出のエレファントフローが増える

16. 同様の値をとる エレファントフローを特定するための閾値 実験 (実際のパケットサンプリング) 特定フローのうち、実際に エレファントフローである数 特定したフロー数 元のエレファントフロー数 = 167 トラフィック占有率 > 20 % 精度の評価例: (false positive < 0.05) 理論 サンプリング レート

17. 事前分布と閾値 • 閾値　　の算出には，事前分布の情報が必要 • 事前分布の情報をどのように得るか？ • 同一ネットワークの近い時間帯でのデータを使う - 予め，測定しておく • サンプルしたフローの分布から、元の分布を推定 - Yjの分布からXjの分布を推定 [Duffield,SIGCOMM’03] • 分布の普遍的な性質を利用する • 多くの場合，Xj の分布は形状母数≒1.0 のパレート分布で近似可能 • 算出された閾値は、広い範囲の分布に対して同じ値

18. 様々な事前分布： • 経験分布 (計測データ) • OC48c link [PMA, NLANR] • GbE link [PMA, NLANR] • 理論分布(パレート分布) beta=0.5 beta=0.75 Pr[Xj > x] beta=1.0 beta=1.25 beta=1.5 x

19. 評価結果: false率 false-positive false-negative false-positive false-negative f=1/1,000 f=1/10,000 経験分布 パレート分布

20. 評価結果: 閾値 min s.t. FPR< 0.05 経験分布 パレート分布

21. エレファントフロー特定の応用例 • PD (Priority discarding), WFQ (Waited Fair Queueing) 等のキュースケジューリングアルゴリズムと併用 • ネットワーク輻輳時に、帯域を支配しているエレファントフローに属するパケットを優先的に廃棄/低優先キューに割り当て • CSFQ (Core Stateless Fair Queueing)等のスケーラブルなネットワーク制御アーキテクチャに適合 • エッジノードはエレファントフローマーキング。コアノードはマークを元に diffserv 的な制御を実施。 • 極端なエレファントフローの発生を検出したら、迅速にオペレータに通知する (anomaly detection)

22. 1.1のまとめ • サンプルしたパケットからエレファントフローを特定する方法を提案し、実データにより評価した • アイディアの要点： フロー毎にサンプルされるパケットカウントと、そのフローがエレファントフローである確率の関係を事前に算出　 • ベイズの定理を利用。事前分布の情報が必要。 • 実データおよび理論分布を用い、提案手法の有効性を示した • 本手法で計算した閾値　　は、他のネットワークに対しても有効 (非一様性の普遍性より)

23. 1.2 End-to-end の測定方法 • Introduction • Background and Motivation • Applications • Overview of i-Path • Data Collection • New Software • More Applications • Conclusion

24. The Goal of i-Path project • Accessible Information between the hosts • Observing the information disclosure policy of all stakeholders along the path

25. Introduction Background Growing demand for backbone bandwidth • Because of … • Observe the information disclosure policy • Status of network depends on variety of factors Network performance fluctuation (e.g. throughput) • Routers keep rich information • Routing table, Link utilization • Temperature, Location, Contact point, Supply voltage etc. Not easy to collect right information and to utilize information along the path

26. Introduction Motivation • Disclosing information leads to improved End-to-End visibility • Monitoring network status • Reporting events and troubleshooting • Reduction in operational cost • End-to-End visibility provides benefit to end hosts and network operators • Providing transparency of underlying networks

27. Introduction Applications Enhanced Congestion Control Best peer selection in P2P communication applications Adjust optimal bit rate in VoD Dynamic network configuration (e.g. according to Time zones) Selection of the appropriate path(e.g. Not violating policies related to content management)

28. Overview Data Collection • Explicit Network Information Collection Along a Path • SIRENS *(Simple Internet Resource Notification Scheme) • Based on the cross layer approach • Bottleneck bandwidth • Interface queue capacity • Corruption losses etc. • Scalable network information measurement * K. Nakauchi and K. Kobayashi. An explicit routerfeedback framework for high bandwidth-delay productnetworks. Computer Networks, 51(7):1833–1846, 2007.

29. Overview Structure of shim-header Inserted between the network and transport headers

30. Overview Information Disclosure • Prohibit to access some Information on routers • Unwilling to disclose inside network status • Security • Cost • Each ISP has a disclosure policy • End hosts have their disclosure policy Negotiation: requests and responses OK to Disclose? OK to Disclose? OK to Disclose?

31. Observing Information Disclosure Policies Selective requests and responses • Policy:Alice & Bob allow to disclose beyond 3rd hop router. • Implementation: • Alice does not send req. for her neighbor & the next neighbor routers, i.e.,1st & 2nd hops. • Bob does not send back res. same as Alice, i.e., 6th & 7th hops. • Results: • Alice obtains 3-5 hops data. • Bob obtains 3-7 hops data

32. TCP Data TCP Data TCP Data TCP Data TCP Data TCP Data New Software Tools xml (a) Send a SIRENS request packet (b) Receive the request packet and reply Receiver Sender i-Path Router (c) Receive the reply packet and make xml files Developed software

33. Snapshot of the Visualization Tool • Dark colored (Blue) routers • Data Collection: Enabled • Gray colored routers • Data Collection: Not enabled or Not Exist

34. More applications Network Threat Detection S.Nogami, A.Shimoda and S.Goto, Detection of DDoS attacks by i-Path flow analysis, (in Japanese, to appear) 72nd National Convention of IPSJ, Mar. 2010. DDoSPackets destination: TARGET Source IP Address: Spoofed IP Address TARGET IPaddress : X.X.X.X Internet BackScatter Packets destination: Spoofed IP Address Source: TARGET Attackers extraneous hosts/servers

35. More applications NAT traversal Different kind of NATs: full cone, restricted cone, port restricted cone, symmetric K.Tobe, A.Shimoda and S.Goto, NAT traversal with transparent routers,(in Japanese, to appear) 72nd National Convention of IPSJ, Mar. 2010 symmetric NAT

36. Current Status and Future Plans • i-Path project wikihttp://i-path.goto.info.waseda.ac.jp/trac/i-Path/ • Dai Mochinaga, Katsushi Kobayashi, Shigeki Goto, Akihiro Shimoda, and Ichiro Murase, Collecting Information to Visualize Network Status, 28thAPAN Network Research Workshop, pp.1—4, 2009. • Network application utilizing collected information • Demonstration on R&D testbed: JGN in Japan • Demonstration at SC09, Portland, OR, Nov. 2009

37. 1.2 Conclusion • We proposed new method disclosing network information • i-Path • Offering end-to-end visibility, transparency • Observing privacy protection • Respecting disclosure policy

38. 2.1 異常トラフィックの抽出 • Analyze packet by packet • Limitation of simple packet analysis • Malicious activities—in normal packets • DoS (Denial of Service) attack • Port Scan

39. Flow Analysis and Protocol Machine • Flow — a sequence of packets • Source and destination IP address (or AS#) • Port numbers (application) • Valid flow and Invalid flow • A flow is classified by the protocol machine.

40. Flow Analysis and Protocol Machine • The original protocol machine for TCP • Defined in RFC 793 • Deterministic automaton • Our new extended protocol machine • Non-deterministic automaton • It covers packet losses and duplicated packets.

41. 2.1 異常トラフィックの抽出An Improved Protocol Machine for Flow Analysis and Network Monitoring Heshmatollah Khosravi, Masaki Fukushima and Shigeki GOTO , “An Improved TCP Protocol Machine for Flow Analysis and Network Monitoring”, IEICE Transaction, Vol.E86-B No.2 pp.595-603, February, 2004.

42. Protocol machine — Finite states • Formally defined specification e.g. RFC793. • Finite state automaton (automata) • Well established method in mathematics • Packets are treated as input symbols. • An automaton accepts a sequence of packets, if it matches the specification of the protocol, i.e. TCP.

43. The original machine in RFC793 • RFC793 state diagram:transition with • Two packets • One packet • Zero packet • Automaton & TCP specification • One packet

44. The extended machine • Two machines are used for a client and a server. • One packet at a time • New states are inserted. • Invisible transitions (ε) • Internal operations in the machine • No packets are associated.

45. Two Machines • RFC793 Model:state diagram of an end node • A client or • A server • In our Analysis:Two machines are needed • A client & A server

46. One Packet at a-time • one packet is sent, and the response is sent back • A transition with two input symbols Adding a new state RecvSYN Recv/Send a new state SendSYN ACK

47. Invisible transitions • Internal operation of the machine • Passive Open: just is in LISTEN state • no packets are associated Indicating ε-move Passive Open ε εmeans empty.

48. Invisible transitions (2) • Internal operation of the machine • CLOSE : Close( ) system call on a socket • no packets are associated Indicating ε-move CLOSE ε ε means empty.

49. The extended machine • One transition is associated with either: • Only one packet • Empty （ε-move） • A client and a server • Direct product of the two machines

50. Classification of flows (1) • Valid Flow : • Sequence of packets that can be mapped to the set of input symbols ∑ of protocol machine. It starts with SYN, and end normal with ACK_of_FINor RST. • Invalid Flow : • Sequence of packets that can not be mapped to the set of input symbols ∑ of protocol machine. It starts with SYN, but dose not continue to end due to packets getting lost, dropped, truncated etc.