270 likes | 414 Views
Spampot :基于分布式蜜罐的垃圾邮件捕获系统. 清华大学计算机科学与技术系 郭 军权 2012 年 7 月. 内容. 邮件蜜罐技术介绍 Spampot 系统的设计与特点 Spampot 系统部署情况与数据分析 捕获 数据情况统计 伪造或隐藏信息统计 典型测试邮件 数据分析 僵尸 网络的发现 下一步工作. 邮件 蜜罐 技术 介绍 (一 ). 垃圾邮件( Spam )是描述未被请求的电子邮件的通用术语,巨大的商业利益驱动使垃圾邮件 愈演愈烈。
E N D
Spampot:基于分布式蜜罐的垃圾邮件捕获系统 清华大学计算机科学与技术系 郭军权 2012年7月
内容 • 邮件蜜罐技术介绍 • Spampot系统的设计与特点 • Spampot系统部署情况与数据分析 • 捕获数据情况统计 • 伪造或隐藏信息统计 • 典型测试邮件数据分析 • 僵尸网络的发现 • 下一步工作
邮件蜜罐技术介绍(一) • 垃圾邮件(Spam)是描述未被请求的电子邮件的通用术语,巨大的商业利益驱动使垃圾邮件愈演愈烈。 • 目前,基于来源和基于内容的垃圾邮件过滤技术是两种非常有效的邮件过滤技术。为了能够有效过滤最新型的垃圾邮件,基于来源的垃圾邮件过滤方法需要不断更新黑名单地址库,而基于内容的过滤方法需要对新型垃圾邮件样本进行学习。
邮件蜜罐技术介绍(二) • 黑名单技术的广泛应用,使得Spammer更倾向于使用开放中继(Open Relay)与开放代理(Open Proxy),来伪造发件人和隐藏真实的源IP地址信息,千方百计地改变邮件特征,突破邮件过滤技术的拦截和逃避追踪。 开放代理 Spammer 受害用户 开放代理 开放中继
邮件蜜罐技术介绍(三) • 理解垃圾邮件发送者的行为特征(Spammer behavior)是与垃圾邮件做长期斗争的关键一步。如何收集大量的垃圾邮件,是研究垃圾邮件发送者行为的首要任务。 • 传统的垃圾邮件收集方法难以及时搜集最新型的垃圾邮件样本。 • 邮件蜜罐技术以其主动防御特性受到越来越多的关注。
内容 • 反垃圾邮件及邮件蜜罐技术介绍 • Spampot系统的设计与特点 • Spampot系统部署情况与数据分析 • 捕获数据情况统计 • 伪造或隐藏信息统计 • 典型测试邮件数据分析 • 僵尸网络的发现 • 下一步工作
Spampot系统 • Spampot系统是一个集成了开放中继与开放代理的分布式垃圾邮件蜜罐系统,建立了新型垃圾邮件样本库、垃圾邮件发送者源IP地址等黑名单库。 • 系统主要由蜜罐客户端和中心服务器端两部分组成。系统总体框架如下图所示。
Spampot系统的设计特点 • Spampot系统的设计和部署有3个特色创新点: • (1)开放中继蜜罐与开放代理蜜罐的集成; • (2)针对Spammer和反垃圾邮件组织对Open Proxy、Open Relay的测试邮件,采用不同的应对策略; • (3)Spampot蜜罐客户端的分布式部署使得数据采集更全面,而Spampot中心服务器的集中部署,使数据的存储和邮件的转发集中控制,最大限度的降低蜜罐系统带来的各种风险。
Spampot系统难点 • 解决了垃圾邮件蜜罐设计、实现、部署方面的几个难点: • (1)如何诱骗Spammer,使其发现并使用Spampot系统发送大量垃圾邮件。 • (2)Spampot系统如何防止被Spammer滥用。 • (3)如何防止Spampot系统的IP地址被黑名单组织或邮件服务商列入黑名单。
内容 • 反垃圾邮件及邮件蜜罐技术介绍 • Spampot系统的设计与特点 • Spampot系统部署情况与数据分析 • 捕获数据情况统计 • 伪造或隐藏信息统计 • 典型测试邮件数据分析 • 僵尸网络的发现 • 下一步工作
Spampot部署情况 • 清华大学网络与信息安全实验室分别在教育网(CERNET)、清华大学、北京大学、北京网通和美国租用主机共部署了7个Spampot邮件蜜罐客户端,部署以来,记录了来自2,138个IP地址的546,001次的开放中继和开发代理扫描行为,并捕获了发往71万个目的邮箱的103,499份垃圾邮件样本。
捕获攻击数据情况统计 捕获数据情况统计
捕获数据情况统计 接收邮件的域名情况 1、80.5%的域名仅接收了一封邮件。 2、97.5%的域名接收邮件少于10份; 3、超过100封的域名仅有21个,占总域名的0.6%。 4、有三个域名yahoo.com.tw、hinet.com和gmail.com接收了95.76%的邮件。
Spammer伪造或隐藏信息统计 • 经过大量的数据分析发现,Spammer使用了各种伪装与混淆技术手段来改变垃圾邮件的特征。
邮件源发送的邮件数量分类 • 从每个垃圾邮件源发送的邮件数量来看,可以将Spammer分为两类: • 发送巨量邮件的Spammer,它在一段较短的时间内通过一个主机地址发送大量的垃圾邮件; • 发送少量邮件的Spammer,它通过大量的主机,每个主机仅发送少量的垃圾邮件。
邮件源发送的邮件数量分类 源IP地址连接蜜罐次数CDF图 • 1、21.4%的IP仅仅连接了1次; • 2、67.7%的连接少于10次; • 3、0.87%(13个)的连接超过1000次,但是却发送了20.8%的垃圾邮件(21,572封邮件)。
Spammer为什么使用蜜罐系统 • Spammer使用我们的蜜罐转发邮件可能有两个原因: • (1)Spammer的IP地址已经在黑名单列表中了,世界上大部分邮件服务器会拒绝他们的邮件。经统计发现,连接蜜罐的IP地址在世界最著名的6个DNSBL中,有76.3%的IP地址至少在一个黑名单列表中了; • (2)IP地址尚未被列入黑名单,但使用代理转发,可以减少他们的IP地址被列入黑名单的概率。 六个黑名单:spamhaus.org,spamcop.net,njabl.org,sorbs.net,abuseat.org,anti-spam.org.cn
典型测试邮件数据分析 • 1、Spammer的测试邮件:蜜罐系统于2012-03-19 21:57收到一封来自IP地址为114.36.128.23的测试邮件,内容如图: Received: from bb.e5t82la.com [132.150.183.249] by xxx.xxx.xxx.158 with ESMTP id 12732567; Mon, 19 Mar 2012 11:48:19 -0200 Message-ID: <8sbwd4ox2j$92674-$zc@m21.b8.gtz5> From: "" <z2007tw@yahoo.com.tw> To: <gk49fawn@yahoo.com.tw> Subject: BC_ xxx.xxx.xxx.158 Date: Mon, 19 Mar 12 11:48:19 GMT MIME-Version: 1.0 Content-Type: multipart/alternative; boundary="----=_NextPart_000_000D_01C2CC60.49F4EC70"
典型测试邮件数据分析 • 2、NJABL组织扫描可能的垃圾邮件源的测试邮件,如图下图所示 X-RT-Subject: relaytest: xxx.xxx.xxx.159 X-RT-From: relaytestsend@rt.njabl.org X-RT-To: relaytest@rr.njabl.org From: relaytestsend@rt.njabl.org To: relaytest@rr.njabl.org Message-id: <1332303152.1895.0@rt.njabl.org> Subject: relaytest: xxx.xxx.xxx.159 This is an automated test message for the purpose of finding and adding open relays to our dnsbl. If you have any uestions, see http://njabl.org/ -----BEGIN PGP MESSAGE----- Version: GnuPG v1.4.5 (GNU/Linux) hQEOA6y+u+WccJSVEAP+IjI/7Ayb1zYFcYFTmR7Fau4t3I5t3pFJWCFPfl7+DctfO5T+epNG3l/UBM1KM0ieoGoYDEUCVb4bfTSivIC…… -----END PGP MESSAGE-----
伪装发件人垃圾邮件样本 • 蜜罐系统收到的垃圾邮件存在大量的伪装发件人,隐藏收件人等特征的行为。 • 北京大学的蜜罐客户端于收到一封来自120.151.160.68的垃圾邮件,此邮件声称发件人为“blnga@yahoo.com.tw”,收件人为“ricky11109@yahoo.com.tw”等11个雅虎邮箱。 Message-ID: <71123aa6d2814f4d8c6f408a59121fdd@d76060e08b1144aea5abd1262dbf11e6> Date: Sat, 11 Feb 2012 09:11:28 GMT Mime-Version: 1.0 From: =?utf-8?B?5Y676YGO55qE6aSQXOW7s+Wwj+WnkOi3n+WlueWAkeWlveWDj+iAtjs=?= <hqrmtk@pxejz.com> To: ricky11109@yahoo.com.tw Subject: =?BIG5?B?r3Uut1EgpEAgrdMurdMgrL0gqdQgpWguqdAutqEuqqMutroufCAuLmIubiByIGwuZSBpLnAu?= X-MimeOLE: Produced By Microsoft MimeOLE V6.00.2800.1106 Content-Type: text/html; charset="BIG5" Content-Transfer-Encoding: 8bit <html> <head> <meta http-equiv="Content-Type" content="text/html; charset=big5"> <title>lvncNayKOkyamvFPlx<font color="#Y8U4MW" size="6">翻開女友騷穴近拍清晰特寫yCkSu ofAKseVfubfkP</title> </head> <body> <a href="http://%38%70%62%6c%32%6a%66%76%73%64%62.%78%69%6a%62%67.%63%6f%6d#%40.%62%61%62%6c%65%67%71%74.%63%6f%6d" style="text-decoration: none"></a> </body> </html>
僵尸网络的发现 • 在统计数据时发现“2012-02-11 07:54”到“2012-02-11 09:21”的一个半小时内,共有30个IP地址为台湾地区的主机连接xxx. xxx.50.xxx蜜罐客户端共计487次,且每次TCP连接发送3封垃圾邮件。每封邮件的发件人均假冒不同的hinet.net邮箱,收件人则为数十个yahoo.com.tw的邮箱,邮件内容基本为相同html网页。由此可以推断,上述30个IP地址的主机应该在同一个控制中心的命令下发送垃圾邮件的“僵尸网络”,这种使用“僵尸网络”发送垃圾邮件的做法越来越普遍。 表3 发送垃圾邮件的僵尸网络分布情况
下一步工作 • 如何区分垃圾邮件数据和故意用于污染的正常邮件数据。 • 将增加商业ISP中的节点,以便相关监测数据更全面。 • 深入的样本分析和对垃圾邮件发送者新特征的挖掘。
总结 • Spampot系统实现开放中继蜜罐与开放代理蜜罐的有机结合,使捕获的垃圾邮件样本更加全面; • 设计了识别并处理Spammer和反垃圾邮件组织测试邮件的应对策略,既增加蜜罐系统对Spammer的粘性,又降低系统被列入黑名单的风险; • Spampot蜜罐客户端的分布式部署使数据采集更全面,而Spampot中心服务器的集中部署,使数据的存储和邮件的转发集中控制,最大限度的降低蜜罐系统带来的各种风险。 • 在实际部署中捕获了大量的垃圾邮件样本,Spampot系统采集到了大量恶意源IP地址信息,扫描行为和邮件数据。在对数据进行分析的基础上,发现了新的垃圾邮件发送者行为特征,并发现了发送垃圾邮件的僵尸网络。