垃圾邮件问题及其处理方法
2023-10-23
来源:易榕旅网
维普资讯 http://www.cqvip.com ■ 垌 姓 垃圾邮件问题及其处理方法 罗港’,方滨兴 .唐剑琪 (1.哈尔滨工业走学计算机科学与工程系哈尔滨150001;2.国家计算机网络应息技术处理协调中心北京100029) 啊 :萋 : 剐现有的垃圾邮件处理方法进行丁系统的分析,井从使用范围、维护手段、效率等多方面对处理 方法进行r比较 1前言 随着互联网的发展,电子邮件作为一种通信方式逐渐普及. 安全以及防止电子邮件对系统安全性造成不良影响越来越重 全同胚。其中一个问题就是垃圾邮件对电子邮件系统的影响。 要。除了电子邮件本身的安全性以外,电子邮件也带米了其他安 已变成人们生活、学习和工作中不可或缺的一部分.甚至改变了 部分^的生活方式,同时电子邮件也推动着国民经济和社会发 展的信息化,成为国家和社会进步的重要支柱1“。 垃圾邮件或者叫做Spaml 、UBE(unsolicited bulk E-mail.未 经用户许可的大量电子邮件)、UCE(umolieited commercial E-mail,未经用户许可的商业电子邮件)。这里可以简单地将垃圾 随着用户的增多和使用范围的逐渐扩大.保证邮件本身的 邮件定义为:向未主动请求的用户发送的电子邮件广告、刊物、其 2 GenieATM产品解决方案.http://'m, ̄.geniomm conr/se/produetd pmd・ 参考文献 JUNOS purl mirror configuration, ueta-atra2320.htm 3 Onudpeek产品解决方案.http://www wfl酬uno ̄junos7l/aweonflg71 7J1tad omnipeeldoverview Provide ISP Security by Sliced Network Monitoring System Ji Y (China Telecom Group Beijing Cororpation Network Support Resonspe Centre.Beijing 100032.China) Abstract How to en l service pmvider's network security through network monitoring system,especially how to uge centralized monitoring in an extensive Interact service provider's systom has tmen a tough problem that always puzzle the administrators.Current monitoring me雅山 B枷 Limited in a certain aspect that prevent them from solving the problem dtlmate|y.Tknu曲integrating the SNMP sampling,NelF]ow analy一 8i .pmlm analysis.and the unique orpt mirroring function of Juniper router,this paper is going tO present a sliced’monitoirng system, which iB/110l ̄effe.etive in th detailed and summarized analysis. lntemet service provider. that to laid a stable foundation for further research and npomtion to Key words‘sliced’network monitoring system,ISP,network security (收稿日期:2006—01—12) |E 维普资讯 http://www.cqvip.com 他资料或者不良信息(如色情、反动言论等);没有明确的退信方 法、发信人、回信地址等的邮件;利用网络从事违反其他ISP的安 全策略或服务条款的行为;其他预计会导致投诉的邮件。 据统计在2002年初。垃圾邮件占整个互联网邮件发送量的 放代理等手段。可以近乎完全地抹去垃圾邮件的发信人的特征。 这对于发现并制止垃圾邮件的传播造成了很大的困难。当前互 联网上已经有难以计数的邮件服务器,考虑从协议层进行限制 涉及到已有服务器大规模升级的问题,具体操作起来就会比较 16%,2003年初变成42%,而到了20o4年初这个数据则变成了 6o%脚。在我国,根据中国互联网络信息中心2005年1月19日 公布的第l5次中国互联网络发展状况报告的统计。我国网民平 均每周收到4.4封电子邮件(不包括垃圾邮件)。收到垃圾邮件 困难。中国互联网协会副秘书长黄澄清曾指出。我国垃圾邮件的 产生。很大一部分是由于邮件服务器缺省设置开放转发(叩en re- lay)功能所产生。该功能对于普通用户可有可无。但缺省却可使 用户的邮件服务器成为垃圾邮件的中转站,导致发出的邮件被 7.9封。可见我国垃圾邮件问题的严重程度。流出和流入我国的 垃圾邮件已经带来了一定的负面影响。从流出看,根据 Spamhaus项目的统计结果。中国居于美国之后是全球第二大垃 圾邮件发送国。2003年,欧美许多国家公开封堵来自中国的邮 件,主要封堵的有263、SINA和SOHU等后缀的邮箱发出的邮件。 也就是说。从中国流出的垃圾邮件已经损害了中国互联网产业的 整体形象。从流入看,垃圾邮件已经成为色情、网络犯罪、网络诈 骗等行为的一种重要的传播手段。同时。大量的垃圾邮件也浪费 了大量的金钱并且严重影响了邮件系统的正常使用。据中国互联 网协会公布的数据。2003年全年发向中国邮件服务器的垃圾邮 件达到1 500亿封。垃圾邮件耗费国内GDP超过48亿元人民币。 对用户来说。大量的垃圾邮件严重地影响了用户对正常邮件的阅 读;对于服务商来说。大量的垃圾邮件严重地消耗了服务器的资 源和存储系统的存储能力,更严重的是如果过多的邮件超过了有 限的邮箱容量,会导致用户或系统不能正常接收邮件。 愈演愈烈的垃圾邮件问题已经引起国家相关部门的高度重 视。2oo4年1月30日,由公安部、教育部、信息产业部和国务院 新闻办四家单位,联合发布了《关于开展垃圾邮件专项治理工作 的通知》。真正开始了反垃圾邮件行动。本文主要从技术手段人 手。分析了垃圾邮件问题的成因,并对当前主流的和下一代垃圾 邮件处理方法进行了讨论。以便读者能够深入了解垃圾邮件问 题及其应对措施。 2垃圾邮件产生的原因 垃圾邮件的产生既有技术上的原因。也有商业、政治上的原 因等,具体归纳起来如下。 2.1技术缺陷 现有邮件传输协议SMTP(simple mail transfer pmtoeo1)t4l ̄l 1982定义的RFC821和2001年提出的RFC2821组成。提出 RFC821的时候,由于互联网的用户还很少,没有考虑到会有人 滥用电子邮件服务的问题。SMTP本身是一个简化的邮件递交 协议,缺乏必要的身份认证,这是造成垃圾邮件泛滥的原因之 一。由于SMTP中,允许发信人伪造绝大多数的发信人的特征信 息,如:发信人、信件路由等,甚至通过匿名转发、开放转发和开 拒收。并且。我国许多企业防范意识淡薄,未采取有效措施。致使 企业的邮件服务器充当了转发者角色。 2.2相关法律法规尚需进一步完善 20o4年1月1日。美国联邦《反垃圾邮件法》开始实施,但 由于其采用了选择退出机制(opt-out。即必须接收者申请退出垃 圾邮件发送者才不能继续向用户发送垃圾邮件),事实上纵容了 垃圾邮件发送者。20o4年7月。在日内瓦召开的国际电信联盟 (rI'U)反垃圾邮件的主题会议上。我国信息产业部官员宣布中国 将采取对垃圾邮件较为严格的选择加入机制(opt-in。即发送者 必须事先取得接收者的同意才可以向其发送广告邮件)。在 20o4年9月2日中国互联网大会国际反垃圾邮件高层论坛上。 信息产业部官员再次确认如果接收者没有明确表示同意接收而 继续发送广告电子邮件。将作为一种发送垃圾邮件的行为予以 禁止。信息产业部于2004年3月也发布了一个相关的行业标准 《互联网广告电子邮件格式要求}(YD/T1310-2004),主要规定了 广告电子邮件的词法、头部字段和消息体的格式以及头部字段 的语法。《互联网电子邮件服务器管理办法》的起草中,也要求发 送广告邮件时必须在邮件标题中添加“广告”等提示字眼。但是, 这些法律和法规或者约束力不够,或者可操作性较差,尚不足以 对垃圾邮件发送者产生足够的约束。 2.3利益驱使 目前,数量众多的垃圾邮件中都含有大量的广告,通过电子 邮件进行广告宣传,投入少、回报丰厚。使得许多广告商乐此不 疲。比如在欧洲,发送一封电子邮件仅需0.0005欧元,比起庞大 的广告费,这点费用实在微不足道。越来越多的商业需求以及电 子邮件低廉的发送成本为垃圾邮件的滋生提供了土壤。 3反垃圾邮件方法 反垃圾邮件方法从技术的角度来说可以分为邮件过滤方 法、邮件验证方法和邮件协议增强方法。邮件过滤方法根据已 知的垃圾邮件信息对接收邮件进行过滤,根据过滤结果判断邮 件是否为垃圾邮件。是目前使用最为广泛的垃圾邮件问题解决 方案。而邮件验证方法则不需要先验的垃圾邮件信息。直接根 据接收到的邮件进行有效性验证,这些验证包括域名有效性验 维普资讯 http://www.cqvip.com 一// 专题:网络与信息安全 证、发件人有效性验证等。邮件协议增强方法目前使用较少,一 般是指在现有邮件协议的基础上增加额外的验证协议,来保证 邮件信息的有效性。 3.1邮件过滤方法 根据过滤对象的不同,垃圾邮件过滤方法可以分为基于邮 件来源(即地址)的过滤方法和基于邮件内容的过滤方法。其中 地址过滤依据发件人IP地址或电子邮件地址进行过滤。内容过 滤则根据邮件的内容来过滤,主要判断邮件内容是否和已知的 垃圾邮件内容相似。 (1)邮件地址过滤方法 为了有效地拒绝来自垃圾邮件来源站点(包括被利用的 垃圾邮件来源站点)所发来的垃圾邮件,最直接和有效的办 法就是拒绝与该来源的连接。将确认后的垃圾邮件来源站点 放入一个黑名单(black list),然后通过该名单来保护邮件服 务器不受到黑名单中站点的侵扰是目前对抗日益严重的垃 圾邮件的方法之一。 对于发现的发送垃圾邮件的IP地址进行屏蔽是一种消耗 计算资源很少的技术手段。而且易于实施。从2003年8月开始, 中国互联网协会反垃圾邮件协调小组开始不定期公布垃圾邮件 黑名单。这种方法的缺点是需要不断维护IP地址清单。并且,因 为垃圾邮件发送者经常修改他们的IP地址。并采用一个广泛的 IP地址区间以逃避反垃圾邮件手段的检测,等到IP地址黑名单 被公布时,该IP地址已经发送了大量的垃圾邮件。所以。该方法 只是一个亡羊补牢的方法,在总体的垃圾邮件解决方案中仅起 到补充作用。 为了解决定期公布黑名单的时效和滞后问题,实时黑名单 (RBL)过滤技术应运而生。RBL也被称为DNSRBL,是对IP黑名 单技术的一个改进。区别在于RBL是借助于第三方机构,由他 们实时为用户提供黑名单的增加和删除,垃圾邮件的判断工作 也是在Intemet上进行的,不需要用户进行干涉和手动添加。目 前国际上被广泛采用的RBL有ORDB(S ̄转发数据库)、DSBL (distributed sender black list)、NJABI、MAPS(邮件骚扰预防体 系)、Spamhaus等。目前,中国反垃圾邮件联盟针对国内垃圾邮 件的情况推出了实时黑名单服务。这是第一个面向国内用户的 实时黑名单服务,主要面向中国国内的垃圾邮件情况,所甄选的 黑名单地址也以国内的垃圾邮件反馈情况为主。可以说,其发布 的垃圾邮件黑名单比国外的更适合中国国情。 RBL最重要的是黑名单IP列表的实时性和准确性。对于大 型邮件系统来说,比较合理的做法是使用多个实时黑名单服务, 综合实时黑名单的查询结果并与其他反垃圾邮件手段结合。最 终得到此IP地址是否在发送垃圾邮件的判断。 (2)邮件内容过滤方法 耀 对邮件中的词语进行过滤是一个简单的阻断垃圾邮件的方 法。词语过滤识别包含特定关键词的所有邮件,优点是实现简 单,易构造、易实现,明显的缺点是词语过滤器需要经常升级维 护,并且会产生较多误报情况。 基于关键词规则的评分系统是一个人工智能系统,对发现 的每一个关键词赋予分数。分数越高,该邮件是垃圾邮件的可能 性就越大。得分超过一定值时,该邮件将被分类为垃圾邮件。这 样可以清除9o%的垃圾邮件。这种方法和地址过滤面临同样的 挑战,就是为使评分有效,规则必须经常更新,但是当前已经有 第三方免费提供定义好的规则库,方便用户使用。 另一种针对邮件内容的过滤方法为邮件指纹过滤,即生成 已知垃圾邮件的指纹,然后判断接收邮件的指纹是否与已知指 纹相同或相似,并以此判断来件的性质。由于目前垃圾邮件发送 工具大多具有自动对邮件体变形(morph)的能力。邮件指纹过滤 的识别率很低,但是其精确度非常高。在样本准确的情况下几乎 没有误报。 基于内容的垃圾邮件过滤技术与文本分类方法密切相 关,垃圾邮件过滤本身相当于把接收到的邮件分成正常邮件 和垃圾邮件两类,并且当前多种文本分类方法和机器学习理 论也已经应用于垃圾邮件过滤。它们可以分为两类:基于规 则的方法,从训练集中自动学习分类规则,如决策树、Boositng 方法等l ;基于统计的方法,训练过程是一个统计学习过程, 得到响应的分类器,如简单贝叶斯[61、Memory—based方法栩和 支持向量机『81等。这些邮件分类技术多采用一次性训练方法, 不能动态学习用户的正常邮件的兴趣漂移和垃圾邮件变化, 并且也不具备增量式在线学习能力。最为重要的是目前基于 文本分类方法的垃圾邮件识别方法的识别率和精确度还有 待提高。尤其是精确度对于垃圾邮件过滤问题极为重要,很 小的错误率也会导致用户拒绝使用这种技术,这也是这种方 法至今尚未大规模使用的原因之一;而另一个原因则是基于 文本分类方法需要大量的计算资源来完成分词、匹配等操 作,不适合在大规模邮件服务器上使用。基于上述两个原因, 目前基于文本分类的垃圾邮件过滤方法大多应用于邮件客 户端软件的垃圾邮件识别。 3I2邮件验证方法 邮件验证方法作为无需垃圾邮件先验知识的识别手段。也 是一种有效的解决垃圾邮件问题的方法,邮件验证技术主要包 括发件地址验证和发件人有效性验证。 发件地址验证主要包括反向DNS验证和DNS MX记录验 证。反向DNS验证是对邮件的来源IP地址采用反向DNS查找, 如果反向DNS查找提供的域与邮件上的来源地址相符合,则该 邮件被接受;如果不符合,则该邮件被拒绝。这种方法的优点是 维普资讯 http://www.cqvip.com 开销比较小,但它有一个显著的缺点,就是目前很多反向DNS 目录未被有效建立或无法正常建立,绝大多数情况下没有一个 正确的反向DNS查找。在这种情况下,由这些域发送的邮件将 在域名拥有者的发信服务器上,用这个私钥签名所有从该域 发出的邮件。公钥通过DNS发布。当域名拥有者的用户通过 转发服务器发送邮件时,存储私钥的服务器为每封邮件产生 一被阻断,造成不可接受的高误报告率。同时,国内绝大部分邮件 服务器也不能提供DNS反向解析,所以该方法也无法在国内广 泛使用,只能作为反垃圾技术的参考。 DNS MX记录验证是一项针对垃圾邮件发送者采用虚假 个数字签名附加在邮件头上。接收方服务器从邮件头中取 出邮件的FROM域和数字签名,根据FROM域从DNS服务 器上取回该域对应的公钥,校验该签名是否由对应的私钥产 生的。根据校验结果来判断对方是否在冒用其他人的FROM 域。Domain Key技术对现有的邮件系统的改造比较大,推广 的声明域地址或回复地址现象的有效阻断技术。系统在来源 邮件地址的域上进行查找,如果该域没有一个有效的DNS MX记录,来源地址就是无效的,该邮件就被分类为垃圾邮件。 这种方法的缺点是很多邮件列表服务器会被误判为发垃圾的 服务器。 发件人有效性验证是指通过技术手段验证邮件的发件人 是否为自动垃圾邮件发送工具,目前较为成熟的为挑战一响  ̄(challenge-response,CR)验证方法。CR方法维护已经确认 的非垃圾邮件发送源的白名单,当接收到来源不在白名单的 邮件时,CR机制会自动激活,给邮件的来源发送验证消息, 需要邮件的发送方进行手工验证,如果通过验证,则来源会 被自动加入白名单,并且信件会被接收,如果在有效期内验 证未被通过,则信件会被当作垃圾邮件处理。由于垃圾邮件 发送者采用工具批量发送,无法对验证信息进行响应,或者 干脆无法接收验证信息,因而会被有效地过滤。虽然这种方 法稳定有效,但这种方法需要改变用户的使用习惯,会对邮 件产生明显的延时,并且这种方法需要对邮件服务器进行适 当的改造,因而其使用范围有限。 3.3邮件协议增强方法 随着国际上垃圾邮件泛滥的情况越来越严重,很多公司和 组织提出了各种各样的方案试图从根本上解决垃圾邮件问题。 目前大家公认的比较有可能成为国际标准的技术有以下三种: SPF(sender oplicy framework)、Domain Key、Sender ID。 (1)SPF SPF是一种基于DNS技术的反垃圾邮件技术。DNS的基本 功能是把对域名的访问解析成对IP地址的访问。DNS的MX记 录指定该域用于接收邮件的服务器的 地址。SPF通过发布反 向MX记录告诉查询者从某个域发送邮件的服务器的地址。当 收到从某个域发来的邮件时,接收者可以检查这个反向MX记 录确认这封邮件是否从发件地址而来。发布SPF记录,本质上 就是在DNS记录中增加一条记录,使邮件接收者可以验证邮件 是否从该服务器生成的域所属的服务器发送出来。 (2)Domain Key Domain Key是Yahoo提出的一项反垃圾邮件技术。它的 基本原理是:域名的拥有者生成一个公钥,私钥对。私钥部署 的难度也比较大。目前采用Domain Key技术的邮件服务器 还不多。 (3)Sender ID eSnder ID是微软提出的一项反垃圾邮件技术,它的基本思 想是通过鉴别电子邮件发送者的身份来防止垃圾邮件,是在 SMTP通信过程中对邮件来源进行检查的一种技术,属于连接 控制型技术的DNS信息检查类。其基本的工作流程如下:用户 通过SM 把邮件发送到接收邮件服务器。接收邮件服务器通 过Sender ID技术对发信人所声称的身份进行检查(该检查通过 DNS的特定查询进行),如果通过检查,发现发信人所声称的身 份和其发信地址相匹配,那么接收该邮件,否则对该邮件采取特 定操作,比如直接拒收该邮件。 由于微软为Sender ID采用的两项技术申请了专利,IETF 认为,微软决定要为Sender ID保留技术秘密的做法是无法让人 接受的,因此不准备接受微软的这项技术提案。 3.4反垃圾邮件方法的比较 表1列出了当前使用较为广泛的垃圾邮件处理方法的 比较结果,表中所列方法均为当前拥有一定用户并已应用于 不同场合的方法,不包括仅发布理论研究结果而没有实际应 用的方法。 从表1中结果可以看出,在邮件服务器端目前使用广泛的 为RBL方法和基于关键词规则的内容过滤方法。这两种方法均 有第三方免费发布资源或直接利用现有资源,并且维护代价低, 最为重要的是,这两种方法的误报率都很低,并且运行效率较 高,因而能够大规模使用。基于文本分类的内容过滤技术运行效 率较低,但其漏报率和误报率低的特点使之能够在邮件客户端 上大规模应用。 4结论 随着互联网的发展,电子邮件作为一种通信方式逐渐普及, 而垃圾邮件问题严重干扰了电子邮件的有效使用并产生了极大 的社会影响。垃圾邮件问题产生的主要原因是其存在巨大的商 业价值和电子邮件协议本身的技术缺陷。解决垃圾邮件问题的 关键在于技术的完善和相关法律的进一步到位。从电子邮件使 翌旺 维普资讯 http://www.cqvip.com l 专题:网络与信息安全 裹1反垃圾邮件方法的比较 用者和电子邮件服务提供者的角度来看,加强自律和自身管理 是减轻垃圾邮件危害的有效手段。 3 BrightmaiL Spam statistics, 目前减轻垃圾邮件影响的方法很多,从邮件服务提供者 stats March 2004.html 4 Poste]J.Simple mail transfer protoco1.RFC 821,1982 的角度来看,BBL方法和基于关键词规则的内容过滤方法 5 Carrer ̄X。Marquez L.Boosting tere8 for anti-spam E・mail filtering.In: 是切实可行的方案,这两种方法均有第三方免费发布资源 Prec Eum Conference on Recent Advances in Natur ̄Language Pro- 或直接利用现有资源。维护代价低,误报率低,并且运行效 csesing(BANLP 2001).Bulgaria,Sep 2001 率较高。而从邮件使用者的角度使用具有低漏报率和误报 6 saIlmi M’Dumais s,Heckerman D.eta1.A bayesian approachtofiltering 率的基于文本分类的内容过滤技术也是可以采用的有效技 junkE・mailIn:Prce oftheA¨IWorkshop onLearningforText Catego- irzation,Madison,Wisconsin,US,July 1998 术手段。 7 Sakkis c.Androutsopoulos L Paliouraa c,et aL A memo ̄-based approach 参考文献 toanti..spamfilteringTechreportDEMO2001,NationalCentreforScientiifc Research Demokrites,2001 1中国互联网络信息中心.第l5次中国互联网发展状况报告,http-.// 8 Dmcker H,Wu D,Vapnik V N,Support vector machines for spam eate- n .cnnic.net.cn/ gorizatino.IEEE Trnasactions on Neural Networks,1999。20(5):1048- 2 Search Mobile Computing SPAM definition, 1054 Spam Mail and Process Method Luo Hao ,Fang Binxing ‘Tang Jianqi (1.School of Computer Science and Technology,HIT,Harbin 150001,China; 2.National Computer Network Emergency Response Technical Team/Coordination Center of China。Bering 100029,Chian) Abstract The electronic mail is the most popular Intemet application and hte spam E-mail disturbs the usage of hte E—mail gravely.This paper discusses the mason of spam mail pmbhm and analysi8 the process methods of spam mail and compares the methods from the application range.the maintenance,efficiency and other points. Key words spare mail,reason.process method (收稿日期:2006—01—09) 羹童匿