第一篇:反垃圾技术
反垃圾技术
一.垃圾邮件的产生
垃圾邮件并不是无中生有的,对于纯商业性质的垃圾邮件来说,它是由一些想通过电子邮件来销售或宣传某种产品的厂商所提供的,这也就是垃圾邮件的提供者。但是,垃圾邮件的提供者并不会自己去发送它们,而是将发送任务交给某些拥有大量邮箱地址的专业垃圾邮件发送者或团体,并按某种协议付给发送者一定的费用。剩下的工作,就是发送者如何按提供者的要求将一定数理的垃圾邮件发送到最终的各用户邮箱中。垃圾邮件提供者看到了此种方式所带来的低成本和高效率,而 发送者看得了发送垃圾邮件带来的利益,并且这种利益会随着最终发送数量的增多而不断增加。他们之间的不断利用,就构成了现在垃圾邮件泛滥的根本原因所在。
但是,垃圾邮件要想最终到达众多的用户邮箱之中,也不是人们想象中的那么简单。首先,发送者必需得到相当多的有效邮箱地址,这样才能满足提供者发送数量的要求。发送者一般在刚开始时是向一些机构或个人直接购买或在互联网中进行搜索的方式得到,当在这个圈子中熟习以后,还可以通过与其它发送者之间相互交互的方式来扩大邮箱地址库。现在,许多网站中给出的电子邮箱地址,都将“@”符号改为了“#”号,就是为了防止被按“@”符号为关键字邮箱地址收集软件搜 索到。
另一方面,就是如何确保垃圾邮件都能最终到达用户邮箱当中,不然,一切都是枉然。解决此问题的关键,就是如何躲避各种反垃圾邮件产品的过滤。现在,一些技术高超的发送者已经使用了许多相当有效的方法来躲避被过滤,并且其发展速度要快于反垃圾邮件技术,这也是为什么垃圾邮件不能完全被过滤的主要原因。
最后,就是要解决被追踪的问题,这是垃圾邮件发送者设法使自己免于法律惩罚所要进行的必要手段。一般会通过下列方式中的一种或几种来达到目的:
1、修改垃圾邮件头中与发送者相关的所有域的内容,使这些内容与自己无任何联系。
2、使用第三方可以匿名转发邮件的邮件服务器来发送垃圾邮件;
3、自建邮件服务器,并使用代理服务器进行网络连接;
4、通过控制正常的邮件服务器来发送垃圾邮件,通过Rootkit隐藏在服务中的痕迹;
5、通过控制僵尸网络中的主机来发送垃圾邮件;
6、也可通过自己的多台邮件服务器,设置按某个时间间隔,一次只发送十到二址封垃圾邮件,让反垃圾邮件产品不能通过行为检测方式来判断这些主机为垃圾邮件服务器。一段时间后,也能达到相当大的垃圾邮件发送数量。只有同时满足了上述的三个条件,垃圾邮件发送者与提供者之间的利益关系才能真正实现。
二.反垃圾技术现状
面对垃圾邮件技术发送方式日益隐蔽、垃圾邮件网络初具规模、结合黑客和Web技术发送等新特征,矛盾之争的另一端——反垃圾邮件技术需要经历深刻变化,从而才能有效应对日益严峻的邮件安全形势。
传统的反垃圾邮件技术依旧在发挥作用(如众所周知的实时黑名单 RBL、智能分析的贝叶斯算法、深度的内容分析),但是必须正视面临的新挑战。实时黑名单 RBL通过第三方提供的实时黑名单数据库可快速检查发送IP地址的合法性,但是也存在部分IP地址(段)错误列入实时黑名单的情况,而且目前实时黑名单提 供者多为国际组织(如大名鼎鼎的Spamhaus),国内IP地址错误列入后投诉相对困难。智能分析的贝叶斯算法基于统计学原理拦截垃圾邮件,但如何适应 图片、PDF等附件、内嵌HTML链接的垃圾邮件尚待进一步研究。基于规则的评分系统、数字指纹/签名等深度内容分析技术,依赖于不断更新的垃圾邮件特征 数据库来拦截垃圾邮件,可实现图片、PDF附件等垃圾邮件拦截。因此,必须做到三个第一,即第一时间发现新型垃圾邮件、第一时间发布最新特征库、第一时间 拦截垃圾邮件。目前此类反垃圾邮件技术均借助于广泛分布的蜜罐网络(或垃圾邮件收集系统)实现实时垃圾邮件拦截。
新型反垃圾邮件技术也有助于应对层出不穷的垃圾邮件变化,如发件人策略框架(SPF)验证、信誉服务(Reputation Service)、HTML链接分析、行为识别。
三.当前主要的反垃圾技术
1.实时黑名单技术
实时黑名单RBL(Realtime Blackhole List)是借助DNS解析技术的黑名单查询技术,当需要验证某个邮件服务器IP地址是否被列入黑名单时,就向RBL服务器发出一个特殊的DNS解析请求,RBL服务器将返回一个IP地址,邮件服务器就知道该IP是否被列入黑名单。
实时黑名单是使用较早的技术,对于早期拥有合法域名的服务器专门从事垃圾邮件转发或开放Open Relay的邮件服务器非常有效。当一台邮件服务器是Open Relay或未开放OpenRelay任由其合法用户发送垃圾邮件时,该服务器将被投诉,通过RBL机构确认其大量发送或转发垃圾邮件后,被列入黑名单,邮件服务器在收到邮件时,可以向RBL查询这台发送邮件的服务器是否被列入黑名单,如果确认,邮件将被拒收。但这种技术无法防止用户自行发出的邮件,包括 动态IP(例如拨号用户和ADSL),因为如果把这一段IP列入黑名单将导致正常用户无法使用邮件服务。中国互联网协会就曾因国外将中国大片IP列入黑名单而提出抗议。
2.关闭openRelay
关闭OpenRelay其实是一个能够部分解决问题的方法,这使得Mail服务器在对外发送邮件的时候要求身份认证,只有Mail服务器上的合法用户才能通过本服务器对外发送邮件,避免了垃圾邮件制造者借助本服务器对外发送垃圾邮件。在很大程度上降低了垃圾邮件的泛滥程度,但关闭Open Relay是单向的反垃圾邮件技术,只能保证自己不对外发送垃圾邮件,不能防止自己被垃圾邮件骚扰。
3.内容过滤技术
邮件过滤按照邮件系统的角色结构可以分为三类:MTA(邮件传输代理)过滤——信封检查;MDA(邮件递交代理)过滤——信头检查、信体检查;MUA(邮件用户代理)过滤——客户端检查。
邮件过滤技术作为一个有效对抗垃圾邮件的手段,同杀毒软件一样,需要不断根据情况更新邮件过滤规则。邮件过滤实际上只针对通常的垃圾邮件有效,这些垃圾邮件常常是电子广告,有些更规矩的广告在邮件主题上提示“ADV”,如果用户不想接收广告邮件,只需简单过滤邮件主题,发现ADV即拒收。而目前用程序自动生成和发送的垃圾邮件对于发件人、收件人、邮件主题甚至邮件内容都是随机生成的,在邮件内容中经常被过滤的词汇,例如“免费”、“赌博”、“色情”等词汇,被随机变形,防垃圾过滤如果采用“免。费”这样的模式匹配来发现变形,有时反而导致了正常邮件被误拒绝(例如邮件中可能有这样一句话:“要免 除处罚是很费劲的”,并没有免费的意思,但被拒绝)。
从实际应用情况来说,内容过滤还很不成熟,其作用很有限,而且内容过滤技术比较消耗资源、分析速度也比较慢。
4.贝叶斯Bayesian算法
这是一个非常著名的算法,很多电子邮件程序包括foxmail都在使用。贝叶斯算法,可以学习单词的频率和模式,这样可以同垃圾邮件和正常邮件关联起来进行判断。这种方法虽然更复杂,却更加智能化。应用特征过滤筛选邮件应该算做是这种方法的一个雏形。
5.服务器认证法
这是一个看起来很简单但是实施起来很麻烦的方法,世界上那么多服务器根本不可能建立一个全社会都互相关联的服务器网络,尽管有些邮件服务器已经开始建立起这样的关联,但是这只是这项“社会工程”里的一小部分。
6.连接/发送频率监测法
正常用户发送和接收邮件的数量和频率远远低于垃圾邮件发送者,因此可以根据垃圾邮件发送具有一定时间内邮件数量和邮件连接频率都非常大的情况,从频率和数量对垃圾发送者的连接行为进行控制。
7.Challenge-Response方式
挑战-应答模式是从增加垃圾邮件发送者时间成本上入手,要求每发送一封邮件,就要求发件人回答一些问题的方式来增加发送时间。
8.Domainkeys方式
这是一种基于PKI的方式对邮件发送者进行验证,对邮件信息进行加密保护,对收信人实现防抵赖机制。“DomainKeys”通过使用加密技术完成电子邮件发送者身份的验证。外发的邮件通过私人密码进行数字签名,而接受电子邮件的系统则使用公共密码对签名进行核实。
9.SPF方式
这是一种源头认证的方式,它通过改变域名系统的数据库,接受方核实邮件实际来源是否和SPF注册的一致来判断邮件是否为假冒邮件。
10.Sender ID技术
SenderID技术对发送方的DNS记录进行修改,增加特定的DNS资源记录以标识其发信方身份。同时对接收方也进行认证。其工作原理如下:当邮件服务器收到一个电子邮件时,域名系统(DNS)保存域名的SPF记录,然后服务器查找发送域名的公开DNS记录,判断发送方服务器 的IP地址是否跟记录相符。如果
记录相符,这一电子邮件通过认证而传送给收件人,否则,这一信息会被抛弃或者返回给发送方。
11.专用反垃圾邮件防火墙
在反垃圾邮件设备中,梭子鱼应当是大家最常听到的一个名词。它其实是Barracuda Networks出品的一种反垃圾邮件防火墙。专用的反垃圾邮件防火墙由专用服务器和固化的操作系统构成,逻辑位置部署在网关和服务器之间,拥有专项服务、设置简单、邮件保护等功能。虽然增加了网络建设的成本,但是这种设备可以保证处理效率,不会造成高速网络环境的停滞,比较适合大型公司。
目前市场上专用反垃圾邮件防火墙比较权威的要数CipherTrust公司的Ironmail和Barracuda Networks的梭子鱼。
12.网关级反垃圾邮件设备
将专用反垃圾设备集成在网关来检测流入的邮件,在网关部署的优点是在不打破网络拓扑环境的情况下,加强了原来邮件服务器的安全,而这种设备的缺点也比较明显,是由于反垃圾邮件属于内容安全,反垃圾邮件处理需要更多的处理资源,在大流量的网络环境中,一旦网络流量很大,反垃圾邮件的智能检查有可能会降低网络性能,成为高速网络中的瓶颈设备。所以网关级反垃圾邮件产品适用于网络流量不大的中小企业网络环境,用户可以不用专门购买梭子鱼等反垃圾邮件防火墙从而降低企业成本。
目前市场上网关级反垃圾邮件产品有KILL赤霄邮件过滤网关和美讯智安全信息网关等,这是口碑比较好的产品。
13.服务器级反垃圾邮件产品
所谓服务器级产品,也就是在服务器上加装反垃圾邮件功能模块,它的本职工作是“处理--转发”邮件,因此不会像反垃圾邮件防火墙那样具备强大的功能。
14.桌面级反垃圾邮件产品
桌面级的反垃圾邮件更加简单,它其实只是邮件接收端的一个功能模块,是反垃圾邮件的最后一道关卡,可以集成在Outlook、Hotmail里发挥过滤功能,这是纯粹的个人级产品。
15.MX查询验证技术
根据大量的调查结果,在所有垃圾邮件中,大约95%以上的邮件的发件人身份是伪造的,由此引出新的反垃圾邮件技术思路——验证邮件是否经过伪造。如果是伪造的,则基本可以判断为垃圾邮件。该技术思路基于目前的邮件服务器应用情况:大量接收邮件服务器(域名解析的MX项)本身就是发送邮件服务器(尤其针对中小邮件服务器);部分分离的接收邮件服务器和发送邮件服务器是IP地址相邻相近的,范围扩展与上一类似,其他允许发送邮件的计算机,如 WWW/mailist/ftp服务器,可能与MX项定义的机器的IP地址相邻相近。这样,通过验证邮件是否来自它所声称的邮件域的合法计算机,就可以判断其是否为垃圾邮件。这种技术从SMTP握手信息及邮件头信息来分析邮件来源,能有效识别虚假路由信息,识别95%以上的垃圾邮件。
16.多重图片识别技术 OCR
打击图片垃圾邮件的主导技术有图片垃圾邮件指纹识别技术、ocr识别技术以及之后的第三代图像防御技术。这三种技术在梭子鱼垃圾邮件防火墙上有 集中的体现,在ocr识别技术的初期,图片垃圾邮件的发送者们企图使用动态的gif图像使内容占用多帧。而且,他们采用横线,符号和其他图像模糊图片内的文字。为了对付这些技巧,博威特公司第二代ocr引擎既包含动态gif文件分析功能还包括模糊文本识别技术。
随着第三代图片垃圾邮件的出现,博威特公司研发出新型复合ocr引擎。该引擎深入分析图片,在进行ocr识别之前对表象图片进行规范化处理。这个新技术主要针对图片掩饰,不同颜色的对比,以及组合文字,背景等手段。综合处理正确率在95%以上。
17.意图分析技术 Intention Analysis
意图分析包括鉴别历史记录里的错误邮件发送基点、它们目前的行为和意图。许多防御策略用来鉴别垃圾邮件,而意图是随时间而改变的特殊类别。
大部分垃圾邮件背后的动机是使接受某物,例如登陆某个站点,拨打某个电话,或者买某只股票。这些动机被称为邮件“意图”,观察邮件的这些特点叫做“意图分析”。目前为止,大部分垃圾邮件的意图都是让用户点击一个网页或链接。
即使邮件发送者试图通过新IP地址掩盖他们的不良记录,他们最终还是需要驱使用户去特定的网站。梭子鱼中心维护着垃圾邮件发送者常用网站地址库,能够基于邮件中插入的站点地址阻断邮件。
意图分析是阻断垃圾邮件非常有效的手段,它的有效性随着黑名单有效性的相对减少而增加。梭子鱼中心分析后发现,在梭子鱼垃圾邮件防火墙的过滤邮件中,意图分析过滤占到了10~20%。
第二篇:反垃圾邮件技术初探
反垃圾邮件技术初探
摘要:如今,电子邮件的应用已经非常广泛,给人们的工作和生活带来了很大的方便。但是垃圾邮件的泛滥也给用户带来了诸多不便,尤其是病毒类垃圾邮件已经严重威胁用户信息的安全。在本文中,笔者通过对Internet存在的垃圾邮件问题进行探讨,从垃圾邮件的起因和特点出发,阐述了反垃圾邮件的技术。关键词:垃圾邮件;技术;过滤
随着计算机互联网技术的发展,电子邮件成为人们生活、工作中不可缺少的一项互联网服务,电子邮件费用低廉、使用方便、信息量大、信息传递速度快,极大的满足了人们的需求。正是因为邮件的这些特点,使垃圾邮件泛滥,而且具有反复性、不健康性和强制性,严重干扰了人们的正常生活,因此,要对反垃圾邮件技术进行探讨。
一、垃圾邮件简介
(一)垃圾邮件的概念
垃圾邮件是指收件人没有事先提出要求或者同意接受的电子刊物、广告等具有宣传性质的电子邮件;隐藏发件人身份、标题、地址等信息的电子邮件;收件人无法拒收的电子邮件;含有虚假信息源、路由、发件人的电子邮件。总之,垃圾邮件是指和内容无关,发送给多个未明确要求该邮件的收件人的邮件,也指发送给与信件主体不相关的新闻组或列表服务器的同一信件的重复邮件。
(二)垃圾邮件发送手段
1.以图片方式代替文字内容发送。把将要传送的内容以图片的形式附入邮件中,过滤器很难识别图片文件包含的内容。
2.邮件内容、发件信息伪装。通过随机内容生成器等将收信人地址加到正文或标题中,吸引收件人查看。
3.利用受病毒感染的“僵尸网络”发送。比如说利用蠕虫病毒,将垃圾邮件发送给世界各地可被蠕虫病毒感染的机器,使被感染的电脑在机主不知情的情况下发送垃圾邮件。
4.采用“视觉战术”,采用HTML格式,把内容加噪,干扰反垃圾邮件系统对于邮件内容的判断,但是垃圾邮件的接受者依然可以接受垃圾邮件的原始信息。
二、反垃圾邮件技术
(一)规则过滤技术
规则过滤技术是指通过设置一些基本规则,对要识别的邮件进行评估,只有符合这些规则的一条或几条规定,就认为是垃圾邮件。这些规则主要有:
1.通过SMTP通信链接频度、速率的设定,过滤垃圾邮件。垃圾邮件的发送者常常试图通过在很短一段时间内发送大量邮件来阻塞邮件服务器,所以,可通过对每个IP地址可用的带宽比例或并发SMTP连接数目进行限制,限制异常的网络流量,达到限制垃圾邮件的目的,也减少服务器因为垃圾邮件耗费的能源。
2.利用邮件地址、反向域名、域名“黑白名单”、IP查询进行邮件的过滤和限制。①实时黑名单技术就是通过检查收到邮件的IP地址,与实时黑名单中的IP地址进行核对阻止垃圾邮件,同时,实时黑名单是通过DNS来查找IP地址的A记录是否存在,并不需要手工维护IP地址的列表清单。②反向域名验证方法是通过启动邮件服务器的反省域名解析功能,对收到来源的IP地址采用反向的DNS验证真实性,有效过滤掉来自动态IP的垃圾邮件,降低垃圾邮件的数量。
(二)图片垃圾邮件的判别技术
1.杜绝图片垃圾邮件的关键在于分层处理,分层处理的解决方案加上有效的过滤原则,可帮助用户解决图片垃圾邮件带来的网络资源和网络带宽的浪费。
2.通信协议扫描技术是针对垃圾邮件的发信行为,对发件人进行监控和阻挡,减少垃圾邮件。通过对垃圾邮件行为解析,透过SMTP联机实时通信协议,对寄件者真实身份进行分析判断并适时回馈,判断其通讯行为,到图像式垃圾邮件实现高效的阻挡。
(三)基于统计的内容过滤技术
1.基于统计的内容过滤技术,是利用统计分类算法与文本分类对垃圾邮件进行检测,典型技术是贝叶斯过滤器。
2.贝叶斯过滤器的基本流程是:①在已经确定的正常邮件集和垃圾邮件集中进行学习,根据每个单词都两个集合中分别出现的次数,计算单词为垃圾词汇的概率。②当新邮件到达时,对信件内容进行系统性的分词和选词,得到一组组单词,根据在集合中学到的信息,计算整个单词流的概率,判断信件是否是垃圾邮件。
3.在实际应用中,因为贝叶斯分类法是利用概率推断邮件是否是垃圾邮件,为了方便管理,系统通过对邮件的打分确定邮件是否是垃圾邮件,为不同的概率设立不同的分数,每封邮件是否是垃圾邮件就以分数表示,确定一个阙值,查看邮件的分数,如果邮件的分数超过了阙值,邮件就是垃圾邮件,反之不是。结语:
垃圾邮件是全球性的问题,也是一种社会现象,对于这一问题,应该采用管理和技术相结合的方式,以先进的技术手段为基础,同时以完善的法律法规和管理规范为依托,通过建立国家性的反邮件服务体系,促进邮件服务商和运营商的协调合作,推动反垃圾邮件技术的发展。
参考文献:
[1]熊应, 朱斌, 朱海云.电子邮件智能分类系统的设计.电子学报, 2011, 29(12)
[2]杨清, 杨岳湘, 翟国平.智能文本分类系统的研究与设计,计算机应用研究,2009,10
[3] 刘建毅, 张鹏飞, 王 极.高性能电子邮件过滤系统的设计与实现[J].计算机应用研究, 2008(4): 224-225.[4] 李文斌, 刘椿年, 黄佳进.基于数据挖掘的垃圾E-mail 过滤方法[J].北京工业大学学报, 2009, 29(2): 237-240.
第三篇:浅析反垃圾邮件技术
淺析反垃圾郵件技術
杜暖男 馬瑩瑩
(平頂山工業職業技術學院,河南平頂山 467001)
摘要:現如今,垃圾郵件已經成為困擾人們網路交流的安全隱患之一,本文主要針對這個問題,簡要分析一些較為實用的反垃圾郵件技術。
關鍵字:資訊安全;反垃圾郵件;過濾技術;
中圖分類號:TP393.08
眾所周知,電子郵件已成為人們進行網路交流溝通的重要途徑,但是人們需要花費時間來處理日益增長的垃圾郵件。由於垃圾郵件數量多,具有反復性、強制性、欺騙性、不健康性和傳播速度快等特點,嚴重干擾了人們正常生活,浪費用戶的時間、精力甚至造成很多額外的經濟支出和資訊安全隱患。因此,對反垃圾郵件技術的研究已經成為影響互聯網發展的重要課題之一。本文主要對反垃圾郵件技術進行簡要的分析。
目前存在的垃圾郵件主要有帶附件的垃圾郵件、內容為圖片的垃圾郵件和文本型垃圾郵件三種類型。針對這三種類型的垃圾郵件的典型技術有通信協定掃描技術和貝葉斯過濾技術。1規則過濾技術
使用規則過濾技術進行判斷可以相對快速的判斷垃圾郵件,這種技術通過設置一些規則,然後對要識別的郵件評估了大量的模式大多數是正則運算式。只要符合這些規則的一條或幾條,就認為是垃圾郵件。使用這種技術最重要的是評定規則的更新。這些規則通常有:
(1)利用郵件位址、IP、功能變數名稱“黑白名單”或反向功能變數名稱查詢進行的郵件限制或過濾。為了有效地拒絕來自惡意的垃圾郵件來源站點和域被利用的垃圾郵件來源站點所發來的垃圾郵件,最直接和有效的辦法就是拒絕該來源的連接。
即時黑名單(Realtime Bolckhole List,簡稱RBL)技術通過檢查收到郵件的IP地址,與在RBL中的IP地址核對來阻止垃圾郵件。即時黑名單不需要手工維護IP位址列表清單,而是通過DNS方式來動態地查找一個IP位址的 A(Address)記錄是否存在。因此即時黑名單技術也被稱為RBLs。
反向功能變數名稱驗證的方法就是啟動郵件伺服器的反向功能變數名稱解析功能,對收到郵件的來源IP位址採用反向DNS查找驗證真實性。如果反向DNS查找提供的域與郵件上的來源IP地址相符號,該郵件被接受,如果不符合,該郵件被拒絕。例如其聲稱的名字為mail.changan.net,而其IP位址為202.96.172.185,與其DNS記錄相符,則予以接收。這種方法可以有效過濾掉來自動態IP的垃圾郵件,大大降低垃圾郵件的數量。但是,由於很多反向DNS目錄未被有效建立,或無法正常建立,在這種情況下,由這些域發送的郵件將被阻斷,造成不可接受的高誤報率。
(2)通過SMTP通信鏈結速率、頻度的設定,過濾不符合規定的郵件。垃圾郵件發送者經常試圖通過在很短一段時間內發送大量郵件阻塞郵件伺服器,這被稱為DOS(拒絕服務)攻擊。垃圾郵件的一個基本特徵是會在短時間內發送大量的郵件,這就表現為某個IP地址會在短時間內重複連接收件伺服器的SMTP埠,並佔用大量的帶寬。根據這個特點,一種方法是對每個IP位址可用的帶寬比例進行限制,另一種是對每個IP位址的併發SMTP連接數目進行限制。結合動態黑名單方式,更好地限制那些異常的網路流量,採用郵件重複技術進行限制,對那些郵件頭中關鍵資訊重複的郵件進行限制,如發送IP位址、發件人、郵件主題。這樣既可以達到限制垃圾郵件的目的,也可以減少伺服器由於處理垃圾郵件所消耗的資源。
規則過濾技術雖然可以過濾一類垃圾郵件,但是不能適應垃圾郵件的發展,只要垃圾郵件的郵件作了一些改變,就要手動更新規則才能滿足垃圾郵件的變化。
2基於統計的內容過濾技術
基於統計內容的郵件過濾技術,可以不考慮語義環境,利用文本分類與統計分類演算法進行垃圾郵件檢測。比較有代表性的是貝葉斯篩檢程式,貝葉斯分析採用過去事件的知識預測未來事件。
其基本流程是:首先在已經確定的垃圾郵件集和正常郵件集中進行學習,根據每個單詞分別在兩個集合中出現的次數,計算單詞為垃圾辭彙的概率。當一封新郵件到達時,系統對信件內容進行分詞和選詞,得到一組單詞流,然後根據學習到的資訊,計算整個單詞流的概率,並最終判斷該信件是否為垃圾郵件。
因為貝葉斯分類法是利用概率來推斷給定的郵件是垃圾郵件的可能性,在實際應用中為了便於管理,系統採用了打分的方法來為垃圾郵件與正常郵件的區分設定界限。首先,為不同的可能性建立相應的分數,每封郵件是垃圾郵件的可能性就轉化為分數來表示,增強了可讀性;然後,確定一個閾值,如果郵件的分數超過了閾值,那麼該郵件就判定為垃圾郵件,反之為正常郵件。
3圖片垃圾郵件的判別技術
隨著垃圾郵件的日益複雜,其表現形式也千變萬化。垃圾郵件正由以往頗具迷惑性的URL位址鏈結和文字形式逐漸演變成圖片格式。杜絕圖片垃圾郵件的關鍵在於分層處理。當分層處理的解決方案加上有效的過濾規則,用戶就會解決圖片垃圾郵件所帶來的網路資源和網路帶寬的大量浪費。而採用典型的基於內容過濾的貝葉斯演算法無法過濾此類垃圾郵件。通信協定掃描技術是防垃圾郵件技術領域的一種新型技術。此技術對於識別和阻攔圖片式的垃圾郵件起到很大的作用。
通信協定掃描技術主要針對垃圾郵件的發信行為,對發件人進行監控、阻擋,以達到減少垃圾郵件。通信協定掃描技術藉由匿名、偽造、濫發、非法的郵件行為判別,在不比對郵件內容/黑名單下,進行垃圾郵件行為解析,透過SMTP聯機即時通信協定,分析判斷並即時回溯追蹤寄件者真實身份,以判斷其通訊行為,對於圖像式垃圾郵件可以高效地實現阻擋。目前,垃圾郵件作為互聯網中的一個突出安全問題日益成為我們關注的重點和研究的熱點。單靠一種技術是無法徹底解決垃圾郵件,只有將各種反垃圾郵件技術結合起來運用,研製出更好的反垃圾郵件產品,並採用法律管理手段才能有效地控制和治理垃圾郵件。
第四篇:反垃圾邮件技术——邮件过滤
在对抗垃圾邮件的技术中还有一种极为重要的技术是邮件过滤技术(Mail Filter)。通过实时黑名单技术并不能完全解决垃圾邮件的问题,使用邮件过滤技术与之配合才能更有效的消除垃圾邮件带来的影响。
邮件过滤按照邮件系统的角色结构可以分为三类:
MTA(邮件传输代理)过滤
MDA(邮件递交代理)过滤
MUA(邮件用户代理)过滤
MTA过滤是指MTA在会话过程中对会话的数据进行检查,对于符合过滤条件的邮件进行过滤处理。邮件会话过程中有两个阶段可以进行过滤:
第一个阶段,邮件发送邮件数据前,即在发送DATA指令前的过滤。在发送DATA指令前,邮件对话可以在SMTP连接开始、HELO/EHLO指令、MAIL FROM指令和RCPT TO指令中对会话数据进行检查。
如果在检查中该会话符合过滤的条件,就可以按照规则采取相应的动作,如直接在会话阶段断开连接、发出警告代码等。邮件发送邮件数据前的检查也叫做信封检查。
第二个阶段,邮件发送邮件数据后,即在发送DATA指令后的过滤。在通过一个点的单行结束DATA指令后,可以对DATA指令接收到的数据进行检查,这包括信头检查和信体检查。在DATA指令所传送的数据中,信头和信体是通过一个空行分隔开的。
信头一般都比较小,通常在1KB-10KB之间,检查信头也比较快。而信体检查就要检查大量的数据,会给邮件服务器带来很大的负载。所以通常不做信体检查。
邮件发送邮件数据后的检查实际上是在邮件数据传输基本完毕后进行的,因此并不能节省下被垃圾邮件占用的带宽和处理能力,只是可以让用户不再收到这些已被过滤的垃圾邮件。MDA过滤是指MDA在从MTA中接收到信件,在本地或远程进行递交时进行检查,对于符合过滤条件的邮件进行过滤处理。
很多的MDA都支持在这个过程进行过滤,如Procmail、Maildrop和Cyrus-IMAP等,甚至它们本身就是作为过滤器使用的。这些过滤器使用过滤语言(如Sieve,它是一个标准化的邮件过滤语言,现在已成为IETF标准)。来制订过滤规则,因此配置比较灵活、功能强大。但是由于是在邮件递交阶段进行过滤,同MTA的邮件发送邮件数据后的检查一样,并不能节省下被垃圾邮件占用的带宽和处理能力,只是可以让用户不再收到这些已被过滤的垃圾邮件。
MTA和MDA过滤都是邮件服务器端的过滤,而MUA过滤是邮件用户的客户端的过滤。多数流行的邮件客户端,如Outlook、Outlook Express、Netscape Mail、Foxmail等都支持MUA过滤。
邮件过滤技术作为一个有效的对抗垃圾邮件的手段,就如同杀毒软件对病毒的查杀一样,也是需要不断根据情况更新邮件过滤规则的。通常都是管理员自行根据垃圾邮件监测情况来更新过滤规则。不过本站即将推出一个推荐的信头过滤规则和信体过滤规则,并不断根据情况进行更新。用户可以订阅这些规则并参考应用到自己的邮件系统中。
邮件过滤是一项应用的相当早的技术,因而也发展的比较完善。已经有很多主流的邮件系统支持邮件过滤,一些不直接支持该功能的邮件系统也可以通过补丁或外置的邮件过滤器来实现邮件过滤。
不过由于多数的黑名单服务提供者是国外的组织和公司,所以其提供的黑名单并不能有效地反映出国内的垃圾邮件情况,因此国内使用实时黑名单服务的邮件商很少,这也是我们之所以要提供自己的实时黑名单服务的原因。我们希望提供一个主要针对国内的垃圾邮件状况和动态地址分布的黑名单来为有效地遏制垃圾邮件做些有益的贡献
第五篇:国际垃圾邮件及反垃圾最新技术
国际垃圾邮件及反垃圾最新技术
作者:Barracuda 2008-04-16 16:54:37
信息化时代,垃圾邮件那些想谋求暴利的投机者经常使用的一条新的非法传播途径,它被认为是最有效和最廉价的广告形式,传统 的控制方法已经无法有效过滤垃圾邮件。垃圾邮件制造者通过邮件报头欺骗等方式,对邮件主题和内容进行处理,并且利用第三方服务器进行转发。电子邮件安全服 务公司Postini估计,目前,超过80%的电子邮件属于垃圾邮件。为了在与垃圾邮件的对抗中取得主动,大部分解决方案提供商在邮件服务器上安装反垃圾 邮件引擎,检查进出该邮件服务器的邮件。
从96年4月份开始,人们使用 UCE(Unsolicited Commercial Email)来称呼垃圾邮件,并开始积极想办法阻止垃圾邮件在Internet 上泛滥。随后,有人提出了SpamBlock的方法,例如使用 REMOVE.TO.REPLY 的工具来过滤邮件地址。随着过滤垃圾邮件技术的发展以及人们对发送垃圾邮件者的谴责,垃圾邮件的制造者不得不采取更为隐蔽的技术,目前被利用最多的垃圾邮 件发送技巧有:
1、盗取身份,来自“好人”的身份欺骗:垃圾邮件制造者使用的手段相当多样化,他们收集全球范围的发信者IP地址,使用新的垃圾邮件域名,垃圾邮件或藏匿在其 他“健康”url的后面以创建url好信誉,或利用如博客、免费网站等这些免费场所来达到身份欺骗。在发送过程中,它们用同样的技巧来隐藏发信者IP地 址,将url重定向到已知垃圾邮件域名或IP地址,或者使用许多免费的资源。
2、图片垃圾邮件及多层图片垃圾邮件:在所有的垃圾邮件中,图像垃圾邮件从年初所占的1%已经飙升至15%。垃圾邮件发送者越来越会隐蔽信息,他们以图片的形 式发送,而不是用文本。这些图像之所以能够蒙蔽一些过滤器是因为不太容易发现一个图像文件所含的内容是朋友生日聚会的照片、还是内嵌某公司股票信息的图 片。图像垃圾邮件还会加重电子邮件系统的负担,因为每封图像垃圾邮件所占空间大约是普通垃圾邮件的7.5倍。
3、躲避全球IP监控及信誉评分:信誉评分技术是指根据信誉(reputation)筛检邮件的方法,依照寄件行为接受评比。评比标准依据几项变数,例如收件 人的申诉率、发送邮件的数量,以及对收件人取消订阅要求的回应。另外,ip地址黑名单也是垃圾邮件发送者要回避的,为此,他们必须不断寻找新的僵尸服务器 代发垃圾邮件。
4、躲避内容过滤,夹带URL或者电话号码:越来越多的垃圾邮件发送者为躲避内容过滤引擎,将邮件伪装得越来越像一封正常邮件,而邮件中夹带的URL地址或者电话号码才是垃圾邮件发送者正真的意图所在。
这些非法新技术的隐蔽性和扩张性大大优于他们的前身,造成当今垃圾邮件泛滥成灾,使用电子邮件的网民及各界人士对垃圾邮件造成的问题日益关注,网络服务商和邮件运营商们纷纷提出了自己的技术方案:
发件人特征识别技术 Predictive Sender Profiling
在身份欺骗技术被垃圾邮件制造者广泛利用的新形式下,邮件安全厂商推出了针对性的发件人特征识别技术,代表产品为国际领先安全厂商博威特公司的 梭子鱼垃圾邮件防火墙。在06年底,该公司宣布将针对“好人”身份欺骗的特征识别技术加入梭子鱼垃圾邮件防火墙中,首先要验证发信者身份并预测其行为,这 其中包括列举垃圾邮件制造者的行为以及加强不依靠身份验证进行辨认的措施。博威特网络技术公司表示,对于发件人特征识别技术来说,邮件信誉的校验只是最基 本的,它必须通过启发式和人性化的检查来勾勒出垃圾邮件的行为特性,必须具备多样的有效对策。
信誉评分技术 IP Reputation
加州山景城的Habeas公司从事信誉过滤(reputation-filtering)服务,也就是协助企业改良电子邮件的名声,客户包括 WalMart.com、Staples、Vanguard、Geico和Tickets.com等公司。Habeas的对手公司ReturnPath从 事的也是设法把邮件投入收件信箱的服务,避免让邮件被弃置于垃圾信件分类。
Habeas首席执行官Des Cahill说:“电子邮件不是白吃的午餐。没有什么好东西仍然免费。就像做搜索引擎最好做引擎优化(search engine optimization)一般,电子邮件信誉与投递也是快速增长的新兴行业。”专家把电子邮件信誉比喻成驾驶纪录或信用纪录。如果驾驶纪录不佳,你必须 付更高的保险费;信用纪录不良,你就无法取得优惠的贷款利息。同理,如果电子邮件信誉差,你寄的邮件就会被丢入垃圾桶。
多重图片识别技术 OCR
打击图片垃圾邮件的主导技术有图片垃圾邮件指纹识别技术、ocr识别技术以及之后的第三代图像防御技术。这三种技术在梭子鱼垃圾邮件防火墙上有 集中的体现,在ocr识别技术的初期,图片垃圾邮件的发送者们企图使用动态的gif图像使内容占用多帧。而且,他们采用横线,符号和其他图像模糊图片内的 文字。为了对付这些技巧,博威特公司第二代ocr引擎既包含动态gif文件分析功能还包括模糊文本识别技术。
随着第三代图片垃圾邮件的出现,博威特公司研发出新型复合ocr引擎。该引擎深入分析图片,在进行ocr识别之前对表象图片进行规范化处理。这个新技术主要针对图片掩饰,不同颜色的对比,以及组合文字,背景等手段。综合处理正确率在95%以上。
意图分析技术 Intention Analysis
意图分析包括鉴别历史记录里的错误邮件发送基点、它们目前的行为和意图。许多防御策略用来鉴别垃圾邮件,而意图是随时间而改变的特殊类别。
大部分垃圾邮件背后的动机是使接受某物,例如登陆某个站点,拨打某个电话,或者买某只股票。这些动机被称为邮件“意图”,观察邮件的这些特点叫做“意图分析”。目前为止,大部分垃圾邮件的意图都是让用户点击一个网页或链接。
即使邮件发送者试图通过新IP地址掩盖他们的不良记录,他们最终还是需要驱使用户去特定的网站。梭子鱼中心维护着垃圾邮件发送者常用网站地址库,能够基于邮件中插入的站点地址阻断邮件。
意图分析是阻断垃圾邮件非常有效的手段,它的有效性随着黑名单有效性的相对减少而增加。梭子鱼中心分析后发现,在梭子鱼垃圾邮件防火墙的过滤邮件中,意图分析过滤占到了10~20%。
垃圾邮件巨大的利润驱使下,不法份子将不断使用更新的手段和技术来达到目的,污染邮件环境。而网络服务商和邮件运营商们则也将一如既往地研制出新技术来应对不法分子的挑战。与垃圾邮件的斗争注定将是一场持久战,厂商们已经做好了准备!