恐怖的垃圾邮件

05-10-31

Permalink 08:55:56, 分类: 01

恐怖的垃圾邮件

据悉,《北京晚报》将其最著名的版块“五色土副刊”的投稿邮箱公布在网上后,没多久,那个邮箱就没法使用——基本上被来自互联网上形形色色的成千上万的来路不明的邮件挤爆,不得不被废掉。

其实,象小李这样以电脑为工作手段的人大都有同样的烦恼。更让人郁闷的是,某IT公司网管濮先生,在网络边界部署了某国外著名公司的安全网关后的第二周,居然还是没有过滤掉含病毒的垃圾邮件,公司还是出现了网络拥挤中断事件。

而国内最早的专业反垃圾邮件厂商敏讯科技总经理郑海明则告诉记者,在中国最早接入互联网的中国教育网(CERNet)的服务器中,所接到的垃圾邮件曾一度高达97%。


垃圾邮件凶猛

“垃圾邮件已经成为互联网上最大的公害,它还将继续危害下去。”中国互联网协会反垃圾邮件中心主任曾明发在接受记者采访时表示。

  中国网民平均每周收到垃圾邮件数总量超过16亿封,而这个数据是在邮件服务商已经先行删除了大量垃圾邮件基础之上的。按照互联网协会反垃圾邮件中心2005年4月至2005年7月对国内包括新浪、中华网、263、TOM、网易、21CN、亿邮等主要邮件服务厂商的调查显示,各邮件服务商的规模不同,每天收到的邮件从50万封-5600万封不等,而垃圾邮件占这些邮件总量的50%以上。

作为站在中国反垃圾邮件防线的最前方各邮件服务商,投入了大量的人力物力进行反垃圾邮件工作,每年在反垃圾邮件上都会有上百万元人民币的投入,如21CN在过去3年中每年这方面直接投入增长量超过了200%,每年花费几百万元的费用来建设、升级和维护反垃圾邮件系统。而另一著名邮件服务商商平均每日收到的邮件为7000万封,其中5000封是应该被删除的垃圾邮件,而该邮件商用于反垃圾邮件的费用更是高达1500万人民币。

对于企业邮箱,垃圾邮件已成为洪水猛兽。某著名IT公司的网管告诉记者,他们所收到的邮件有80%是垃圾邮件,20%为正常邮件。据Gartner Group的调查数据表明,2004年,全球垃圾邮件已经导致了企业高达100亿美元的损失,而Radicati Group调查机构的估计更是高达205亿美元。

“垃圾邮件从一开始就和经济利益挂钩,只要有利可图,它就会源源不断地被造出来。”北京敏讯科技有限公司总经理郑海明说。

他认为,眼下情况愈演愈烈的原因在于,一方面,垃圾邮件所造成的危害难以实时量化,人们的反垃圾邮件意识普遍不强;另一方面,传统的反垃圾邮件技术主要以内容过滤为主体,根本就无法从技术阻止垃圾邮件进入邮件服务器,只能是靠事后删除,相当于“过期药”。

“中国的垃圾邮件占全球垃圾邮件的比例大约在10%左右,但是中国因垃圾邮件所造成的损失却不只全球损失的10%。” 曾明发说,中国除了受垃圾邮件的直接损害外,还因为被一些国家的互联网服务企业和反垃圾邮件组织认为是世界垃圾邮件的主要源头之一,对我国的一些IP地址段采取了一些极端的封堵方式,所造成的损失根本就无法估量。

被误读的中国真相

中国互联网协会反垃圾邮件中心主任曾明发并没有否认,有境外机构报告所宣称的从中国发出的垃圾邮件数量在美国、韩国之后位,已居世界第三位。但是,他强调说:“中国不是垃圾邮件‘出口’大户,而是‘转口’大户。”

源自中国的垃圾邮件的构成相当复杂,大部分并非出自中国人之手,主要由三方面组成:其一是境外垃圾邮件发送者为逃避本国法律制裁单独或者与我境内人员勾结所为;其二是境外垃圾邮件发送者利用黑客技术控制我境内不设防计算机所发出的;其三才是一些主要针对境外用户的垃圾邮件受益网站也利用中国的互联网管理、技术漏洞在我国境内接入。

据美国加州的反垃圾邮件组织MAPS的一个统计表明,该组织所收集的应该防范的电子邮件或者服务器共有2800个,在这个名单中,5%来自中国。有的是由欧美国家的垃圾邮件发送者通过中国的服务器发出的,有的是由中国的垃圾邮件发送者以中文邮件的方式发出;有的是由在中国工作的美国垃圾邮件发送者发出。

同样,根据国际著名反垃圾邮件组织SPAMHUAS最近的统计数据显示,全球200个长期专业垃圾邮件组织名录中(http://www.spamhaus.org/rokso/),中国仅有5个,其中中国大陆3个,中国台湾1个,中国香港1个,其中最大的一个为emailspidereasy.com,排在51位,由此可见,真正由中国人发出来的垃圾邮件在世界的垃圾邮件的总量中是微乎其微的。

因此,曾明发认为,中国不是垃圾邮件的受益国家,而是重灾区和受害国。

一方面,中国用户收到大量发自境内外的垃圾邮件。据中国互联网协会的调查显示连续三次反垃圾邮件调查结果显示,从2003年底到2004年底中国网民收到的垃圾邮件中有1/3以上都是英文垃圾邮件,这些英文的垃圾邮件给中国的网民的正常网络通信带来了极大的麻烦,造成了极大的伤害。

另一方面,由于一些国家的互联网服务企业(ISP)和反垃圾邮件组织缺乏对中国的了解,误认为中国是世界垃圾邮件的主要源头之一,所以为防止收到发自中国的垃圾邮件,对我国的一些IP地址段采取了一些极端的封堵方式,往往发现一个垃圾邮件制造者就对整个IP段进行

“在IPV4的环境下,由于中国IP地址资源极其匮乏,这些垃圾邮件黑名单常常牵连大量无辜的IP地址,导致我国大量用户无法与国外进行正常通信。” 曾明发说,“进入WTO后,影响到了中国企业尤其是外贸企业对外的信息沟通,严重到商业利益和商业声誉。” 根据中国反垃圾邮件中心的监测结果显示,从2004年11月至2005年6月下旬中国共有85个ISP所属1220个IP段被列入其黑名单,每个月都有上百个IP段被列入其中,大量牵涉无辜。

过期药的五大缺陷

在2005年3月中国互联网协会组织的第一次反垃圾邮件调查和6初启动正在开展的第二次调查中,已经有10多万网民填写了调查问卷,其中60.08%的认为反垃圾邮件最有效的方法应该是利用技术。

但是,在记者的采访调查中却发现,一些包括邮件服务商和商业企业在内的网络技术人员承认,在通常情况下,他们还是主要采用服务器过滤垃圾邮件,或者通过在反病毒软件中单独或者增加了防范垃圾邮件的功能;或者购买专业的反垃圾邮件产品。

某IT公司网管濮先生,对眼下以过滤技术为主导技术的安全网关提出质疑:“实时黑名单、内容过滤看上去的确不错,但通过关键字的规则有几万条,资源消耗过大。”

某高校的网络管理员担心,关键字过滤还有一个问题是,容易出现误判。“例如有人就叫做李大法,他的邮件就很难正常收到;如果邮件内容中有北大法律系或者人大法律系这样的字样,就有可能无法正常送达。”

北京敏讯科技有限公司总经理郑海明认为,传统反垃圾邮件技术,基本上还是沿用了‘截获样本,解析特征,生成规则,规则下发,内容过滤’的原理,很难跟得上数量巨大、千变万化的垃圾邮件,相当于是过期药,存在着一些不可避免的先天缺陷。

首先,没有节省流量和存储资源,反而增加了计算的程度。垃圾邮件不是在空中拦截,而是通过把邮件缩小,截获样本来寻找关键字,再判断是否是垃圾邮件,在这个过程中,流量和资源已经消耗掉了。

其次,关键字的规则是很难维护的,而且是一种见招拆招的被动的思路。“大家都知道,互联网上每天有200个新病毒,那些防病毒厂商就已经杀不过来了。” 郑海明说,“而每天新的不同内容的垃圾邮件,是几千万上亿封,没有哪家公司有财力能够高速度维邮件关键字的特征。”更何况,垃圾邮件内容特征变化很快,比病毒变化快得多,而且是处在一种多语种高爆发频率状态下。

  再者,传统的反垃圾邮件系统效率非常低。一般的过程是,先对邮件进行内容过滤,再用贝叶斯法评分,再归档分类为垃圾邮件、可疑邮件和正常邮件。在网关上,一封信来的时候,如果是垃圾邮件,比到第五条的时候,就会退出来了;但如果是正常邮件,它需要比对5万条规则后,才能到下下一个邮件服务器,极其消耗资源。“这意味着对正常邮件也要进行比对。” 郑海明说,“如果某个大企业,每天有五万封正常邮件,意味着网关每天要做5万乘5万条的比对规则,才能判断是否放行。”

  第四,以内容过滤为主导的技术,容易受到内容的干扰,容易造成误判断。郑海明举了一个例子,“社会科学院的一些教授,和台湾的一些学者有学术往来,因此在邮件来往过程中会针对一些敏感问题进行探讨和辩论。”他说,“因为涉及需要过滤的关键字,所以被删除。”相反,法轮功份子散布各种谣言的垃圾邮件,则往往采取更加隐秘的手段,反而有可能顺利通过网关。

   最后,在法律上可能也会带来问题。从严格意义上来讲,宪法第四条规定,公民有通信自由,没有经过安全和公安部门的批准,任何人都无权查看或删除邮件,而内容过滤意味着在网关上可以查看到信的内容。“对于可疑邮件,网管要比对内容,这涉及到通信隐私。” 郑海明说,“信息产业部正在考虑立法,也考虑到了邮件通信的自由保密。这在某种意义上讲,内容过滤技术意味着有可能不符合相关法律。

新技术主张的实践

中国互联网协会反垃圾邮件中心主任曾明发认为,反垃圾邮件斗争所需要的是全社会的共同参与。必须将宣传教育、法律治理和技术革新有效结合,采取综合防治的的措施,减少垃圾邮件的泛滥和危害。

他呼吁,用户及时向中国反垃圾邮件中心www.spam.com.cn举报垃圾邮件,以便于及时公布黑名单;而有关部门要加快相关法律和制度的制定,以便将逍遥法外的不法者绳之以法;从业者要进行交流,以便促进技术革新。

曾明发认为从目前反垃圾邮件的三大主要技术来讲,是各有优劣:传统的过滤技术,包括内容过滤和地址过滤在应用上最为广泛,但解决不了一些问题;身份认证技术由于微软和雅虎在利益标准上的争执不断,很难快速推广;而行为识别技术,主要是一个概率的体系,虽然成为业内反垃圾邮件技术的一种趋势,应用效果有待考证。而且成型产品并不多,仅有敏讯等一两家专业反垃圾邮件企业有相关的解决方案。

但敏讯科技有限公司总经理郑海明不同意曾明发对行为识别技术的看法。他认为垃圾邮件在发送阶段处于活动的状态,恶意的行为特征远比内容特征要明显。3年多来,敏讯对大量垃圾邮件进行了实时的行为观察总结了丰富的垃圾邮件发送行为特征库。依靠“行为识别”的创新技术,可以智能在线识别针对电子邮件系统的各种恶意攻击、病毒攻击、垃圾攻击。

“我们已经推出了基于新一代的“行为识别”技术开发的EQManager智能反垃圾邮件系统,应用效果非常不错。。” 郑海明强调,“早在2002年,清华大学网络中心和敏讯科技就对行为模式进行了研究,相关的产品已经从实验室走向应用。”

例如,敏讯早期客户——北京大学2年的应用结果表明,EQManager反垃圾邮件网关解决方案,与北京大学的电子邮件系统和用户管理计费系统密集成,在实际应用中,不仅能拦截垃圾邮件,还能节省了大量的国际网络流量费用。

原因是,“行为识别采用“空中截击”技术,边接收边判断,不需要把垃圾信全部收下来,就可以直接拦截90%以上的垃圾邮件和病毒邮件,并且极大提高垃圾邮件的处理速度,单台网关处理能力达到了惊人的每天200万封以上,能节省大量的系统资源和网络带宽。



相关链接一:新一代“行为模式识别”反垃圾邮件技术



新一代“行为模式识别”反垃圾邮件技术被业内人士认为是目前反垃圾邮件技术的一个重要趋势之一,最先由清华大学学子所组建的敏讯科技于2002年5月初在国内提出。



传统反垃圾邮件技术,基本用“截获样本,解析特征,生成规则,规则下发,内容过滤”原理,而新一代“行为模式识别”反垃圾邮件技术强调的是,必须从事先原理出发,从邮件内容进一步往前提一步,做到主动性垃圾邮件行为模式识别的技术 。



该技术通过对大量垃圾邮件进行了实时的行为观察,归纳总结出了大量的垃圾邮件发送行为特征,并且据此建立了 “垃圾邮件行为模式特征数学模型”,并且将计算机顶级智能领域的“模式识别”技术和统计学理论,应用于垃圾邮件的行为特征研究。

与以往不同的是,该技术在分析时不但导入邮件内容本身的特征点,而且全面加入了各类行为相关因素。通过两年多对上千万封垃圾邮件样本的分析、统计,并经过大量的统计分析计算,从归纳出了垃圾邮件发送行为模式识别模型。行为模式识别模型包含了邮件发送过程中的各类行为要素,如,时间、频度、发送IP、协议声明特征、发送指纹等。

目前,我国已经推出了新一代基于垃圾邮件“行为模式识别”理论的“智能反垃圾邮件新技术”系列软件已经走出实验室,成为可供应用的现实产品。如敏讯科技的EQManager邮件网关管理系统等在国家商务部、教育部、工商总局、国土资源部、千龙新闻网、中国网、清华大学、北京大学、社科院、中科院、用友集团、方正集团等多个高校、科研单位、政府机关应用,并获得了公安部2004年反垃圾邮件推荐产品和2005年中国最值得信赖反垃圾邮件网关产品品牌奖。





相关链接二:邮件服务商反垃圾邮件的基本手段



各服务商在防范垃圾邮件上采用的方法和手段基本如下:软件自动过滤和人工管理相结合的方式。采用得防范措施:Antispam系统自动防范;人工采集关键字防范;系统级反垃圾网关(黑名单、内容过滤、行为特征过滤、贝叶斯等)、用户级反垃圾过滤等;限制IP连接数、单次发送邮件数 ;商业用知名智能系统大规模探针邮箱库;通过技术手段对垃圾邮件进行监控和防御,包括内容过滤,反垃圾邮件IP屏蔽,交换机IP屏蔽,行为过滤,RBL过滤。并且设有专职的人员7*24小时轮班负责系统运行进行监控和维护。



在技术方面大多采取了以下技术:一、常规反垃圾邮件技术;邮件全文关键字匹配识别技术;邮件附件长度大小匹配识别技术;支持扫描邮件附件是压缩文件;结合防病毒系统,拦截病垃圾邮件; 能限制一次性发送n封以上邮件,能限制每连接最大邮件数;IP黑名单功能,阻断特定IP、服务器连接到邮件服务器发送邮件; 限制来自相同客户端IP的并发连接数量。二、特种反垃圾邮件技术:AI 智能数据统计分析识别技术;加入反向解析服务器IP信息识别组织;用户在线举报分析识别技术;行为识别模式技术


相关链接一:新一代“行为模式识别”反垃圾邮件技术



新一代“行为模式识别”反垃圾邮件技术被业内人士认为是目前反垃圾邮件技术的一个重要趋势之一,最先由清华大学学子所组建的敏讯科技于2002年5月初在国内提出。



传统反垃圾邮件技术,基本用“截获样本,解析特征,生成规则,规则下发,内容过滤”原理,而新一代“行为模式识别”反垃圾邮件技术强调的是,必须从事先原理出发,从邮件内容进一步往前提一步,做到主动性垃圾邮件行为模式识别的技术 。



该技术通过对大量垃圾邮件进行了实时的行为观察,归纳总结出了大量的垃圾邮件发送行为特征,并且据此建立了 “垃圾邮件行为模式特征数学模型”,并且将计算机顶级智能领域的“模式识别”技术和统计学理论,应用于垃圾邮件的行为特征研究。

与以往不同的是,该技术在分析时不但导入邮件内容本身的特征点,而且全面加入了各类行为相关因素。通过两年多对上千万封垃圾邮件样本的分析、统计,并经过大量的统计分析计算,从归纳出了垃圾邮件发送行为模式识别模型。行为模式识别模型包含了邮件发送过程中的各类行为要素,如,时间、频度、发送IP、协议声明特征、发送指纹等。

目前,我国已经推出了新一代基于垃圾邮件“行为模式识别”理论的“智能反垃圾邮件新技术”系列软件已经走出实验室,成为可供应用的现实产品。如敏讯科技的EQManager邮件网关管理系统等在国家商务部、教育部、工商总局、国土资源部、千龙新闻网、中国网、清华大学、北京大学、社科院、中科院、用友集团、方正集团等多个高校、科研单位、政府机关应用,并获得了公安部2004年反垃圾邮件推荐产品和2005年中国最值得信赖反垃圾邮件网关产品品牌奖。





相关链接二:邮件服务商反垃圾邮件的基本手段



各服务商在防范垃圾邮件上采用的方法和手段基本如下:软件自动过滤和人工管理相结合的方式。采用得防范措施:Antispam系统自动防范;人工采集关键字防范;系统级反垃圾网关(黑名单、内容过滤、行为特征过滤、贝叶斯等)、用户级反垃圾过滤等;限制IP连接数、单次发送邮件数 ;商业用知名智能系统大规模探针邮箱库;通过技术手段对垃圾邮件进行监控和防御,包括内容过滤,反垃圾邮件IP屏蔽,交换机IP屏蔽,行为过滤,RBL过滤。并且设有专职的人员7*24小时轮班负责系统运行进行监控和维护。



在技术方面大多采取了以下技术:一、常规反垃圾邮件技术;邮件全文关键字匹配识别技术;邮件附件长度大小匹配识别技术;支持扫描邮件附件是压缩文件;结合防病毒系统,拦截病垃圾邮件; 能限制一次性发送n封以上邮件,能限制每连接最大邮件数;IP黑名单功能,阻断特定IP、服务器连接到邮件服务器发送邮件; 限制来自相同客户端IP的并发连接数量。二、特种反垃圾邮件技术:AI 智能数据统计分析识别技术;加入反向解析服务器IP信息识别组织;用户在线举报分析识别技术;行为识别模式技术


相关链接一:新一代“行为模式识别”反垃圾邮件技术



新一代“行为模式识别”反垃圾邮件技术被业内人士认为是目前反垃圾邮件技术的一个重要趋势之一,最先由清华大学学子所组建的敏讯科技于2002年5月初在国内提出。



传统反垃圾邮件技术,基本用“截获样本,解析特征,生成规则,规则下发,内容过滤”原理,而新一代“行为模式识别”反垃圾邮件技术强调的是,必须从事先原理出发,从邮件内容进一步往前提一步,做到主动性垃圾邮件行为模式识别的技术 。



该技术通过对大量垃圾邮件进行了实时的行为观察,归纳总结出了大量的垃圾邮件发送行为特征,并且据此建立了 “垃圾邮件行为模式特征数学模型”,并且将计算机顶级智能领域的“模式识别”技术和统计学理论,应用于垃圾邮件的行为特征研究。

与以往不同的是,该技术在分析时不但导入邮件内容本身的特征点,而且全面加入了各类行为相关因素。通过两年多对上千万封垃圾邮件样本的分析、统计,并经过大量的统计分析计算,从归纳出了垃圾邮件发送行为模式识别模型。行为模式识别模型包含了邮件发送过程中的各类行为要素,如,时间、频度、发送IP、协议声明特征、发送指纹等。

目前,我国已经推出了新一代基于垃圾邮件“行为模式识别”理论的“智能反垃圾邮件新技术”系列软件已经走出实验室,成为可供应用的现实产品。如图特邮局系统、敏讯科技的EQManager邮件网关管理系统等在国家商务部、教育部、工商总局、国土资源部、千龙新闻网、中国网、清华大学、北京大学、社科院、中科院、用友集团、方正集团等多个高校、科研单位、政府机关应用,并获得了公安部2004年反垃圾邮件推荐产品和2005年中国最值得信赖反垃圾邮件网关产品品牌奖。





相关链接二:邮件服务商反垃圾邮件的基本手段



各服务商在防范垃圾邮件上采用的方法和手段基本如下:软件自动过滤和人工管理相结合的方式。采用得防范措施:Antispam系统自动防范;人工采集关键字防范;系统级反垃圾网关(黑名单、内容过滤、行为特征过滤、贝叶斯等)、用户级反垃圾过滤等;限制IP连接数、单次发送邮件数 ;商业用知名智能系统大规模探针邮箱库;通过技术手段对垃圾邮件进行监控和防御,包括内容过滤,反垃圾邮件IP屏蔽,交换机IP屏蔽,行为过滤,RBL过滤。并且设有专职的人员7*24小时轮班负责系统运行进行监控和维护。



在技术方面大多采取了以下技术:一、常规反垃圾邮件技术;邮件全文关键字匹配识别技术;邮件附件长度大小匹配识别技术;支持扫描邮件附件是压缩文件;结合防病毒系统,拦截病垃圾邮件; 能限制一次性发送n封以上邮件,能限制每连接最大邮件数;IP黑名单功能,阻断特定IP、服务器连接到邮件服务器发送邮件; 限制来自相同客户端IP的并发连接数量。二、特种反垃圾邮件技术:AI 智能数据统计分析识别技术;加入反向解析服务器IP信息识别组织;用户在线举报分析识别技术;行为识别模式技术

点击(2586) - 评分(465) - 1 条评论 - Trackback (0) - Pingback (0) - 全文链接 - 推荐此文章

这个帖子的Trackback地址

http://blog.beimeicn.com/htsrv/trackback.php/45968

评论, Trackbacks, Pingbacks:

评论源自: kika · http://www.thoth.cn
是阿!事实上就是这样,不过大家也没有办法
05-10-31 @ 23:51

发表评论:


您的邮件地址将不会显示在这个网站上

您的网址将被显示

允许的xhtml标记: <a, strong, em, b, i, del, ins, dfn, code, q, samp, kdb, var, cite, abbr, acronym, sub, sup, dl, ul, ol, li, p, br, bdo, dt, dd>
链接、邮件地址、即时通信帐号将被自动转化。
安全校验码
选项:
(换行变成了 <br />)
(设置Cookie以记住名字,邮件地址和网址)

网络报告

介绍互联网的发展

统计

搜索

分类


最新评论

最新留言 [更多留言]

选择一个布景主题

杂项

北美中文网

引用这个博客系统 XML

加西网 版权所有 2004-2019