antianti----virus comparative virus comparative 恶意 antianti----virus comparative virus...
TRANSCRIPT
AntiAntiAntiAnti----Virus Comparative Virus Comparative Virus Comparative Virus Comparative
恶意软件恶意软件恶意软件恶意软件
检测率测试检测率测试检测率测试检测率测试
包括误报测试
语言:简体中文
2013年9月
最后修订:2013年10月10日
www.avwww.avwww.avwww.av----comparatives.orgcomparatives.orgcomparatives.orgcomparatives.org
AV-Comparatives - 检测率测试 - 2013年9月 www.av-comparatives.org
- 2 -
目录目录目录目录
参加检测的产品 3
简介 4
遗漏样本图 6
测试结果 7
误报测试 8
本次检测的产品取得的成绩 9
版权及免责声明 10
AV-Comparatives - 检测率测试 - 2013年9月 www.av-comparatives.org
- 3 -
• AhnLab V3 Internet Security 8.0
• AvastFree Antivirus 8.0
• AVG Anti-Virus 2014
• AVIRA Antivirus Premium 13.0
• Bitdefender Antivirus Plus 2014
• BullGuard Antivirus 13.0
• eScan Anti-Virus 14.0
• Emsisoft Anti-Malware 8.1
• ESET NOD32 Antivirus 6.0
• F-Secure Anti-Virus 2014
• Fortinet FortiClient 5.0
• G DATA AntiVirus 2014
• Kaspersky Anti-Virus 2014
• 金山新毒霸 2013
• McAfee AntiVirus Plus 2014
• Microsoft Security Essentials 4.3
• Panda Cloud Free Antivirus 2.2.1
• Qihoo 360 杀毒 4.2
• Sophos Anti-Virus 10.2
• Symantec Norton Anti-Virus 21.0
• 腾讯电脑管家 8.1
• ThreatTrack Vipre Antivirus 6.2
• Trend Micro Titanium AntiVirus+ 2014
参加检测的产品参加检测的产品参加检测的产品参加检测的产品
AV-Comparatives - 检测率测试 - 2013年9月 www.av-comparatives.org
- 4 -
简介简介简介简介
阅读本报告之前,我们建议读者先阅读产品测试方法文档,以及我们官网提供的信息。用
于本次测试的恶意软件测试集已于2013年8月19日封存,由129253个不同的恶意程序组成。测试
期间,各产品都在2013年9月6日通过因特网/云进行了最后的更新,测试使用的是 Microsoft
1
Windows7SP1 64位操作系统。
下列最新产品参与了本次公开测试(大部分被测的产品在测试时都已发布):
• AhnLab V3 Internet Security 8.0.8.1
• AvastFree Antivirus 8.0.1497
• AVG Anti-Virus 2014.0.4116
• AVIRA Antivirus Premium 13.0.0.4052
• Bitdefender Anti-Virus+ 17.17.0.773
• BullGuard Antivirus 13.0.26.261.9
• eScan Anti-Virus 14.0.1400.1457
• Emsisoft Anti-Malware 8.1.0.4
• ESET NOD32 Antivirus 6.0.316.1
• F-Secure Anti-Virus 12.89.105
• Fortinet FortiClient 5.0.5.308
• G DATA AntiVirus 24.0.2.3
• Kaspersky Anti-Virus 14.0.0.4651 (a)
• 金山新毒霸 2013.SP4.5
• McAfee AntiVirus Plus 16.1.144
• Microsoft Security Essentials 4.3.216.0
• Panda Cloud Free Antivirus 2.2.1
• Qihoo 360 杀毒 4.2.0.4071
• Sophos Anti-Virus 10.2.8
• Symantec
2
Norton Anti-Virus 21.0
• 腾讯电脑管家 8.1.24981.9501
• ThreatTrack Vipre Antivirus 6.2.4.7
• Trend Micro Titanium AntiVirus Plus
7.0.1151
在您参照本测试结果做出购买决定前,请先在自己的系统上试用这些产品
3
。因为您还需要
考虑这些安全产品的其他众多功能,以及一些重要因素(如:价格、易用性、兼容性、用户图
形界面、语言、客户服务等)。尽管产品检测率的高低相当重要,但它只是考察整款杀毒软件
功能的一个方面。所以,AVC还提供整体产品动态的“真实环境”保护测试,以及另外的涵盖产
品不同特征的其他测试。我们也提请用户们关注一下我们其他的测试,而不要只注重本次测试
。这也是为了让用户们能够了解,我们多年以来一直提供的其他类型的测试和报告,例如整体
产品“真实环境”下的保护能力测试。对一款杀毒软件进行评价,最重要的、可靠而具有决定
性的因素之一,就是其是否具备良好的检测能力。此外,如当恶意软件在执行过程中,所有其
他的访问时扫描组件和按需检测或保护机制不能正常发挥作用时,大多数产品最起码还提供一
1 另外,我们还对 Windows 8 中的 Windows Defender 进行了测试(我们观察到的结果与 Windows 7 的
Security Essentials 相同)。 2 虽然赛门铁克诺顿并未申请加入我们的测试系列,但为了满足我们的读者和记者的强烈要求,本次测
试,我们也将其列入其中。 3 关于产品中使用第三方杀毒引擎/病毒特征码的附加信息:BullGuardBullGuardBullGuardBullGuard, EmsisoftEmsisoftEmsisoftEmsisoft, eScaneScaneScaneScan, FFFF----Secure,Secure,Secure,Secure,
G DATAG DATAG DATAG DATA 和 奇虎奇虎奇虎奇虎 360360360360 全部基于 Bitdefender 杀毒引擎。金山新毒霸金山新毒霸金山新毒霸金山新毒霸 和 腾讯电脑管家腾讯电脑管家腾讯电脑管家腾讯电脑管家 基于 AVIRA 杀毒
引擎。
AV-Comparatives - 检测率测试 - 2013年9月 www.av-comparatives.org
- 5 -
些另外的功能来阻止恶意行为(或至少发出警告)(对于这些保护功能的评测,请查看我们的
官网上提供的其他类型的测试报告)。
大部分产品运行时,使用默认的最高设置。某些产品在发现恶意文件时,会自动切换到其
最高设置(如Avast、Symantec、TrendMicro等)。这就无法实现使用真正“默认”的设置进行
各种恶意软件的检测。为了使测试结果具有可比性,经过各个厂商的同意,我们将几个保留了
默认设置的产品调成最高设置,或仍保留他们较低的设置。我们希望安全厂商在默认情况下,
提供较强的安全设置,即将默认设置设到最高检测级别(如AVIRA,卡巴斯基,奇虎360等),
尤其是用于计划扫描或由用户启动的扫描。这种设置通常是用在访问时扫描和/或执行时扫描的
情况下(例如ESET和卡巴斯基,在文件被执行时,使用较高的启发式设置进行扫描)。我们允
许剩余的几个厂商(在按需扫描时都不使用最高设置),选择其更高的设置进行测试,即在文
件被访问时/执行时使用较高的默认设置,这样,恶意软件测试的检测结果会更接近实际的用法
(因为文件访问时的设置较高)。我们也希望厂商能够去除用户界面中的偏执安全设定,如此
高的设置对于普通用户而言弊大于利(如AVG、FSECURE、SOPHOS等)。下面是对几个默认情况
下未设为最高安全设置的产品测试时所使用的设置的一些说明(总是开启扫描全部文件、压缩
文件、扫描PUA、云扫描等设置),即其他所有产品都使用其默认的最高设置进行测试,因为这
些产品要么在默认情况下已经设为最高安全设置,要么一检测到恶意文件后就会自动切换到最
高设置:
AVGAVGAVGAVG,,,,FFFF----SecureSecureSecureSecure,,,,金山,奇虎360金山,奇虎360金山,奇虎360金山,奇虎360,,,,Sophos,Sophos,Sophos,Sophos,腾讯:腾讯:腾讯:腾讯:
要求在测试和评级中使用各自的默认设置(即不使用他们的高级启发式杀毒/可疑检测/完全扫
描设置/另外的杀毒引擎/云检测)。
AVIRAAVIRAAVIRAAVIRA、、、、Kaspersky:Kaspersky:Kaspersky:Kaspersky:
要求在测试中将启发式杀毒设定为高/增强。
有几款产品使用云技术,这种技术需要保证有效的互联网连接。我们的测试是在有效的联
网状态下完成的。用户应该清楚的是,处于离线状态下(或由于某些原因无法连接到云)进行
的病毒检测,检测率可能会降低。云技术应被视为一种能额外提高检测率的辅助功能(即对恶
意程序的反应次数和误报抑制),而不应被完全看做是用于本地脱机检测的替代。万一与云的
连接中断时,安全厂商应确保用户能被警示,例如病毒扫描期间,这种中断可能对所提供的保
护产生极大的影响并使可能已启动的扫描无效。虽然在我们的测试中,我们可以检查与安全厂
商的云连接是否正常,但用户应该知道,网络连接正常并不一定意味着他们所使用的产品的云
连接就正常工作。事实上,使用云安全的产品,有时会遇到各种网络问题,因此没有提供云安
全,也未能通知用户。在不久的将来,用于验证云支持的产品是否正常发挥功能的工具将诞生
。
通过查阅遥感数据,我们创建了试图能涵盖过去的几周或几个月的日常生活中,对用户真
正产生过威胁的流行样本测试集。我们采用聚类法,将类似的文件进行归类。(一个样本/最流
行的恶意程序/每个变种)。这使我们能够评估流行的类似恶意程序样本,并在不引起偏差的情
况下减少样本集的大小。因此,每个遗漏的样本都被用来代表一个遗漏的文件组或恶意程序变
种。
虽然我们对杀毒软件的各个方面进行了多种测试和演示,但仍然建议用户自己对软件进行
评估并形成自己的意见。测试数据或报告仅提供一些指导,毕竟有些方面用户自己无法评价。
我们建议并鼓励读者去研究其他各种知名的独立测试机构提供的独立测试结果,以便更好判断
AV-Comparatives - 检测率测试 - 2013年9月 www.av-comparatives.org
- 6 -
各种产品在不同的测试条件和测试环境下,对病毒的查杀能力。在我们的官网可以找到多个测
试实验室列表。
总检测率由测试人员分析集群后,依据层次聚类法分组而成。通过使用集群,没有要达到
的固定阈值,因为阈值会因各种结果而不同。测试人员合理地定义集群,而不是单靠集群,以
避免发生如果未来所有的产品成绩都不好,那么无论怎样都不能取得较高的排名。对于误报的
范围是否也适合使用类聚法,或将误报为“多”的门槛不再设为16个,而是11个(或使用平均
值作为分割值),这些依然还处于评估期。
检测率集群/组检测率集群/组检测率集群/组检测率集群/组
(经测试者查阅统计方法后得出)
4444 3333 2222 1111
很少很少很少很少 (0-2 个误报)
少少少少 (3-15 个误报) 已测试已测试已测试已测试 标准标准标准标准 优秀优秀优秀优秀 最佳最佳最佳最佳
多多多多 (16-50 个误报) 已测试已测试已测试已测试 已测试已测试已测试已测试 标准标准标准标准 优秀优秀优秀优秀
很很很很多多多多 (51-100个误报) 已测试已测试已测试已测试 已测试已测试已测试已测试 已测试已测试已测试已测试 标准标准标准标准
极极极极多多多多 (超过100个误报) 已测试已测试已测试已测试 已测试已测试已测试已测试 已测试已测试已测试已测试 已测试已测试已测试已测试
遗漏样本图遗漏样本图遗漏样本图遗漏样本图 (越低越好)(越低越好)(越低越好)(越低越好)
上图显示的测试结果不包括Microsoft Windows提供的已预设的恶意软件检测程序。在
Windows 8中,这种防护由Windows Defender提供。在默认情况下,Windows Defender已预装在
操作系统中。在Windows 7相当于微软的MSE,MSE不是预装的,但可以作为一个选项,通过
Windows Update服务轻松地免费添加。我们通过图表对功能进行比较-即静态的恶意软件检测-
为用户提供第三方的防病毒解决方案。
AV-Comparatives - 检测率测试 - 2013年9月 www.av-comparatives.org
- 7 -
测试结果测试结果测试结果测试结果
总检测率总检测率总检测率总检测率((((按按按按组分组分组分组分):):):):
当您对比下列产品的检测率时,也请考虑每款产品的误报率
4
。
1. AVIRA, 腾讯, 金山, G DATA, F-Secure 99.7%
2. McAfee, Panda 99.6%
3. Kaspersky, Bitdefender, Emsisoft 99.5%
4. BullGuard, 奇虎360, eScan 99.4%
5. Fortinet、Vipre 99.0%
6. AVG 98.3%
7. Sophos, Trend Micro 98.2%
8. ESET 97.1%
9. Avast 96.5%
10. AhnLab 90.6%
11. Microsoft 90.1%
12. Symantec 89.7%
所使用的测试集中包含129253个过去几周或几个月以来,到近期一直流行的恶意样本。
Hierarchical Cluster AnalysisHierarchical Cluster AnalysisHierarchical Cluster AnalysisHierarchical Cluster Analysis
该图显示通过类聚分析法得出的
结果
5
。它表明,类似群集所处的连接
线。红色的虚线是相似群集的定义线
。每个交叉代表一个组。
4 我们估计最后的百分比误差应低于 0.2%
5 关于类聚分析法的更多详细内容,请点击链接,可以帮助您轻松理解:
http://strata.uga.edu/software/pdf/clusterTutorial.pdf
AV-Comparatives - 检测率测试 - 2013年9月 www.av-comparatives.org
- 8 -
误误误误报测试报测试报测试报测试
为了较好的评估杀软产品的检测能力(从恶意文件中区分正常文件),我们还提供误报测
试。有时,误报引起的麻烦不亚于真正感染了病毒。当您比照检测率指标时,也请考虑误报率
的问题,容易造成误报的产品也更容易取得较高的分数。
误报结果误报结果误报结果误报结果
在我们准备的测试集中发现的误报数量(越少越好):
1. 微软 MSE 0
2. ESET 1 很少误报
3. F-Secure 2
4. Fortinet 3
5. 卡巴斯基 5
6. Emsisoft 7
7. Bitdefender, BullGuard, Sophos 8 少误报
8. Avast 10
9. AhnLab, 奇虎 13
10. Trend Micro 14
11. AVIRA, 金山, McAfee,Panda, 腾讯 20
12. G DATA 22 多误报
13. AVG、eScan 28
14. Symantec, Vipre 37
已发现的误报(包括假设的流行数据)的详细情况,可以参见为此准备的一份独立报告:
http://www.av-comparatives.org/wp-content/uploads/2013/09/avc_fp_sep2013.pdf
检测率低但误报较少的产品,不一定比高检测率但同时有很高误报的产品差。
AV-Comparatives - 检测率测试 - 2013年9月 www.av-comparatives.org
- 9 -
本次检测产品所取得的成绩本次检测产品所取得的成绩本次检测产品所取得的成绩本次检测产品所取得的成绩
AV-Comparatives对于测试结果采用分级制。由于本报告不仅包括成绩,还包括检测率等数
据,所以,高级用户可以根据个人意愿来判断,如:只考虑单项得分而不考虑误报。
成绩成绩成绩成绩
(基于检测率和误报率基础上)
产品产品产品产品
6666
� F-Secure
� 卡巴斯基
� Bitdefender
� Emsisoft
� BullGuard
� 奇虎360
� Fortinet
� Sophos
� Trend Micro
� AVIRA*
� 腾讯 *
� 金山*
� G DATA*
� McAfee*
� Panda*
� eScan*
� Vipre*
� AVG*
� ESET
� Avast
� AhnLab
� Symantec*
*:带星号的产品因误报被降级
获奖产品不光是归功于它的病毒检测率,也考虑了它们对我们建立的白名单库产生的误报
率。在本报告第7页,您可以看到测试产品的测试结果。
6 微软安全产品不再纳入成绩评测中,因其开盒即用型的产品检测功能已包含在操作系统中,因此不具竞
争性。
AV-Comparatives - 检测率测试 - 2013年9月 www.av-comparatives.org
- 10 -
版权及免责声明版权及免责声明版权及免责声明版权及免责声明
本报告的版权©2013 归 AV-Comparatives®所有。任何出版物对本测试结果的使用,无论是
全部或部分,都必须先得到 AV- Comparatives 管理部门明确的书面同意并允许。对使用本报告
提供的信息,可能会产生或导致的损害或损失,AV-Comparatives 和参与测试的人员,不承担
责任。我们竭尽一切可能,确保基本数据的正确性,但并不代表 AV-Comparatives 对测试结果
的正确性需要承担义务。对报告的正确性,完整性,或者在任何特定的时间,对报告提供的内
容是否适合特殊目的的需求,我们不做任何保证。对于在创建,生成或发表测试结果过程中,
所涉及到的任何人,对任何间接的,特殊的损害或利益损失,使用或不能使用该网站提供的服
务,测试文件或任何相关的数据引起的或与之相关的事宜,均不承担任何责任。AV -
Comparatives 是在奥地利注册的非盈利性组织。
关于 AVC 和测试方法的更多信息,请访问我们的网站。
AV-Comparatives e.V. (2013 年 10 月)