Результаты теста антивирусов на быстродействие (Anti-Malware, февраль 2010)

  Краткое содержание:

1. Введение
2. Влияние антивирусов на время загрузки операционной системы
3. Сравнение ресурсоемкости антивирусов
4. Сравнение скорости работы антивирусов в режиме реального времени
5. Сравнение скорости работы антивирусных сканеров по требованию
6. Сравнение скорости антивирусов при работе с офисными программами

  Основные результаты тестирования:

Введение

  В тестировании участвовали следующие антивирусные программы:

• Avast Antivirus Professional 4.8.1368
• AVG Anti-Virus & Anti-Spyware 9.0.716
• Avira Antivir Preminum 9.0.0.75
• BitDefender Anti-Virus 2010 (13.0.18.345)
• Dr.Web 5.01.1.11171
• Eset Nod32 4.0.4680
• F-Secure Anti-Virus 2010 (10.10 build 246) (СТРИМ.Антивирус)
• Kaspersky Anti-Virus 2010 (9.0.0.736 (a,b))
• McAfee VirusScan Plus 2010 (3.15.113)
• Microsoft Security Essentials 1.0.1611.0
• Norton Anti-Virus 2010 (17.1.0.19)
• Outpost Antivirus Pro 2009 (6.7.1.2983.450.0714)
• Panda Antivirus 2010 (9.01.00)
• Sophos Anti-Virus 9.0.0
• Trend Micro Antivirus plus Antispyware 2010 (17.50.1366)
• VBA32 WinNT Workstation 3.12.12.0

  Тест проводился на машине конфигурации Intel Core 2 Duo E6550 / 2.33 ГГц / MSI P35 Neo-F / 2048 MB / GeForce 8800 GTS 640MB / 80 GB (ST380013AS) под управлением ОС Microsoft Windows XP Pro Rus SP3 в период с 20 декабря 2009 по 5 января 2010 года. Подробное описание тестовой платформы, установленного ПО и все пошаговые сценарии тестирования смотрите в описании методологии.

  Для сохранения образов системы в состоянии до установки антивирусов и после установки каждого антивируса использовалась программа Acronis True Image, предоставленная Aflex Software, представителем компаний Acronis, Parallels и ASPLinux в России и СНГ.

  Для исключения ошибок все измерения в данном тесте проводились последовательно пять раз, с возвратом в первоначальное состояние после каждого измерения. Полученные результаты усреднялись за вычетом граничных значений (максимального и минимального). Подробное описание всех этапов тестирования представлено в методологии.

Влияние антивирусов на время загрузки операционной системы

  Использование на компьютере антивирусной программы, как правило, увеличивает время загрузки операционной системы. Это является нежелательным эффектом для пользователя. Поэтому чем меньше влияет антивирус на загрузку ОС, тем лучше. Результаты измерения этого параметра представлены в таблице 1, а также на рисунках 1 и 2.

  На рисунке 2 время загрузки операционной системы пересчитано в проценты относительно эталонной системы (до установки антивируса).

  Как видно из рисунков 1 и 2, установка антивирусов может существенным образом сказывается на скорости загрузки операционной системы. Самые лучшие по этому показателю - антивирусы Avira, Trend Micro, F-Secure (СТРИМ.Антивирус) и Norton. Эти продукты влияют на время загрузки операционной системы в пределах 10%. В то время как худшие по этому показателю, антивирусы Sophos и Panda, тормозят загрузку операционной системы на 60%.

  Если же говорить об абсолютных значениях, то задержки в загрузке операционной системы в случае большинства антивирусов совсем не большие – от 1 до 10 сек.

  В отличие от нашего прошлого теста, проведенного в августе 2008 года, мы не стали награждать лучшие антивирусы за минимальное влияние на скорость загрузки операционной системы. Это связано с тем, что этот показатель не столь критичен при оценке быстродействия антивируса, так как операционная система перезагружается среднестатистическим пользователем не так часто.

Сравнение ресурсоемкости антивирусов

  Понятно, что чем меньше оперативной памяти потребляет программное обеспечение и чем больше ее остается для других приложений, тем лучше. Использование антивирусами оперативной памяти в состоянии покоя может отличаться на десятки мегабайт, а использование системного кэша - на сотни мегабайт.

  Результаты измерений реально занимаемой антивирусами оперативной памяти и системного кэша в состоянии покоя представлены на рисунке 3.

  Как видно, минимальное количество оперативной памяти в состоянии покоя потребляют антивирусы BitDefender, Kaspersky, Panda и Outpost. В состоянии покоя им достаточно до 50 Мб оперативной памяти. Самое большое количество оперативной памяти в состоянии покоя потребляют антивирус Dr.Web, Norton и AVG.

  Стоит обратить внимание, что антивирусы Microsoft, Panda, ВирусБлокАда, Trend Micro, McAfee и Avast более активно, чем другие, используют системный кэш (System Cache). Подробные данные потребления оперативной памяти и ресурсов процессора приведены в подробном отчете о тестировании.

  Если же смотреть сразу и на оба параметра (потребление оперативной памяти и потребление системного кэша), то лучшими можно признать антивирусы Outpost и BitDefender.

Сравнение скорости работы антивирусов в режиме реального времени

  Для оценки быстродействия антивируса наибольшую важность имеет скорость работы антивирусного монитора (on-access сканера). Известно, что при запуске, создании, копировании или изменении файлов на жестком диске, они подвергаются проверке антивирусным монитором. Понятно, что «вмешательство» антивируса в файловые операции может заметно замедлять работу системы.

  В таблице 3 и на рисунках 4-5 представлено время копировании тестовой коллекции файлов на компьютере с различными антивирусами и задержки относительно системы без антивируса.

  Состав тестовой коллекции и процедура измерения времени копирования файлов описаны в методологии тестирования.

  На рисунке 5 время копирования тестовой коллекции файлов пересчитано в проценты замедления относительно 5 минут 27 секунд (время копирования той же коллекции на эталонной системе, до установки какого-либо антивируса).

  В соответствии с выработанной для теста схемой награждения, лучшие антивирусы по скорости работы антивирусного монитора удостоены специальных наград (см. таблицу 4).

  По итогам тестирования непревзойденной скоростью обладает антивирусный монитор Avast (замедление копирования тестовой коллекции менее чем на 15% по сравнению с эталоном). Результат этого антивируса заметно лучше остальных и он заслуженно получает награду Platinum Performance: Award On-Access Scanning.

  Большая группа из семи антивирусов, среди которых Avira, Norton, BitDefender, Sophos, AVG, Kaspersky и Panda, имеет высокие и близкие между собой результаты, укладывющиеся в диапазон 30-50%. Все эти антивирусы получают награду Gold Performance Award: On-Access Scanning.

  В этой "золотой группе" особенно хочется выделить антивирусы Avira, Norton, BitDefender и Kaspersky, которые в реальных условиях могут быть значительно быстрее за счет имеющейся у них оптимизации последующий проверок. Наличие этих технологий проверялось в следующей части теста.

  Также хорошую скорость проверки в режиме реального времени показали антивирусы F-Secure (СТРИМ.Антивирус), Trend Micro и Outpost, получившие награду Silver Performance Award: On-Access Scanning. Эти продукты замедлили копирование тестовой файловой коллекции на 62-63%. Антивирус Eset с результатом замедления 101% получил награду Bronze Performance Award: On-Access Scanning.

  В "серебряной группе" за счет наличия технологий оптимизации последующих проверок в реальных условиях могут быть значительно быстрее антивирусные мониторы F-Secure и Outpost. Так же намного быстрее на практике может быть скорость антивирусного монитора VirusBlokAda, который лишь в силу несовершенства схемы награждения не получил своей медали.

  Стоит отметить существенное улучшение и усреднение скоростей работы антивирусных мониторов в продуктах различных производителей. По сути, мы имеем сейчас одиннадцать различных антивирусов, скорости которых в режиме реально времени несильно отличаются между собой. Это все те продукты, которые получили награды от Silver Performance Award: On-Access Scanning и выше.

Сравнение скорости работы антивирусных сканеров по требованию

  По аналогии с тестированием антивирусных мониторов, описанным выше, измерялось также время, затраченное антивирусами на выполнение задачи сканирования по требованию пользователя файловой коллекции. В этом случае эталонное время отсутствовало, и антивирусы сравнивались только между собой.

  В таблице 5 и на рисунке 6 представлены измерения времени первого сканирования коллекции файлов тестируемыми антивирусами.

  Как видно из рисунка 6, скорость первого сканирования одной и той же коллекции файлов тем или иным антивирусом может отличаться в десятки раз. Время сканирования для лучших по этому показателю антивирусов составило от 1,5 до 5 минут, в то время как время худших превышает 10 минут.

  Чтобы определить, какие из антивирусов используют алгоритмы оптимизации сканирования (например, за счет пропуска ранее проверенных файлов) в качестве дополнения к тесту проводилось повторное сканирование тестовой коллекции файлов.

  В результате выяснилось, что у семи антивирусных продуктов существенно уменьшилось время сканирования - это антивирусы BitDefender, F-Secure, Kaspersky, Norton, Outpost и VirusBlokAda (см. рисунок 7). Это наглядно демонстрирует, что в реальной ситуации время сканирования файлов на компьютере с этими антивирусами может быть существенно меньше за счет используемой в них оптимизации.

  Для сравнения наш предыдущий подобный тест в августе 2008 года показал наличие оптимизации только у трех антивирусов - Антивируса Касперского, Outpost и VirusBlokAda. Поэтому наличие в настоящее время оптимизации уже в семи антивирусах свидетельствует о позитивном тренде на оптимизацию скорости и совершенствование технологий проверки в антивирусной индустрии в целом.

  Дополнительно было измерено среднее потребление оперативной памяти и ресурсов процессора во время запуска задачи сканирования по требованию. Эти данные приведены в подробном отчете о тестировании.

  В соответствии с выработанной для данного теста схемой награждения лучшие антивирусы по скорости работы антивирусного сканера удостоены специальных наград (см. таблицу 6).

  Стоит пояснить, что в отличие от прошлого теста в этот раз для выбора лучших мы учитывали не только скорость первого сканирования, но и наличие оптимизации при последующих итерациях.

  Высочайшую скорость сканирования показал антивирус Avira – единственный продукт, удостоенный награды Platinum Performance Award: On-Demand Scanning. В нем сочетаются изначально высокая скорость сканера и оптимизация при повторных проверках.

  Очень высокую скорость показали Антивирус Касперского, Norton, BitDefender, F-Secure (СТРИМ.Антивирус) и Outpost, которые получили награду Gold Performance Award: On-Demand Scanning. По скорости первого сканирования эти антивирусы лишь немного уступают лидеру. В тоже время все они имеют в своем арсенале мощные технологии оптимизиации повторных сканирований.

  Хорошую скорость показали также антивирусы Trend Micro, Avast, Sophos, AVG и Panda, получившие награду Silver Performance Award: On-Demand Scanning, а также McAfee, VirusBlokAda и Eset, получившие награду Bronze Performance Award: On-Demand Scanning.

  Несмотря на то, что антивирус VirusBlokAda имеет сильно отстающее от лидера время первого сканирование, наличие технологии существенной оптимизации скорости повторных сканирований позволяет ему согласно принятой схеме награждения получить бронзовую награду в этой части теста.

Сравнение скорости антивирусов при работе с офисными программами

  Еще одной важной характеристикой скорости работы антивируса является его влияние на работу прикладных программ, с которыми часто работает пользователь. В качестве таких программ мы выбрали пять: Internet Explorer, Microsoft Office Word, Microsoft Outlook, Adobe Acrobat Reader и Adobe Photoshop. Все эти программы широко используются, а некоторые из них являются довольно ресурсоемкими, поэтому влияние антивируса на их работу может быть довольно заметным.

  В соответствии с методологией теста было измерено время запуска каждой программы в системе с уставленными антивирусными продуктами, результаты в секундах приведены в таблице 7.

  Как видно из таблицы 7, время старта офисных приложений после установки антивируса во многих случаях увеличивается в десятки раз (1000% и более). На рисунках 8-12 представлены результаты замедления запуска офисных приложений относительно системы без антивируса.

  Для определения лучших антивирусов по скорости работы с офисными программами была использована десятибалльная система, в которой каждый антивирус получал определенный балл за влияние на запуск каждой указанной офисной программы. При этом за десять баллов принималось время запуска офисной программы в эталонной системе, а за ноль баллов – худший показанный в тесте результат. Таким образом, максимально возможный балл равен пятидесяти (нулевая задержка запуска всех пяти программ).

  Суммы баллов и полученные антивирусами награды за эту часть теста представлены в таблице 8. Полный расчет баллов и критерии присуждения наград можно посмотреть в подробном отчете о тестировании и описании схемы награждения.

  Высшую награду награды Platinum Performance Award: Office Software в этом разделе теста в этот раз не получает никто, так как ни одним антивирусов не был преодолен рубеж в 95% баллов.

  Незначительное замедление запуска офисных программ продемонстрировали антивирусы BitDefender, Avira, McAfee, Microsoft, Eset, Avast и AVG – они получили награду Gold Performance Award: Office Software.

  Хорошие результаты показали Dr.Web, VBA, Sophos и Outpost c Panda, получившие награды Silver Performance Award: Office Software и Bronze Performance Award: Office Software соответственно. Их влияние на запуск офисных программ не является серьезным.

  Необходимо отметить, что методология этой части теста не учитывает тот факт, что при наличии поведенческого анализа некоторым антивирусным продуктам требуется гораздо больше времени при первичном запуске программы. При этом последующие запуски могут во многих случаях уже происходить практически без задержки, так как дополнительный анализ приложения уже не требуется. Например, существенное ускорение может быть в антивирусе Касперского, Norton (технология Norton Insight) и Trend Micro (Smart Protection Network).

  Обращаем ваше внимание, что в этом отчете о результатах тестирования опущено много интересных цифр и деталей, которые могут представлять интерес для специалистов антивирусной отрасли. Ознакомиться с полным отчетом о тестировании можно по ссылке (.xls)