Результаты теста проактивной антивирусной защиты - Мои статьи - Каталог статей

На проактивных методах антивирусной защиты, которые позволяют антивирусу противостоять еще неизвестным видам и модификациям вредоносных программ, продолжают фокусироваться серьезные усилия всей антивирусной индустрии. Данное направление развития является наиболее перспективным на рынке, и почти каждый производитель пытается подчеркнуть, что именно его проактивная защита лучшая.

Сразу оговоримся, что проактивные технологии – довольно обширное понятие, включающее в себя множество направлений и составляющих, охватить их все в рамках одного теста не представляется возможным. В этом тесте мы будем сравнивать только эвристические компоненты антивирусной защиты (эвристики + generic-детект, т.е. расширенные сигнатуры), не принимая во внимание анализ системных событий (поведенческие блокираторы, HIPS).

Результаты этого теста дают возможность ответить на вопросы: "Насколько эффективна эвристика? В каком антивирусе этот компонент защиты работает лучше?"

В качестве приложения к тесту производилось финальное измерение уровня детектирования на собранной коллекции на обновленных антивирусах через неделю после завершения основного теста. В результате фиксировалось качество обнаружения новых вирусов, а также эффективность работы классических сигнатурных методов каждого антивируса в дополнение к эвристике.

Gold Proactive Protection Award Скачать изображение GIF (500х500px)	Kaspersky Anti-Virus 2009 (61% - 0.01%) Eset Nod32 Anti-Virus 3.0 (61% - 0.02%) BitDefender Antivirus 2009 (60% - 0.04%)
Silver Proactive Protection Award Скачать изображение GIF (500х500px)	Avira AntiVir Premium 8.2 (71% - 0.13%) Dr.Web 5.0 (61% - 0.2%) AVG Anti-Virus 8.0 (58% - 0.02%) Avast! Professional Edition 4.8 (53% - 0.03%) Norton Anti-Virus 2009 (52% - 0%) VBA32 Antivirus 3.12 (45% - 0.07%) F-Secure Anti-Virus 2009 (44% - 0.03%)
Bronze Proactive Protection Award Скачать изображение GIF (500х500px)	Panda Antivirus 2009 (38% - 0.02%) Trend Micro Internet Security 2009 (37% - 0.04%) Agnitum Outpost Anti-Virus Pro 2009 (33% - 0.07%)
Тест провален	Sophos Anti-Virus 7.0 (61% - 2.24%)

Введение

В тестировании эффективности проактивной антивирусной защиты принимали участие 14 наиболее популярных антивирусных программ, среди которых:

Agnitum Outpost Antivirus Pro 2009
Avast! Professional Edition 4.8
AVG Anti-Virus 8.0
Avira AntiVir Premium 8.2
BitDefender Antivirus 2009
Dr.Web 5.0
Eset Nod32 Anti-Virus 3.0
F-Secure Anti-Virus 2009
Kaspersky Anti-Virus 2009
Panda Antivirus 2009
Sophos Anti-Virus 7.6
Symantec Anti-Virus 2009
Trend Micro Internet Security 2009
VBA32 Antivirus 3.12

Тест антивирусов проводился под операционной системой Windows XP SP3 в период с 3 декабря 2008 года по 18 января 2009 года четко в соответствии с определенной методологией, по которой создавались специальные условия для проверки эффективности работы эвристиков (для этого у всех антивирусов отключалась функция обновления, т.е. происходило замораживание антивирусных баз данных на дату начала теста).

Для проведения теста в время заморозки антивирусных баз была собрана коллекция из 5166 уникальных самплов новейших вредоносных программ и коллекция из 15121 чистого файла.

Измерение эффективности проактивной антивирусной защиты

На рисунке 1 и в таблице 1 представлены результаты обнаружения неизвестных вредоносных программ различными антивирусами и их уровень ложных срабатываний, как обратная сторона любой проактивной технологии.

Рисунок 1: Результаты теста эффективности эвристиков

Таблица 1: Результаты теста эффективности эвристиков

Важно! В отличие от предыдущего теста мы изменили систему итоговой оценки результатов, установив пороги максимального уровня ложных срабатываний для каждой награды. Таким образом, для получения высоких наград стало необходимо не только показать высокий уровень детектирования, но и минимальный уровень ложных срабатываний.

Абсолютным лидером по эффективности эвристического компонента защиты является Avira AntiVir Premium, чей уровень детектирования неизвестных вредоносных программ оказался очень высоким – 71%. Однако повышенный уровень ложных срабатываний позволил этому продукты получить только лишь награду Silver Proactive Protection Award.

Такая же участь постигла антивирус DrWeb, чья новая версия 5.0 показала очень высокий результат детектирования в 61% ровно, но повышенный уровень ложных срабатываний позволил ему получить только награду Silver Proactive Protection Award.

Главный разочарованием теста стал Sophos Anti-Virus, показавший впечатляющий уровень проактивного детектирования более 61% ценой чудовищного количества ложных срабатываний 2.24%. Увы, но такой результат перечеркивает все шансы этого антивируса не только на золото, но и вообще на какую-либо награду.

Лучшие результаты по балансу проактивного детектирования и ложных срабатываний показала тройка Kaspersky Anti-Virus, Eset Nod32 Anti-Virus и BitDefender Antivirus. Их результаты оказались проактически идентичны - уровень эвристического детектирования 60% и уровень ложных срабатываний 0.01-0.04%. Согласно используемой схеме награждения эти антивирусы получили награду Gold Proactive Protection Award.

Высокую эффективность эвристического компонента защиты показала большая группа антивирусов, получившая награду Silver Proactive Protection Award. В нее помимо уже перечисленных выше продуктов вошли AVG Anti-Virus, Avast! Professional Edition, Norton Anti-Virus, VBA32 Antivirus и F-Secure Anti-Virus. Нужно отметить, что Norton Anti-Virus оказался единственным из тестируемых антивирусов показавшим нулевой уровень ложных срабатываний!

Еще 3 продукта: Panda Antivirus, Trend Micro Internet Security и Agnitum Outpost Anti-Virus Pro, показали удовлетворительный результат и получили награду Bronze Proactive Protection Award.

Итоговые результаты тестирования и награды

Изменение эффективности эвристики в ходе теста

Так как в соответствии с методологией в тесте использовалась месячная коллекция новых вредоносных программ (собранная с 18 декабря 2008 года по 18 января 2009 года), стало возможным проверить, как изменяется эффективность работы различных эвристиков во времени. Для этого коллекция была разбита по времени поступления образцов на 4 равные части, по неделе на каждую.

Таким образом, на рисунке 2 и в таблице 2 представлены данные по эффективности работы эвристиков на недельных коллекциях.

Рисунок 2: Результаты теста эффективности эвристиков (разбивка по неделям)

Как видно из таблицы 2, практически у всех антивирусов резко падает эффективность уже на 2-й и 3-й недельной коллекции. Исключение здесь составляют разве что аутсайдеры теста, у которых уровень обнаружения всегда одинаково низок.

В качестве приложения к тесту производилось финальное измерение уровня детектирования на собранной коллекции на обновленных антивирусах через неделю после завершения основного теста (25 января 2009). В результате фиксировалась эффективность работы классических сигнатурных методов каждого антивируса в дополнение к эвристике. Это позволило увидеть, какую роль в обеспечении общего уровня детектирования антивирусов играет той или иной компонент (см. рисунок 3).

Рисунок 3: Влияние различных компонент антивирусной защиты на общий уровень обнаружения вредоносных программ

Диагональная линия на рисунке 3 означает уровень 100% детектирования новых вредоносных программ. Приблизиться к нему можно при помощи эффективной работы различных компонент антивирусных защиты или их сбалансированной работы.

Антивирусы, попавшие в темно-оранжевую (80-100%) и светло-оранжевую (60-80%) зоны, показали отличный и хороший уровень обнаружения новых вирусов (возрастом от 1 до 5 недель, см. методологию).

Большинство из них: Avira Antivir Premium, Sophos Anti-Virus, Dr.Web, Kaspersky, Eset Nod32, BitDefender Antivirus, AVG Anti-Virus, Avast Professional Edition и Norton Anti-Virus - сделали это в основном за счет вклада проактивного компонента.

Антивирусы F-Secure Anti-Virus и Panda Antivirus добились того же в основном за счет сигнатурного компонента.

Самым сбалансированным в этом отношении оказался антивирус VBA32 Anti-Virus, в котором оба компонента отработали одинаково эффективно (попали в левый нижний квадрат на рисунке 3, а общий уровень обнаружения вредоносных программ оказался отличным).

Слабыми по общему обнаружению новых вредоносных программ оказались Trend Micro Internet Security и Agnitum Outpost Anti-Virus Pro, которые оказались совершенно неэффективными против новых угроз.

Таблица 3: Качество обнаружения новых вирусов

Рисунок 4: Качество обнаружения новых вирусов, вклад различных компонентов

Как и годом ранее лучшими по обнаружению новых вредоносных программ оказались Kaspersky Anti-Virus (99.7%), F-Secure Anti-Virus (99.6%), Avira AntiVir Premium (98%), BitDefender Antivirus (97.8%), AVG Anti-Virus (96.6%) и Avast Professional Edition (95.1%).

Анализ изменений в сравнении с предыдущими тестами

Мы решили проанализировать результаты всех наших тестов на эффективность проактивной антивирусной защиты за 2007-2009 годы. Для этого к результатам этого теста были добавлены результаты декабрьского теста за 2007 год.

Рисунок 5: Динамика изменения эффективность эвристиков

Как видно на рисунке 5 эффективность эвристических компонентов в большинстве антивирусов заметно улучшилась. Многие вендоры сделали существенные шаги по улучшению и смогли добиться очень высоких результатов. По сравнению с прошлым годом сегодня мы имеем целую плеяду вендоров с развитыми эвристическими технологиями, а это значит, что качество защиты пользователей в целом должно заметно улучшиться.

Рисунок 6: Динамика изменения качества обнаружения новых вирусов (общий детект)

Что касается общего уровня детектирования новых вредоносных программ, то здесь ситуация более стабильная. Хотя многие вендоры стараются улучшать свои показатели, состав лидеров остается неизменным.

Это связано в первую очередь с тем, что для улучшения этого показателя недостаточно лишь одной технологии, что демонстрирует относительный провал некоторые лидеров по эвристическому детект. Нужна также высокая скорость реакции вирусных лабораторий, а это пока удается очень не многим.