08 août 2008,

Suite aux récentes annonces dans la presse et aux nombreuses questions adressées à nos partenaires concernant notre décision de ne plus faire partie des comparatifs de produits antivirus menés par Virus Bulletin, nous avons jugé utile d’exprimer ici notre position officielle.

Virus Bulletin est l’un des titres les plus respectés dans le domaine de la prévention, détection, suppression de malwares et de spam rassemblant virtuellement tous les développeurs d’antivirus. Les conférences annuelles sur les antivirus organisées par le magazine restent des événements uniques et jouent un rôle unique en matière de communication et d’échanges entre les éditeurs antivirus, dans un domaine où la concurrence commerciale cède la place aux problèmes de recherches portant sur les voies d'évolution des malwares et sur les techniques de protection des utilisateurs à l’échelle mondiale.

Les comparatifs entre antivirus conduits par Virus Bulletin tous les deux mois sont presque devenus un rituel. Dr.Web est l’un des plus anciens participants à ces tests, étant présent depuis le deuxième test réalisé par la revue, en février 1998. La méthode de test s’est toujours distinguée par sa transparence, sa précision, son évaluation impartiale des produits de tous les éditeurs et une communication excellente avec les éditeurs.

Cependant, le développement de l’industrie ces dernières années a conduit de nombreux éditeurs à s’interroger sur les tests comparatifs. Malgré leur transparence et leur précision, les méthodes de test ont échoué à coller à l’évolution des malwares ainsi qu’à celle des produits antivirus. C’est pourquoi nous pensons que le prestigieux VB100% ne peut plus servir de référence en termes de qualité d’un antivirus et qu’il est même utilisé pour influencer l’opinion des utilisateurs.

Doctor Web voit les problèmes de ces tests comparatifs de cette façon :

1. Le test d’un antivirus par VB100% est basé sur un ensemble de virus « In-The-Wild » incluant uniquement des malwares capables de s’auto-répliquer ce qui limite considérablement le nombre de programmes malveillants pris en considération. Selon les estimations de Doctor Web, une telle collection compte seulement 10 % des malwares pouvant être contrés par les antivirus contemporains.
2. Le critère utilisé pour la formation de la collection In-the-Wild laisse hors du périmètre de test la majeure partie des programmes malveillants rencontrés de nos jours, les Trojans. Il en va de même à propos des rootkits, le problème de sécurité de l’information le plus aigü s’étant développé durant les 4-5 dernières années. Quelle que soit la capacité d’un antivirus à détecter les Chevaux de Troie et à éradiquer les rootkits, le VB100% ne lui sera attribué que pour sa seule capacité à détecter quelques milliers d'échantillons de la collection In-the-Wild. Malheureusement, le VB100% utilisé comme seule référence par les marketeurs et experts de l’industrie ne sera pas en mesure de montrer la réelle efficacité d’un antivirus contre les Trojans à un utilisateur.
3. L’antivirus Dr.Web, tout comme d’autres produits antivirus, est constamment amélioré pour s’adapter aux menaces contemporaines. Les éditeurs d’antivirus sont confrontés quotidiennement à de nouvelles technologies de création de virus qui les poussent à se surpasser en matière d’innovations. Et la mise à jour régulière d’une base de données virale n’est pas suffisante. Les tests de VB100% ne comparent pas les innovations techniques développées par les éditeurs pour contrer des malwares qui ne font jamais partie de la collection In-the-Wild.
4. Une routine de scan d’une collection de fichiers n’est pas en mesure de montrer la qualité d’un antivirus. Un malware tentant de contrôler un ordinateur lors d’une attaque, ou un ordinateur déjà infecté le feraient mieux. Ces dernières années, de nombreuses propositions ont vu le jour pour créer des conditions de tests d’antivirus plus difficile, et les évaluer d’après leur capacité à contrer une infection active. Un antivirus peut montrer des résultats exceptionnels lorsqu’il s’agit de détecter des échantillons d’une collection « In-the-Wild », mais l’utilisateur ne saura jamais s’il est aussi bon face à un malware en cours d’exécution dans la mémoire vive qui contrôle le système plutôt que d’être stocké dans le disque dur. Les tests ne comparent jamais les capacités de traitement des produits antivirus.

Doctor Web considère que les problèmes décrits ci-dessus ont un impact négatif sur la pertinence des tests comparatifs menés par Virus Bulletin au regard de la méthode de test retenue. Ces résultats ne permettent en aucun cas d’évaluer la qualité des produits testés, ni leur capacité à protéger les utilisateurs contre les menaces virales actuelles. La procédure appelée comparatif ne compare pas en réalité les nombreuses fonctionnalités dont sont dotés les antivirus actuels.

Dans ces conditions, la nomination VB100% prise par certains pour un standard de qualité du produit, ne témoigne en réalité que de la participation à un test qui n'a rien à voir avec l’estimation de fonctionnalités qui seraient vraiment pertinentes pour contrer les malwares actuels.

C’est pourquoi Doctor Web a pris la décision de suspendre sa participation à ces tests. Cependant, nous surveillons avec attention l'évolution des méthodes de test et choisirons d’y participer à nouveau dès lors que leur niveau sera jugé adéquat et conforme aux exigences actuelles et à venir en matière de sécurité informatique.