Esta es la declaración conjunta hecha por un número de investigadores anti-malware de diversas empresas de seguridad miembros de AMTSO, que ha sido publicada más o menos simultáneamente en los sitios de varios proveedores, y es traducida del blog de ESET en inglés.

AMTSO (Anti-Malware Testing Standards Organization) es una coalición de profesionales de la seguridad, que incluye varios proveedores de software antivirus, organizaciones de evaluación de productos, editores y otros individuos interesados.

Por el carácter eminentemente técnico de sus actividades, es inevitable que la organización otorgue algo de su autoridad a la experiencia de los especialistas en seguridad dentro de sus filas, pero eso no significa que sea un grupo de lobby de los proveedores. Como señala aquí Kurt Wismer (no es miembro), "muchos de los integrantes son empleados de los proveedores, precisamente porque ese es uno de los lugares principales donde uno con experiencia en este campo puede encontrar empleo". Dadas algunas negativas recientes de publicitar las actividades de AMTSO, es que deseamos aclarar colectivamente los siguientes puntos en nombre de la industria anti-malware en la que trabajamos, e indirectamente en nombre de AMTSO.

Nos resulta extraño que la experiencia en el campo de las evaluaciones sea visto de alguna manera como una descalificación, dados los conocimientos especializados que caracterizan al grupo.

Mientras algunos desconfían de todo lo que dice un proveedor y aceptan sin críticas cualquier cosa por parte de un tester, otros quedan perplejos de que diferentes pruebas puedan variar de manera tan dramática en su evaluación de un mismo producto. Aunque esto a veces puede ser simplemente por la práctica de pruebas pobres, hay otros motivos, uno de ellos la gran cantidad de malware y los nuevos ataques visto todos los días. Los proveedores trabajan duro para cerrar la brecha entre la detección ideal del 100% y lo que es realmente alcanzable, mediante el desarrollo de una gama de tecnologías, tanto reactivas como proactivas. Las bondades de los productos pueden cambiar, mientras que las pruebas utilizando una metodología similar, pueden generar "conflicto" con los resultados debido a los diferentes enfoques en la selección, clasificación y validación de las muestras o las direcciones URL, entre otros factores.

AMTSO tiene como objetivo promover precisamente el tipo de pruebas que muestran claramente a estas variaciones, y sus miembros han ondeado la bandera de pruebas para el mundo real antes de que AMTSO existiera oficialmente, creyendo que estas pruebas beneficiarán a proveedores y clientes, así como también a los propios evaluadores. Como industria, somos muy conscientes de que no es posible actualmente ofrecer detección para todos los programas maliciosos conocidos y desconocidos. Calificaciones relativamente altas alcanzadas en las evaluaciones por los principales proveedores no reflejan necesariamente el rendimiento real, pero la detección en el mundo real no se puede medir en términos de comparación de productos sin los controles de selección, clasificación y validación de las muestras y direcciones URL maliciosas.

Otra idea falsa es que a los miembros AMTSO no les gustan las pruebas realizadas por personas ajenas a AMTSO. Este no es el caso: ninguno de los firmantes tienen ningún problema con laboratorios que tienen la intención de proporcionar pruebas objetivas y del mundo real (a pesar de que otros evaluadores tienen derecho a oponerse con vehemencia cuando una compañía dice ser la única que hace pruebas en vivo y conectadas a Internet, y que el resto que están haciendo ensayos estáticos sobre la base de la WildList).

Por otro lado, el pago de honorarios de consultoría para la liberación de cualquier información relativa a una prueba (incluso para los participantes) es muy diferente a la transparencia que AMTSO defiende, aunque reconocemos que los evaluadores a tiempo completo deben generar ingresos como cualquier otro negocio. Sin embargo, cuando un evaluador afirma haber compartido información sobre la metodología utilizada, y posteriormente falla en proporcionar dichos datos sobre la metodología o muestras, incluso los proveedores dispuestos a pagar los honorarios de consultoría necesarios para obtener dicha información, esto sugiere que el tester no está preparado para exponer su metodología de control y validación de información, ya que compromete sus aspiraciones de ser tomado seriamente como una organización de evaluación en la misma liga que las organizaciones comprometidas a trabajar con AMTSO.

Nadie cree que AMTSO tiene todas las respuestas y que puede "arreglar" las evaluaciones por sí mismo, sino que ha compilado y generado recursos que han hecho de la práctica de testing lo mejor y más comprensible que sea posible. El camino para los evaluadores (y otros) para mejorar estos recursos es hablar y trabajar con AMTSO en un espíritu de cooperación: la necesidad de transparencia no va a desaparecer.

Roel Schouwenberg, Kaspersky Lab
Andrew Lee, K7 Computing Private Ltd
Luis Corrons, Panda Security
David Harley, ESET
Mark Kennedy, Symantec Corporation
Igor Muttik, McAfee