Evaluaciones de producto: el marketing y la estrategia de miedo, incertidumbre y duda

Evaluaciones de producto: el marketing y la estrategia de miedo, incertidumbre y duda

Hay marketing aceptable y ético, y también otro que sobredimensiona las cosas para, en algunos casos, engañar a los interesados en resultados de evaluaciones de producto.

Hay marketing aceptable y ético, y también otro que sobredimensiona las cosas para, en algunos casos, engañar a los interesados en resultados de evaluaciones de producto.

A principios de 2017, Kevin Townsend me invitó a comentar, junto a otras personas, sobre la cómo la necesidad de comercializar productos de seguridad sobredimensiona las cosas (en general, no con referencia a ningún proveedor en particular). Puedes encontrar el artículo que eventualmente escribió para Security Week, incluyendo algunos comentarios míos, aquí: Fighting Cyber ​​Security FUD and Hype.

Incluyó un par de citas de Ian Levy, Director Técnico del Centro Nacional de Seguridad Cibernética del Reino Unido (NCSC), acusando a la industria de la seguridad de (en palabras de Kevin) “sobredimensionar la amenaza cibernética para vender productos de bajo rendimiento”. Ciertamente, no te desaconsejaría leer el artículo, en el que una amplia gama de personas relacionadas al marketing de fabricantes expresan sus opiniones.

Sin embargo, ya que no utilizó todos mis comentarios (es un mal hábito mío proporcionar a los periodistas más palabras de las que realmente necesitan) y ya que es un tema sobre el que he estado pensando y escribiendo durante años, pensé en ampliar aquí mi comentario original. Dado que este es el blog de un fabricante, te perdonaré si eres escéptico respecto a mi capacidad para ser imparcial.

Aún así, una de las razones por las que he trabajado con ESET durante tanto tiempo es que la compañía es escrupulosa en permitir que los investigadores se mantengan al margen de la comercialización, por lo que normalmente no hablo de productos específicos (de ESET ni de nadie). Aunque eso no significa que no entiendo la necesidad de la comercialización.

Una ratonera mejor

Voy a citarme a mí mismo (en realidad, a mí y a mi excolega Randy Abrams), en un documento escrito para una conferencia de AVAR hace unos años sobre, entre otras cosas, la conducta ética y profesional al escribir sobre seguridad:

¿Cuáles son las piedras angulares del éxito en la industria antimalware? Tecnología de avanzada, por supuesto. Marketing sano, también: un buen producto es de poco uso si nadie sabe lo suficiente para salir a comprarlo. Hay otros factores también: el servicio de post-venta y de soporte, por ejemplo, influyen en el despliegue, el mantenimiento y la eficacia de un producto o servicio.

Dicen que si construyes una ratonera mejor que la de tu vecino, aunque vivas en el bosque, el mundo abrirá un sendero hasta tu puerta. O algo así. El problema es que el mundo de la seguridad está lleno de productos que tienen sus propios méritos –bueno, hay algunos que no tienen ningún mérito en absoluto, pero no voy a dar nombres– pero el consumidor medio no está en una posición para evaluar los méritos y deméritos comparativos.

Tampoco lo están, para ser honesto, algunos evaluadores, pero otros han hecho un gran esfuerzo para elevar el nivel de las pruebas (dramáticamente, en algunos casos). Creo que AMTSO merece el crédito para facilitar ese aumento en los estándares. (Volveré al tema de las pruebas pronto).

Sin embargo, hay marketing aceptable, ético, y luego hay sobredimensión o hype.

Kevin Townsend sugirió (y no estoy en desacuerdo) que hay dos variedades principales de hype creado por fabricantes:

  • Somos lo mejor que salió desde el pan rebanado y resolveremos todos tus problemas
  • Nuestros competidores son totalmente inútiles

La ratonera 100%

Si estás familiarizado con mi escritura, no te sorprenderá saber que considero a la comercialización basada en la promesa de una protección al 100% como no solo éticamente sospechosa (y generalmente técnicamente indefendible) sino activamente peligrosa. Es una idea atractiva la esperanza de que una vez que compres un producto determinado todos tus problemas de seguridad habrán terminado. Pero no es el mundo en que vivimos.

Cierta porción de marketing –bueno, un montón– del sector de la seguridad toma la posición de que todo lo que tienes que hacer es comprar X, y entonces nunca tienes que tomar ninguna responsabilidad por tu propia seguridad. Tales afirmaciones no se basan necesariamente en un engaño deliberado.

A menudo, se basan en la falta de conocimientos técnicos por parte de las personas con una agenda de marketing. Y a menudo no lo son: en combinación con el enfoque de “desprestigiar a la competencia” tan amado por las startups en el sector de la seguridad, las verdades a medias y los conceptos erróneos son a menudo iniciados y difundidos por personas que claramente saben lo suficiente.

Lenguaje emotivo

Para abordar otro punto que Kevin planteó, no hay duda de que el lenguaje emotivo relacionado con la guerra y/o la epidemiología ha sido durante mucho tiempo un elemento básico del marketing relacionado con la seguridad (¡y el periodismo!). No puedo decir que me guste –gran parte de mi carrera en seguridad se ha dedicado a amortiguar incendios sobredimensionados y a abogar por menos drama y más precisión– pero estoy más preocupado por el mal uso del lenguaje en formas que son realmente engañosas y no un simple descuido.

Me molesta (muy desproporcionadamente) cuando un sistema se describe como “infectado” cuando “comprometido [por alguna forma de troyano]” sería más preciso, o cuando las personas usan “virus” como sinónimo de “malware”. Esto puede parecer pedante –bueno, lo es– pero también me irrita porque el uso de las palabras ‘virus’ e ‘infectar’ puede ser usado para configurar al lector para que espere el equivalente cibernético del Ébola, mientras que mucho malware está más cerca de ser un resfriado común.

También considero que es francamente engañoso cuando la gente evade la distinción entre “ataques exitosos” y “intentos de ataques”, porque decir “diez millones de sistemas atacados” es más dramático y vendedor que añadir que “el 0,001% de los ataques fueron realmente exitosos”…

Esto no significa que subestime el posible impacto que algunos ataques, tales como fraudes de ransomware o de phishing, pueden tener en individuos u organizaciones. Después de los ataques de WannaCryptor (o WannaCry), nadie debe dudar del potencial que tiene el ransomware para causar daño. Y sí, creo que un buen producto de seguridad correctamente configurado es una buena inversión cuando se trata de proteger tus datos, pero es igualmente importante mantener copias de seguridad offline con una periodicidad frecuente, para que, si el malware logra evadir el software de seguridad, sea menos probable que se produzca un desastre.

Pruebas y evaluación

Pero hablemos de las pruebas, ya que es un tema muy importante en mi mente en este momento, debido a un paper para una conferencia en el que he estado trabajando durante varias semanas. (Más sobre eso en otra ocasión…).

Mientras que los resultados de las pruebas se encuentran entre las herramientas que los departamentos de marketing utilizan a su favor, no son la caja de herramientas completa. Los resultados de las pruebas son un empuje, y es probable que más personas obtengan su información a través de los comunicados de prensa de los proveedores (directa o indirectamente) que a través de un probador independiente.

Probablemente, cualquier investigador de seguridad ha visto casos en los que la selección de citas textuales y el parafraseo hizo que el contenido del informe de prueba suene mucho más favorable para un determinado producto que lo que realmente indican las estadísticas de prueba.

Cuando se prueba una gama de productos de capacidades ampliamente similares, los evaluadores ya se enfrentan a la cuestión de basar un informe sobre la ampliación de las diferencias menores. Por otro lado, estamos viendo un cambio continuo desde grandes conjuntos de muestras a conjuntos mucho más pequeños, que –siempre y cuando las muestras sean correctamente seleccionadas, validadas y ponderadas– no es algo malo.

Sin embargo, también estamos viendo un resurgimiento de la mala vieja idea de que las pruebas son tan fáciles que cualquiera puede hacerlas, con guías y muestras de los vendedores o sus asociados…

Prueba antes de comprar

Una idea que aparece varias veces en el artículo de Kevin explora la necesidad de “probar antes de comprar”. Inevitablemente, ya que gran parte del mercado está formado por productos cuyo desempeño de detección puede no ser muy diferente al de sus competidores, mientras que los resultados de las pruebas de detección son un componente importante de las estrategias de mercadeo, otros problemas de desempeño pueden ser tan importantes o incluso más importantes.

El problema con este enfoque es que solo se llega a experimentar el producto en un rango limitado de situaciones, y cuanto menos sepas sobre la amenaza y la tecnología de defensa, menos obtendrás de un período de prueba. Si bien es perfectamente razonable tratar de beneficiarse de la experiencia de otros en los foros y a través de la discusión personal, tu experiencia indirecta se filtra a través de la experiencia y el conocimiento de un tercero, y sus necesidades pueden ser muy diferentes a las tuyas.

Hay un motivo para que existan las versiones de evaluación/trial, por supuesto. Por ejemplo, un probador independiente puede, de forma perfectamente razonable, otorgar estrellas o una clasificación de mejor categoría a un producto que se desempeñe de manera destacada en sus pruebas, pero entonces podría encontrar que es totalmente incompatible con uno de sus sistemas internos o un producto de terceros que es vital para sus procesos de negocio. No creo que esto sea una ocurrencia común, pero podría suceder, porque ningún probador puede garantizar que un producto que probará funcionará perfectamente en cada ambiente.

Cuando se trata de pruebas de detección, sin embargo, la precisión de su evaluación depende de (entre otras cosas) la validez de su conjunto de pruebas. El valor real de la prueba se determina (entre otras cosas) por factores tan complejos e interrelacionados como la selección y validación de muestras, la ponderación/puntuación, la configuración apropiada y así sucesivamente. Mantener esos equipos de malabares en el aire requiere habilidad, conocimiento y recursos. Si compras en el modelo de “hacer pruebas es tan fácil, puede hacerlo usted mismo”, empujado fuertemente por ciertas compañías de seguridad a lo largo de los años, tendrás menos control de la metodología que ellos.

Si simplemente confías sin crítica en un conjunto de muestras de fuentes desconocidas (especialmente si esas fuentes podrían ser un proveedor cuyo producto está bajo prueba), estás permitiendo que el proveedor de las muestras controle la prueba. ¿Y si sabes que la fuente de las muestras para la prueba es un proveedor cuyo producto se está evaluando? Bueno, simplemente no entiendo por qué harías eso.

  • El proveedor no puede darte muestras que no tiene.
  • Es improbable que el proveedor te dé muestras de sus productos que no detectan.
  • El proveedor se verá tentado a darte muestras que sabe que otros vendedores no detectarán.

De hecho, algunos evaluadores profesionales han sido conocidos por solicitar muestras a los vendedores y animarles a ofrecer muestras que otros vendedores probablemente no tienen. Y puedo ver algún punto en eso, aunque no es un punto que funcione para la ventaja de la audiencia del evaluador. Puede ocurrir con un conjunto de muestras razonablemente bien ponderado y seleccionado que una selección de productos razonablemente competentes registrará el mismo número de detecciones (puede y sucede).

Así que un examinador (o revisor, no siempre la misma persona) puede sentirse obligado a exagerar pequeñas diferencias en las tasas de detección con el fin de obtener una clasificación de detección más dramática para la elección del editor.

Pero ¿por qué otras compañías no tienen las mismas muestras? Bueno, he aquí algunas posibles razones (hipotéticas):

  • A diferencia de la mayoría de los fabricantes principales, el fabricante no comparte muestras con otras empresas. Las compañías de AV establecidas han tendido a priorizar el bien de la comunidad en lugar de la ventaja competitiva, compartiendo muestras. Tal vez no siempre todas, y tal vez no siempre de inmediato.
  • La muestra no era lo suficientemente grande como para representar una amenaza en el mundo real.
  • La muestra se generó específicamente para ofrecer a los probadores y clientes potenciales con la esperanza y la expectativa de que solo el producto del donante lo detectaría. Hubo un caso reciente en el que se encontró que un alto porcentaje de muestras no contenía código malicioso. Si bien se afirma que esto ha sido un efecto secundario de un proceso destinado a generar “nuevas” muestras de malware preexistente en lugar de un engaño deliberado, demuestra cuán engañosos pueden ser los resultados cuando las muestras utilizadas para las pruebas y la evaluación no se validan correctamente antes de usar.

Discusión