Analizando grandes volúmenes de datos a bajo costo

Sin lugar a dudas, obtener información valiosa de los logs que generan los diferentes servicios en una empresa es un reto que es necesario enfrentar. Seguramente la tarea de analizar toda esta gran cantidad de datos en muchos casos se vuelve tediosa y no muchos la quieren asumir.

Uno de los principales obstáculos pareciera ser el costo elevado de las herramientas que nos permiten hacer este tipo de análisis. Pero el día de hoy, durante una charla en la décima edición de ekoparty, el evento de seguridad que desde ESET y We Live Security hemos estado siguiendo estos últimos días, pudimos ver un caso de éxito en el uso de herramientas de código abierto para procesar, almacenar, visualizar y analizar todos estos datos y obtener información valiosa. La charla estuvo a cargo de Juan Berner y Hernán Costante de la empresa Mercado Libre.

El viejo paradigma del monitoreo de seguridad

Muchos de los aspectos que se deben enfrentar están relacionados con la forma en que se analiza esta información, por ejemplo, solamente analizar logs de seguridad cuando hay muchos más sistemas y dispositivos que nos arrojan información valiosa, seleccionar y filtrar las entradas y el almacenamiento en bases de datos relacionales, lo cual agrega una complejidad al momento de manipular los datos.

A estas características, se suma el hecho de que las soluciones comerciales son por lo general costosas y al ser cerradas, tanto en hardware como en software limitan las posibilidades únicamente a lo que el proveedor nos pueda dar. Además, se deben considerar otros costos adicionales relacionados con el licenciamiento, soporte y otros servicios profesionales.

Todas estas variantes hacen que esta tarea parezca bastante engorrosa, y limitada en recursos y opciones.

Las nuevas tecnologías ofrecen un nuevo paradigma

Con la aparición de nuevas tecnologías vemos cómo se abre el espectro de opciones para implementar sistemas de monitoreo eficientes, que nos permitan hacer seguimiento de grandes cantidades de logs y lo que no es menos importante, a unos costos mucho más atractivos para la contabilidad de la empresa.

Tal como quedó claro durante la charla, es necesario lograr la integración de una variedad de tecnologías en almacenamiento y recolección de información dada la diversidad de entradas y el alto volumen de datos que podemos llegar a manejar.

Sin ser exhaustivos con la presentación de esta tarde, hay una serie de etapas y tecnologías que fueron presentadas y que vale la pena considerar como punto de partida en la implementación de estos sistemas.

  • Centralizar los logs

La gran diversidad de sistemas que pueden convivir en una empresa hace necesario tener toda la información reunida para no perder información que pudiera estar correlacionada.

  • Distribuir los datos

Dado que estamos hablando de procesar una gran cantidad de información de diversas fuentes, es necesario distribuir las cargas de trabajo para que el sistema sea realmente ágil. En este caso Redis es una herramienta que nos puede ayudar.

  • Indexar los logs

Una vez se tiene la información reunida, es necesario organizarla para poder hacer nuestros análisis. Logstash es una herramienta muy interesante que ayuda en la administración de este tipo de datos, de hecho se convierte en la herramienta central de la solución presentada.

  • Almacenar los datos procesados

Garantizar la persistencia de los datos es fundamental para lograr realizar modelos más complejos, como por ejemplo aquellos de corte predictivo. En este punto Hadoop es la tecnología utilizada y que de hecho ha tenido un auge importante en este rubro.

  • Analizar y visualizar la información

Por más datos que tengamos almacenados y organizados, si no podemos interactuar con ellos para buscar información no logramos el objetivo. Para lograr esta interacción es necesario contar con una tecnología que nos permita hacer búsquedas eficientes, como por ejemplo Elasticsearch. Con la información organizada como necesitamos, podemos utilizar un framework como Kibana! para visualizarla en un cómodo dashboard.

Teniendo en cuenta los aspectos anteriores y las tecnologías mencionadas, u otras que se pudieran adaptar mejor a realidad de nuestra empresa, es posible obtener un sistema funcional para buscar información valiosa en los logs y no morir en el intento.

A partir de estos sistemas tenemos el punto de partida para pensar en agregar inteligencia al análisis, obtener información predictiva o en general obtener mucha más información relevante que ayude con los objetivos del negocio.

No se pierdan las próximas publicaciones, en las que seguiremos contándoles las novedades que trajo esta edición décimo aniversario de ekoparty -que desde We Live Security estamos cubriendo como media sponsors.

Créditos imagen: ©sari dennise/Flickr

Autor , ESET

Síguenos