Pila ELK (I): Introducción

Introducción de la conocida pila ELK (ElasticSearch, Logstash, Kibana), utilizada para facilitar las tareas ingesta, procesamiento y muestra de datos.

Las tres partes de la pila ELK son las siguientes:

• ElasticSearch: Motor de búsqueda y análisis con el que se puede interaccionar vía API, capaz de indexar información fácilmente. Está concebido para almacenar los datos de forma escalable.
• Logstash: Se centra principalmente en la ingestión y el procesamiento de datos. Es definido por sus desarrolladores como un “canal abierto de procesamiento de datos de lado del servidor que ingiere datos de una multitud de fuentes simultáneamente, las transforma y luego las envía” a otra tecnología.
• Kibana: Motor de visualización que se construye sobre una instancia de Elasticsearch y que permite al usuario navegar por la información recopilada

Logstash - How to install

 $ wget https://artifacts.elastic.co/downloads/logstash/logstash-5.0.1.tar.gz  
$ tar -zxvf logstash-5.0.1.tar.gz

A continuación simplemente vamos a la carpeta bin y ahí podemos lanzar el ejecutable con el comando –help para ver las distintas opciones de la siguiente manera:

$ ./logstash --help  

Donde veremos todas las opciones que se pueden utilizar. (Para que este post sea más legible en el siguiente enlace oficial se pueden ver todas las opciones descritas.)

Ejemplo sencillo, en el que se muestra en la salida estándar lo introducido por la entrada estándar:

$ ./logstash -e 'input { stdin { } } output { stdout {} }'

ElasticSearch - How to install

$ wget artifacts.elastic.co/downloads/elasticsearch/elasticsearch-5.0.1.tar.gz  
$ tar -zxvf elasticsearch-5.0.1.tar.gz

A continuación simplemente vamos a la carpeta bin y ahí podemos lanzar el ejecutable y se iniciará en el puerto 9200.

$ ./elasticsearch

Kibana - How to install

$ wget artifacts.elastic.co/downloads/kibana/kibana-5.0.1-linux-x86_64.tar.gz  
$ tar -zxvf kibana-5.0.1-linux-x86_64.tar.gz

A continuación simplemente vamos a la carpeta bin y ahí podemos lanzar el ejecutable y se iniciará en el puerto 5601.

$ ./kibana

Y hasta aquí la primera parte de esta serie, en la siguiente entrada se mostrará la configuración para monitorizar una serie de Keywords en Twitter mediante la pila ELK.

Saludos