Hadoop Chuwka: procesamiento de Logs de grandes sistemas en Hadoop

Dentro del ecosistema Hadoop Chuwka sirve para recolectar logs de grandes sistemas para su control, análisis y visualización.

El procesamiento de logs fue uno de las motivaciones originales de MapReduce. Por otro lado Hadoop MapReduce está más enfocado a trabajar con un pequeño número de ficheros muy grandes frente a los logs, que son ficheros incrementales generados en muchas máquinas. Chukwa subsana esa deficiencia en el ecosistema Hadoop.

El funcionamiento esquemático es este:

Chukwa tiene 4 componentes principales:

1.Agentes que corren en cada máquina en la que se generan los logs que se quieren transferir.

o Los agentes recolectan los logs desde la capa de aplicación usando Adaptadores.

o Un Agente puede tener varios adaptadores, cada uno realizando una tarea separada de recolectar logs.

2.Colectores que se encargan de recolectar los logs de varios agentes en un fichero Data Sink en HDFS (por defecto en hdfs:///chukwa/logs)

o El appending se realiza desde Chukwa y está preparado para procesar una gran cantidad de logs.

o Cada Sink File es un fichero Hadoop que contiene un grupo de claves-valor y marcadores para facilitar el acceso MApReduce.

o Los Data Sinks se renombran y mueven después de un umbral y los logs se escriben en el siguiente fichero Data Sink.

o Si el fichero acaba en ‘.chukwa’ aún está procesándose, cuando el colector cierra el fichero lo renombra a .done.

3.Jobs Map Reduce de Chukwa se encargan de procesar los ficheros .done. Pueden ser de dos tipos:

o Archive Jobs:

§ Se encarga de consolidar un conjunto grande de ficheros Data Sink en un número menor de ficheros que los contenidos agrupados de una forma más útil: Archive Files

§ En los Archive Files los duplicados de los Data Sink se eliminar

§ Técnicamente mueve todos los ficheros .done fuera del Sink y corre un job MapReduce para agruparlos. Los Chunks se almacenan en ficheros del tipo hdfs:///chukwa/archive/clustername/Datatype_<date>.arc

o Demux Jobs:

§ Permite procesar los datos qe van llegando en paralelo usando MapReduce. Por defecto se usa el parseador TsProcessor

4.HICC (Hadoop Infrastructure Care Center) que es un interfaces Web al estilo portal para mostrar los datos

Un esquema más detallado de funcionamiento:

Las ventajas de usar Chukwa para el procesamiento de logs son:

· A diferencia de otros sistemas, Chukwa tiene un modelo de metadatos ricos, lo que permite procesar juntos subconjunto de datos

· Chukwa puede recoger una gran variedad de métricas y recibir datos a través de varios protocolos de red, incluyendo syslog.

· Chukwa trabaja con HDFS y MapReduce para procesar sus datos y por lo tanto puede escalar fácilmente a miles de nodos en la recolección y análisis y también proporciona un marco familiar para el procesamiento de los datos recogidos.

· Los componentes de Chukwa son plugeables y puedesn personalizarse y mejorarse

· No crea grandes overheads en el cluster Hadoop

· Chukwa soporta la recuperación ante fallos, usando las copias locales de los archivos de registro, en las máquinas donde se generan.

Chukwa funciona en plataformas POSIX, y está testado extensivamente en plataformas Linux.

Chukwa requiere:

· Java 1.6 o superior

· Hadoop 0.20.205+

· HICC require HBase 0.90.4

BitacoraV5: Plataforma Gestión de la Seguridad empresarial

Bitacora V5 es una plataforma diseñada para:

· recoger información de los sistemas de la organización y de las fuentes de inteligencia externas

· para posteriormente correlarla y detectar así las amenazas que los sistemas no pueden detectar trabajando individualmente o para mostrar el nivel de cumplimiento normativo.

· Tras detectar las amenazas suministrar el soporte necesario para resolver las incidencias de seguridad que da respuesta a las crecientes necesidades de las organizaciones en materia de gestión de la seguridad y de cumplimiento normativo.

Bitacora ofrece:

· Interfaz única para la gestión de integral de la seguridad digital corporativa.

· Integración e interacción de varios sistemas en un núcleo común.

· Inclusión de información sobre cualquier tipo de amenaza externa como fraude, código malicioso, vulnerabilidades, auditoría de seguridad o reputación de marca, entre otras.

· Paquetes de cumplimiento normativo específicos para cumplir con normativas que afectan a las organizaciones.

· Análisis forense, monitorización y actuación remota sobre los puestos de trabajo y servidores.

· Presentación de la información de forma ágil, eficiente y operativa para facilitar su lectura e interpretación:

· Módulo de gestión de activos integrado con el resto de funcionalidades

· Consolas diferenciadas en función del perfil del usuario.

· Optimización del método de implantación, despliegue y configuración.

Soluciones

Bitacora ofrece estas soluciones:

Gestión de logs (SIM):

· Recolección de los logs de cualquier elemento de la red de la organización y almacenamiento integral y seguro.

· Participación eficaz en el establecimiento de una cadena de custodia de las evidencias digitales para su presentación en los procesos legales.

Gestión de eventos de seguridad (SEM)

· Procesado, extracción y correlación de toda la información necesaria de los eventos en tiempo real, por lo que es posible realizar acciones de notificación y gestión de incidencias de manera eficaz.

· Reducción del tiempo de resolución de incidentes, detección de incidentes que otros sistemas no pueden detectar individualmente y realización de análisis forenses antes de que la amenaza prospere.

Cumplimiento normativo

· Aproximación a las normativas que conciernen a las organizaciones (PCI-DSS, ISO 27001, SOX, LOPD, NERC CIP, Esquema Nacional de Seguridad, Ley de Conservación de Datos…) evitando las consecuencias derivadas del incumplimiento de las mismas.

Monitorización de activos

· Monitorización de la seguridad de todos los puestos de trabajo y servidores de la organización de manera centralizada, obteniendo información de forma periódica y bajo demanda y comprobando de manera rápida y sencilla las políticas de seguridad.

Acciones Correctivas

· Análisis de las amenazas y ataques y resolución rápida y eficaz de los incidentes de seguridad mediante la actuación sobre los dispositivos.

Ciberinteligencia

· Detección y gestión de las nuevas amenazas y vulnerabilidades para dar una respuesta actualizada y dinámica frente a los riesgos a los que está expuesta la organización.

· Información sobre los riesgos a los que está expuesta su organización, tanto técnicas (phishing, troyanos, código malicioso, vulnerabilidades, etc.), como las intangibles (reputación, imagen de marca, etc.).

A continuación se puede ver cómo encajan las soluciones de BitacoraV5 en las necesidades de una empresa:

Leer más

Firmando con iText

iText es una librería open soruce que permite crear y manipular archivos PDF.

iText está disponible para Java y .Net.

iText permite generar PDFs, añadir bookmarks, concatenar, rellenar formularios y añadir firmas digitales a un documento PDF de forma programática:

iText es usado en muchos productos como JasperReports.

En este caso lo que nos interesa es ver el soporte que da iText para firmar PDFs:

iText soporta firmar usando estos modos:

· Self signed (Adobe.PPKLite)

· VeriSign plug-in (VeriSign.PPKVS)

· Windows Certificate Security (Adobe.PPKMS)

Firmar un PDF es tan sencillo como:

iText también permite:

· Certificar

· hacer múltiples firmas sobre un documento

· firmar con una hash externa

Podéis ver todas las posibilidades de firma con iText aquí.