AIL Framework: Marco de Análisis de Fugas de Información

AIL es un Framework modular para analizar las posibles fugas de información de fuentes de datos no estructuradas, como las pastes de Pastebin o servicios similares, o de flujos de datos no estructurados. AIL framework es flexible y puede ampliarse para apoyar otras funcionalidades de extracción o procesamiento de información sensible (por ejemplo, la prevención de fugas de datos).

Características
Instalación
Notas de Instalación
Empezando con AIL
Capturas de Pantalla

Tabla de Contenido

Características
Instalación
Notas de Instalación
Empezando con AIL
Capturas de Pantalla

Características

Arquitectura modular que permite utilizar flujos de información estructurados y no estructurados.
Soporte por defecto para feeds externos de ZMQ (ZeroMQ), como los proporcionados por CIRCL u otros proveedores.
Soporte de feeds múltiples.
Cada módulo puede procesar y reprocesar la información que ya haya sido procesada por CIRCL AIL.
Detección y extracción de URLs incluyendo su ubicación geográfica (por ejemplo, geolocalización de la dirección IP).
Extracción y validación de potenciales fugas de información relacionados con números de tarjetas de crédito, credenciales, etc.
Extracción y validación de direcciones de correo electrónico filtradas, incluida la validación del registro MX de DNS.
Módulo para extraer direcciones .onion de Tor (para ser procesadas posteriormente para su análisis)
Mantiene un registro de las evidencias duplicadas, además de las diferencias existentes entre cada uno de los duplicados detectados)
Extracción y validación de hostnames, como feeds de datos pasivos de DNS.
Permite indexar información no estructurada mediante un módulo específico para ello.
Dispone de dashboards que recopilan estadísticas sobre los distintos módulos.
Gestor de módulos en tiempo real a través de una terminal.
Análisis de sentimiento global para cada proveedor basado en el módulo nltk vader.
Dispone de módulos que permiten buscar y extraer números de teléfono, credenciales, IBAN, entre otros datos.
Alertar al MISP para compartir las fugas encontradas dentro de una plataforma de inteligencia de amenazas usando el estándar del MISP.
Detecta, almacena y decodifica ficheros codificados (Base64, hexadecimal o su propio esquema de decodificación).
Permite detectar API Keys de Amazon AWS y Google.
Es capaz de detectar direcciones y claves privadas de Bitcoin.
Permite detectar claves privadas, certificados, y otro tipo de claves como pueden ser de SSH y OpenVPN.
Permite integrar el sistema de tags utilizado en las galaxias y las taxonomías de MISP.
Permite enviar pastes desde la interfaz de usuario.
Es capaz de crear eventos en MISP y casos en The Hive.
Permite exportar automáticamente los pastes en MISP y The Hive con las etiquetas deseadas.
Los archivos que sean extraídos y decodificados en CIRCL AIL, pueden ser encontrados mediante un buscador que trae la plataforma integrado. Permite buscar por rango de fechas, tipo de archivo (mime-type) y codificación.
CIRCL AIL dispone de un grafo de relaciones entre los archivos decodificados a través de hashes, UIDs de PGP similares y direcciones de criptodivisas.
Dispone de un crawler de servicios ocultos de Tor para ir recopilando y parseando los resultados. Además, permite monitorizar y comprobar servicios ocultos caídos o activos.
El Crawler de Tor realiza screenshots de los sitios webs que visita, adjuntando la evidencia a cada resultado obtenido.
Dispone de un crawer genérico que permite activar el rastreo de URLs bajo demanda o sobre los servicios Tor ocultos.

Instalación

Escriba estas líneas de comando para una instalación totalmente automatizada e inicie el AIL framework:

git clone https://github.com/ail-project/ail-framework.git
 cd ail-framework
 ./installing_deps.sh
 cd ~/ail-framework/
 cd bin/
 ./LAUNCH.sh -l

El installing_deps.sh por defecto es para las distribuciones basadas en Debian y Ubuntu.

También hay un archivo Travis usado para automatizar la instalación que puede ser usado para construir e instalar AIL en otros sistemas.

Requerimientos:

Python 3.6+

Notas de Instalación

Para usar AIL combinado con ZFS o LXC sin privilegios es necesario deshabilitar Direct I/O en $AIL_HOME/configs/6382.conf cambiando el valor de la directiva use_direct_io_for_flush_and_compaction a false.

Las instrucciones de instalación de Tor se pueden encontrar en HOWTO