AIL Framework: Marco de Análisis de Fugas de Información

AIL es un Framework modular para analizar las posibles fugas de información de fuentes de datos no estructuradas, como las pastes de Pastebin o servicios similares, o de flujos de datos no estructurados. AIL framework es flexible y puede ampliarse para apoyar otras funcionalidades de extracción o procesamiento de información sensible (por ejemplo, la prevención de fugas de datos).

Características

• Arquitectura modular que permite utilizar flujos de información estructurados y no estructurados.
• Soporte por defecto para feeds externos de ZMQ (ZeroMQ), como los proporcionados por CIRCL u otros proveedores.
• Soporte de feeds múltiples.
• Cada módulo puede procesar y reprocesar la información que ya haya sido procesada por CIRCL AIL.
• Detección y extracción de URLs incluyendo su ubicación geográfica (por ejemplo, geolocalización de la dirección IP).
• Extracción y validación de potenciales fugas de información relacionados con números de tarjetas de crédito, credenciales, etc.
• Extracción y validación de direcciones de correo electrónico filtradas, incluida la validación del registro MX de DNS.
• Módulo para extraer direcciones .onion de Tor (para ser procesadas posteriormente para su análisis)
• Mantiene un registro de las evidencias duplicadas, además de las diferencias existentes entre cada uno de los duplicados detectados)
• Extracción y validación de hostnames, como feeds de datos pasivos de DNS.
• Permite indexar información no estructurada mediante un módulo específico para ello.
• Dispone de dashboards que recopilan estadísticas sobre los distintos módulos.
• Gestor de módulos en tiempo real a través de una terminal.
• Análisis de sentimiento global para cada proveedor basado en el módulo nltk vader.
• Dispone de módulos que permiten buscar y extraer números de teléfono, credenciales, IBAN, entre otros datos.
• Alertar al MISP para compartir las fugas encontradas dentro de una plataforma de inteligencia de amenazas usando el estándar del MISP.
• Detecta, almacena y decodifica ficheros codificados (Base64, hexadecimal o su propio esquema de decodificación).
• Permite detectar API Keys de Amazon AWS y Google.
• Es capaz de detectar direcciones y claves privadas de Bitcoin.
• Permite detectar claves privadas, certificados, y otro tipo de claves como pueden ser de SSH y OpenVPN.
• Permite integrar el sistema de tags utilizado en las galaxias y las taxonomías de MISP.
• Permite enviar pastes desde la interfaz de usuario.
• Es capaz de crear eventos en MISP y casos en The Hive.
• Permite exportar automáticamente los pastes en MISP y The Hive con las etiquetas deseadas.
• Los archivos que sean extraídos y decodificados en CIRCL AIL, pueden ser encontrados mediante un buscador que trae la plataforma integrado. Permite buscar por rango de fechas, tipo de archivo (mime-type) y codificación.
• CIRCL AIL dispone de un grafo de relaciones entre los archivos decodificados a través de hashes, UIDs de PGP similares y direcciones de criptodivisas.
• Dispone de un crawler de servicios ocultos de Tor para ir recopilando y parseando los resultados. Además, permite monitorizar y comprobar servicios ocultos caídos o activos.
• El Crawler de Tor realiza screenshots de los sitios webs que visita, adjuntando la evidencia a cada resultado obtenido.
• Dispone de un crawer genérico que permite activar el rastreo de URLs bajo demanda o sobre los servicios Tor ocultos.

Instalación

Escriba estas líneas de comando para una instalación totalmente automatizada e inicie el AIL framework:

git clone https://github.com/ail-project/ail-framework.git
 cd ail-framework
 ./installing_deps.sh
 cd ~/ail-framework/
 cd bin/
 ./LAUNCH.sh -l

El installing_deps.sh por defecto es para las distribuciones basadas en Debian y Ubuntu.

También hay un archivo Travis usado para automatizar la instalación que puede ser usado para construir e instalar AIL en otros sistemas.

Requerimientos:

• Python 3.6+

Notas de Instalación

Para usar AIL combinado con ZFS o LXC sin privilegios es necesario deshabilitar Direct I/O en $AIL_HOME/configs/6382.conf cambiando el valor de la directiva use_direct_io_for_flush_and_compaction a false.

Las instrucciones de instalación de Tor se pueden encontrar en HOWTO

Empezando con AIL

cd bin/
./LAUNCH.sh -l

Eventualmente puedes navegar el estado del sitio web del framework AIL en la siguiente URL:

https://localhost:7000/

Las credenciales por defecto de la interfaz web se encuentran en DEFAULT_PASSWORD. Este archivo se elimina cuando se cambia la contraseña.

Capturas de Pantalla

Tor servicio oculto de rastreo

Gráficos de tendencias

MISP y The Hive, creación automática de eventos y alertas

Análisis de Sentimientos

Error: API rate limit exceeded for 216.246.112.50. (But here's the good news: Authenticated requests get a higher rate limit. Check out the documentation for more details.)