AIL Framework Marco de Análisis Fugas Información
AIL Framework Marco de Análisis Fugas Información

AIL Framework: Marco de Análisis de Fugas de Información

AIL es un Framework modular para analizar las posibles fugas de información de fuentes de datos no estructuradas, como las pastes de Pastebin o servicios similares, o de flujos de datos no estructurados. AIL framework es flexible y puede ampliarse para apoyar otras funcionalidades de extracción o procesamiento de información sensible (por ejemplo, la prevención de fugas de datos).

AIL Framework
AIL Framework

Características

  • Arquitectura modular que permite utilizar flujos de información estructurados y no estructurados.
  • Soporte por defecto para feeds externos de ZMQ (ZeroMQ), como los proporcionados por CIRCL u otros proveedores.
  • Soporte de feeds múltiples.
  • Cada módulo puede procesar y reprocesar la información que ya haya sido procesada por CIRCL AIL.
  • Detección y extracción de URLs incluyendo su ubicación geográfica (por ejemplo, geolocalización de la dirección IP).
  • Extracción y validación de potenciales fugas de información relacionados con números de tarjetas de crédito, credenciales, etc.
  • Extracción y validación de direcciones de correo electrónico filtradas, incluida la validación del registro MX de DNS.
  • Módulo para extraer direcciones .onion de Tor (para ser procesadas posteriormente para su análisis)
  • Mantiene un registro de las evidencias duplicadas, además de las diferencias existentes entre cada uno de los duplicados detectados)
  • Extracción y validación de hostnames, como feeds de datos pasivos de DNS.
  • Permite indexar información no estructurada mediante un módulo específico para ello.
  • Dispone de dashboards que recopilan estadísticas sobre los distintos módulos.
  • Gestor de módulos en tiempo real a través de una terminal.
  • Análisis de sentimiento global para cada proveedor basado en el módulo nltk vader.
  • Dispone de módulos que permiten buscar y extraer números de teléfono, credenciales, IBAN, entre otros datos.
  • Alertar al MISP para compartir las fugas encontradas dentro de una plataforma de inteligencia de amenazas usando el estándar del MISP.
  • Detecta, almacena y decodifica ficheros codificados (Base64, hexadecimal o su propio esquema de decodificación).
  • Permite detectar API Keys de Amazon AWS y Google.
  • Es capaz de detectar direcciones y claves privadas de Bitcoin.
  • Permite detectar claves privadas, certificados, y otro tipo de claves como pueden ser de SSH y OpenVPN.
  • Permite integrar el sistema de tags utilizado en las galaxias y las taxonomías de MISP.
  • Permite enviar pastes desde la interfaz de usuario.
  • Es capaz de crear eventos en MISP y casos en The Hive.
  • Permite exportar automáticamente los pastes en MISP y The Hive con las etiquetas deseadas.
  • Los archivos que sean extraídos y decodificados en CIRCL AIL, pueden ser encontrados mediante un buscador que trae la plataforma integrado. Permite buscar por rango de fechas, tipo de archivo (mime-type) y codificación.
  • CIRCL AIL dispone de un grafo de relaciones entre los archivos decodificados a través de hashes, UIDs de PGP similares y direcciones de criptodivisas.
  • Dispone de un crawler de servicios ocultos de Tor para ir recopilando y parseando los resultados. Además, permite monitorizar y comprobar servicios ocultos caídos o activos.
  • El Crawler de Tor realiza screenshots de los sitios webs que visita, adjuntando la evidencia a cada resultado obtenido.
  • Dispone de un crawer genérico que permite activar el rastreo de URLs bajo demanda o sobre los servicios Tor ocultos.

Instalación

Escriba estas líneas de comando para una instalación totalmente automatizada e inicie el AIL framework:

git clone https://github.com/ail-project/ail-framework.git
 cd ail-framework
 ./installing_deps.sh
 cd ~/ail-framework/
 cd bin/
 ./LAUNCH.sh -l

El installing_deps.sh por defecto es para las distribuciones basadas en Debian y Ubuntu.

También hay un archivo Travis usado para automatizar la instalación que puede ser usado para construir e instalar AIL en otros sistemas.

Requerimientos:

  • Python 3.6+

Notas de Instalación

Para usar AIL combinado con ZFS o LXC sin privilegios es necesario deshabilitar Direct I/O en $AIL_HOME/configs/6382.conf cambiando el valor de la directiva use_direct_io_for_flush_and_compaction a false.

Las instrucciones de instalación de Tor se pueden encontrar en HOWTO

Empezando con AIL

cd bin/
./LAUNCH.sh -l

Eventualmente puedes navegar el estado del sitio web del framework AIL en la siguiente URL:

https://localhost:7000/

Las credenciales por defecto de la interfaz web se encuentran en DEFAULT_PASSWORD. Este archivo se elimina cuando se cambia la contraseña.

Capturas de Pantalla

Tor servicio oculto de rastreo

Servicio Oculto Tor

Gráficos de tendencias

Gráfico Tendencias
Gráfico Tendencias

MISP y The Hive, creación automática de eventos y alertas

MISP y The Hive
MISP y The Hive

Análisis de Sentimientos

Análisis de Sentimientos
Análisis de Sentimientos

Mi Carro Close (×)

Tu carrito está vacío
Ver tienda