Un rastreador web con CLI interactivo.
Evine es un simple, rápido e interactivo rastreador y raspador web escrito en Golang. Evine es útil para una amplia gama de propósitos como la extracción de metadatos y datos, la minería de datos, el reconnaissance y testing
Instalar
Desde el Binario
También hay disponibles versiones binarias pre-construidas.
Desde la fuente
go get github.com/saeeddhqan/evine
"$GOPATH/bin/evine" -hDesde GitHub
git clone https://github.com/saeeddhqan/evine.git
cd evine
go build .
mv evine /usr/local/bin
evine --helpComandos y Uso
| Teclas | Descripción |
|---|---|
| Enter | Ejecuta el rastreador (desde la vista URL) |
| Enter | Muestra la respuesta (de las vistas de Keys y Regex) |
| Tab | Siguiente vista |
| Ctrl+Space | Ejecuta crawler |
| Ctrl+S | Guarda la respuesta |
| Ctrl+Z | Salir |
| Ctrl+R | Restaurar a los valores por defecto (desde las vistas de Options y Headers) |
| Ctrl+Q | Cerrar respuesta de la vista de guardado (de la vista Save) |
evine -hMostrar la ayuda para la herramienta:
| Flag | Descripción | Ejemplo |
|---|---|---|
| -url | URL para rastrear | evine -url toscrape.com |
| -url-exclude string | Excluir las URLs que trabajan con esta expresión regular (por defecto “.*”) | evine -url-exclude ?id= |
| -domain-exclude string | Excluir los dominios de alcance para rastrear. Separar con coma. default=root domain | evine -domain-exclude host1.tld,host2.tld |
| -code-exclude string | Excluir el código de estado HTTP con estos códigos. Separar con ‘|’ (por defecto “.*”) | evine -code-exclude 200,201 |
| -delay int | Descansar entre cada petición (milisegundo). | evine -delay 300 |
| -depth | Nivel de búsqueda de la profundidad del rastreador (predeterminado 1) | evine -depth 2 |
| -thread int | El número de goroutines concurrentes para resolver (predeterminado 5) | evine -thread 10 |
| -header | Encabezado HTTP para cada petición (Debe separar los campos por \N -). | evine -header KEY: VALUE\nKEY1: VALUE1 |
| -proxy string | Proxy por esquema://ip:port | evine -proxy http://1.1.1.1:8080 |
| -scheme string | Establecer el esquema de las solicitudes (por defecto “https”) | evine -scheme http |
| -timeout int | Segundos de espera antes de que el tiempo se agote (por defecto 10) | evine -timeout 15 |
| -keys string | Expresión JQuery(Podría ser una extensión de archivo(pdf), una consulta clave(url,script,css,..) o un selector de jquery($(“a).attr(‘hdr’))) | evine -keys urls,pdf,txt |
| -regex string | Busca la expresión regular en el contenido de la página | evine -regex ‘User.+’ |
| -max-regex int | Resultado máximo de la búsqueda de la expresión regular para el campo regex (por defecto 1000) | evine -max-regex -1 |
| -robots | Rasparrobots.txt para URLs y usarlos como semillas | evine -robots |
| -sitemap | Raspar el sitemap.xml para los URLs y usarlos como seeds | evine -sitemap |
| -wayback | Raspar WayBackURLs (web.archive.org) para URLs y usarlos como seeds | evine -sitemap |
Vistas
- URL: En esta vista, debes introducir la cadena de URL.
- Options: Esta vista sirve para configurar opciones.
- Headers: Esta vista sirve para configurar los encabezados HTTP.
- Query: Esta vista se utiliza después del rastreo de la web. Se utilizará para extraer los datos (documentos, URL, etc.) de las páginas web que se han rastreado.
- Regex: Esta vista es útil para buscar los Regexes en las páginas web que han sido rastreadas. Escribe tu Regex en esta vista y presiona Enter.
- Response: Todos los resultados escriben en esta vista
- Search: Esta vista se utiliza para buscar los Regexes en el contenido de la vista Response.
Por Hacer
- Salida JSON
Bugs o Sugerencias
¿Bugs o sugerencias? Crear un issue.
Evine está muy inspirada por wuzz.
Dark Mode
evine (este enlace se abre en una nueva ventana) por saeeddhqan (este enlace se abre en una nueva ventana)
Interactive CLI Web Crawler
