Tractor

Un rastreador (también llamado rastreador web , araña o robot ) es un software que analiza los contenidos de una red (o base de datos ) de manera metódica y automatizada, generalmente en nombre de un motor de búsqueda . En concreto, un rastreador es un tipo de bot (programa o script que automatiza operaciones), que suele adquirir una copia en texto de todos los documentos presentes en una o varias páginas web, creando un índice que permite, posteriormente, su búsqueda y visualización. .

Un uso extremadamente común de rastreadores se hace en la web ; se basa en una lista de URL para visitar proporcionada por el buscador (que, inicialmente, se basa a su vez en las direcciones sugeridas por los usuarios o en una lista precompilada por los propios programadores). Al analizar una URL, identifica todos los hipervínculos en el documento y los agrega a la lista de URL para visitar. El proceso se puede terminar manualmente o después de que se haya seguido un cierto número de conexiones.

Además, los rastreadores activos en Internet tienen derecho a ser abordados por lo que se indica en el archivo " robots.txt " ubicado en la raíz del sitio. Dentro de este archivo, puede indicar qué páginas no deben analizarse. El rastreador tiene el derecho de seguir el consejo, pero no la obligación.

Nombres de las arañas de los principales buscadores, actualizados a 21 de febrero de 2008

Tractor	Buscador
Robot de Google	Google
Rápido	Rápido - Alltheweb
ñam	Inktomi - Yahoo!
Scooter	AltaVista
Mercator	AltaVista
Pregúntale a Jeeves	Pregúntale a Jeeves
agente de teomas	teoma
archivador	Alexa - Archivo de Internet
yahoo! ñam	yahoo
Romilda	Facebook
PatoPatoBot	Pato Pato a ganar

Ejemplos de rastreadores web

La siguiente es una lista de arquitecturas de rastreadores públicos de propósito general:

• Bucean (Eichmann, 1994) fue el primer rastreador público. Se basa en dos programas: el primero, " spider" mantiene la solicitud en una base de datos relacional, y el segundo " ", es un mitenavegador www ASCII que descarga páginas de la web.
• Se utilizó WebCrawler (Pinkerton, 1994) para construir el primer índice publicitario textual de una rama de la web. Se basó en lib-WWW para descargar páginas y en otro programa para analizar y ordenar URL para la exploración a través del método gráfico de amplitud. También incluye un rastreador en tiempo real que sigue enlaces basados ​​en similitudes de anclaje de texto con la consulta condicional.
• TennSpider (McBryan, 1994) era un rastreador utilizado para construir un índice simple de títulos de documentos y URL. El índice se puede buscar usando el comando grep Unix .
• Google Crawler (Brin y Page, 1998) se describe con cierto detalle, pero la referencia es solo a una versión anterior de esa arquitectura, que se basa en C ++ y Python. El rastreador se integró con el proceso de indexación, porque la selección de texto se realizó para indexar completamente el texto y también para extraer las URL. Un servidor de URL envía listas de URL para que las obtengan varios procesos de rastreo. Durante el análisis , las URL encontradas se envían a un servidor de URL que verifica si la URL se ha visto anteriormente. De lo contrario, la URL se agrega a la consulta del servidor de URL.
• VnzOwna (da Silva et al. , 1999) utilizado como programador central y colector distribuido de series. Los recopiladores analizan las páginas web descargadas y envían las URL detectadas al programador, que asigna el turno a los recopiladores. El programador refuerza la búsqueda ordenada en amplitud con una política desordenada para evitar sobrecargar los servidores web. El rastreador está escrito en Perl .
• Mercator (Heydon y Najork, 1999; Najork y Heydon, 2001) es un rastreador web modular distribuido escrito en Java . Su modularidad surge del uso de "módulos de protocolo" y "plantillas de proceso" intercambiables. Los módulos de protocolo están correlacionados para adquirir páginas web (por ejemplo, HTTP), y los módulos de proceso están correlacionados para procesar páginas web. Los formularios estándar se pueden utilizar para indexar el texto de las páginas o para recopilar estadísticas de la web.
• WebFountain (Edwards et al. , 2001) es un rastreador similar a Mercator pero escrito en C++ . Su peculiaridad radica en la "máquina controladora" que coordina una serie de "máquinas hormiga". Después de una descarga repetitiva de páginas, se calcula un factor de cambio para cada página y se debe usar un método de programación no lineal para resolver el sistema de ecuaciones para maximizar la actualización. Los autores recomiendan usar este orden de rastreo en las primeras partes y luego cambiar el orden uniforme en el que todas las páginas se visitan con la misma frecuencia.
• PolyBot [Shkapenyuk y Suel, 2002] es un rastreador escrito en C++ y Python , que consta de un administrador, uno o más descargadores y uno o más detectores de DNS. Las URL recopiladas se agregan al disco y se procesan más tarde para buscarlas en modo por lotes. La regulación considera dominios de tercer y segundo nivel (por ejemplo, tercer nivel: www.aaa.com, www2.aaa.com) porque los dominios de tercer nivel generalmente están alojados en el mismo servidor web.
• WebRACE (Zeinalipour-Yazti y Dikaiakos, 2002) es un módulo de rastreo y almacenamiento en caché desarrollado en Java y utilizado como parte de un sistema más genérico llamado eRACE. La característica principal que se destaca en Webrace es que, mientras que muchos rastreadores comienzan a buscar con un conjunto de semillas de URL, WebRACE recibe continuamente nuevas URL del formulario.
• Ubicrawler (Boldi et al. , 2004) es un rastreador escrito en Java. Consiste en una cantidad de 'agentes' idénticos y la función de asignación se calcula utilizando hash de nombre de host. No hay superposición, esto significa que ninguna página se indexa dos veces, hasta que un agente rastreador falla; logra una alta escalabilidad y es tolerante a fallas.
• FAST Crawler (Risvik y Michelsen, 2002) es un rastreador utilizado por Fast Search & Transfer .
• Labrador , un rastreador privado que colabora con el proyecto de código abierto llamado Terrier Search Engine .
• Spinn3r , es un rastreador utilizado para construir el alma de Tailrank.com. Spinn3r se basa en Java y la mayor parte de la arquitectura es de código abierto.
• HotCrawler , está escrito en C y PHP .

Rastreador de código abierto

• DataparkSearch es un rastreador y motor de búsqueda distribuido bajo la Licencia Pública General GNU .
• Ebot es un rastreador escalable y distribuido escrito en Erlang y distribuido bajo la Licencia Pública General GNU .
• Wget es un rastreador de línea de comandos escrito en C y distribuido bajo la Licencia Pública General GNU . Normalmente se utiliza para sitios espejo y FTP .
• Heritrix es el rastreador de archivos web de la más alta calidad, diseñado para archivar capturas de pantalla periódicas de una gran parte de la web. Fue escrito en Java .
• Htdig incluye un rastreador web en su motor de indexación.
• HTTrack utiliza un rastreador web para crear una réplica de un sitio web para consultas fuera de línea. Fue escrito en C y distribuido bajo la licencia GNU GPL .
• JSpider es una araña web altamente personalizable distribuida bajo la licencia GNU GPL.
• Methabot es un rastreador web de línea de comandos de velocidad optimizada escrito en C y distribuido bajo la licencia ISC . Incluye un sistema de configuración, un módulo de sistema y soporte para rastrear objetivos a través del sistema de archivos local , HTTP o FTP.
• Nutch es un rastreador escrito en Java bajo la licencia de Apache. Se puede utilizar junto con el índice textual creado con Lucene .
• WebVac es un rastreador utilizado por Stanford WebBase Project .
• WebSPHINX (Miller y Bharat, 1998) está compuesto por una biblioteca Java que implementa la consulta múltiple de páginas web y el análisis de HTML, una interfaz gráfica de usuario para establecer las direcciones de inicio para extraer los datos descargados e implementar un motor de búsqueda de texto básico.
• WIRE - Web Information Retrieval Environment (Baeza-Yates y Castillo, 2002) es un rastreador web escrito en C++ y distribuido bajo licencia GPL, que incluye varias pautas para catalogar las páginas web descargadas y un módulo para generar estadísticas e informes sobre las páginas descargadas. , utilizado para la caracterización web.
• LWP :: RobotUA (Langheinrich, 2004) es una clase de Perl distribuida bajo la licencia Perl5.
• Web Crawler es un rastreador web de código abierto para .NET escrito en C# .
• Sherlock Holmes recopila e indexa datos textuales (archivos de texto, páginas web, etc.), tanto localmente como en la red. Holmes está patrocinado y utilizado comercialmente por el portal web checo Centrum. también es utilizado por el sitio web Onet.pl.
• YaCy es un motor de búsqueda de libre distribución, construido sobre los principios de las redes p2p (con licencia GPL).
• Ruya es un rastreador de nivel de entrada de código abierto de alto rendimiento basado en la búsqueda en amplitud. Se utiliza para administrar sitios web en inglés y japonés de la mejor manera posible. Tiene licencia GPL y está escrito íntegramente en lenguaje Python .
• Universal Information Crawler es un rastreador web rápido de usar. Guardar y analizar los datos.
• Agent Kernel es un marco Java para planificar, procesar y almacenar datos durante el rastreo.
• Squzer , un rastreador web multifuncional, ampliable y de código abierto escrito en Python.
• Arachnode.NET es un rastreador web promiscuo de código abierto para descargar, indexar y guardar contenido de Internet, incluidos correos electrónicos, archivos, hipervínculos, imágenes y páginas web. Arachnode.net está escrito en C# utilizando SQL Server 2005 y tiene licencia GPL.
• BBragnet es un rastreador web de código abierto (para servidores Linux ) escrito en PHP

Críticas

El término Web Crawler también se usa para indicar navegadores sin conexión controvertidos , como: PageNest (anteriormente WebStripper ), MSIECrawler , Offline Explorer , etc. Estos programas están diseñados para descargar el contenido de un sitio web completo al disco duro de la computadora del usuario. Por ejemplo, Memory Alpha prohíbe su uso porque acceden al sitio de forma agresiva, lo que ralentiza drásticamente el uso del sitio por parte de otros usuarios [1] y los infractores corren el riesgo de ser bloqueados [2] .

Notas

1. ^ Memory Alpha: descarga de la base de datos , en memory-alpha.org . Consultado el 28 de diciembre de 2010 .
2. ^ Ver el archivo robots.txt de Memory Alpha

Artículos relacionados

• Indexación (motores de búsqueda)
• Buscador
• Robots.txt
• raspado web

Otros proyectos

• Wikcionario contiene el diccionario lema « rastreador »

Enlaces externos

• PolyBot , en cis.poly.edu . Consultado el 5 de abril de 2008 (archivado desde el original el 30 de abril de 2008) .
• WebRACE ,en grid.ucy.ac.cy. Consultado el 5 de abril de 2008 (archivado desde el original el 28 de diciembre de 2007) .
• Ubicrawler , en law.dsi.unimi.it . Consultado el 5 de abril de 2008 (archivado desde el original el 10 de abril de 2008) .
• Labrador ,en ir.dcs.gla.ac.uk. Consultado el 5 de abril de 2008 (archivado desde el original el 31 de diciembre de 2007) .
• Spinn3r , en spinn3r.com . Archivado desde el original el 13 de marzo de 2018 .
• Htdig , en htdig.org . Consultado el 5 de abril de 2008 (archivado desde el original el 8 de abril de 2008) .