Robot

Ein Robot (auch Spider oder Webcrawler, kurz Bot) ist ein Computerprogramm einer Suchmaschine, das sich durch das WWW bewegt, automatisch es durchsucht und Websiten analysiert. Die gesammelten Daten werden gespeichert, analysiert und indexiert. Weitere Anwendungen sind beispielsweise das Sammeln von RSS-Newsfeeds, E-Mail-Adressen oder anderer Informationen.
Wie beim Internetsurfen gelangt ein Webcrawler über Hyperlinks von einer Website zu weiteren URLs. Dabei werden alle aufgefundenen Adressen gespeichert und der Reihe nach besucht. Die neu gefundenen Hyperlinks werden zur Liste aller URLs hinzugefügt. Auf diese Weise können theoretisch alle erreichbaren Siten des WWW gefunden werden. In der Praxis wird jedoch oft eine Auswahl getroffen, der Prozess irgendwann beendet und von vorne begonnen.