Sogenannte Web-Crawler sind Programme, die das World Wide Web, also das gesamte Internet durchsuchen und analysieren. Du findest sie oft auch unter den Namen Spider oder Searchbot. In manchen Fällen können sie Webseiten auch nach bestimmten, festgelegten Kriterien sortieren. Dabei schließen sie jeden Content ein, sowohl Texte als auch Bilder oder Videos. Meistens werden sie von Suchmaschinen eingesetzt, um Webseiten zu indexieren. Ebenso können sie Daten wie E-Mail-Adressen oder Webfeeds erkennen und sammeln. Sie arbeiten mit Hyperlinks, die von einer Website auf weitere URLs führen. Alle aufgefundenen Adressen werden von dem Crawler gespeichert und zur Liste aller URLs hinzugefügt.
