Komputerprogramm, dass von den Suchmaschinen eingesetzt wurde, automatisch das Netz durchsucht und die verschiedenen Websites analysiert. Der Spider folgt die HTML Verlinkungen und analysiert die besichtigten Websites entprechend verschiedene Relevanz-Kriterien. Diese Relevanz-Kriterien sind in einem Algorithmus versammelt und helfen den Crawler das Ranking der Seiten auszurechnen wenn die Internetnutzern Anfragen absolvieren.