“Crawler” auch “Webcrawler” oder “Spider” sind Programme, die kontinuierlich den Inhalt von Webseiten einlesen und diesen für Suchmaschinen erfassen. Ein Crawler erledigt seine Arbeit dabei ganz automatisch. Er sucht sich alle Hyperlinks einer Webseite, öffnet diese Stück für Stück, speichert die gefundenen Adressen der Reihe nach und fügt sie zu einer Liste bereits bestehender Links hinzu. Dadurch erweitert der Crawler die Liste der über Suchmaschinen auffindbaren Webseiten täglich aufs Neue und fügt sie zum Suchmaschinen Index hinzu.
Theoretisch könnte ein Crawler also alle sich im Netz befindlichen Webseiten finden. In der Praxis allerdings trifft er nur eine Auswahl und beginnt dann seinen Prozess von vorne. Für die Suchmaschinenoptimierung ist es wichtig, dass dem crawler mitgeteilt wird, welche Informationen er sich von der optimierten Seite suchen soll. Dies wird mit Hilfe der Datei robots.txt und in bestimmten Meta-Tags im HTML-Header im Quelltext der Seite mitgeteilt. Wichtig ist außerdem, dass der Crawler auf der Seite nicht nur Flash-Elemente oder Frames vorfindet. Diese kann er nämlich nicht einlesen.