Ein sogenannter Crawler (auch Webcrawler, Spider oder Searchbot genannt) ist vor allem ein spezielles Computerprogramm der Suchmaschinen, welches ständig und völlig automatisch das Internet durchsucht und alle zugänglichen Webseiten analysiert. Je nach Programmierung und Einsatz des Crawlers werden die Inhalte der durchsuchten Websites ausgewertet und im sogenannten Suchmaschinen-Index gespeichert. Webcrawlern kann man mit entsprechenden Angaben in einer sogenannten "robots.txt"-Datei Beschränkungen bei der Indexierung auferlegen.