Ein Web-Crawler ist ein Computerprogramm, das dazu dient, Millionen von Webseiten, die im Internet verfügbar sind, nach einer vom Benutzer vorgegebenen Suchanfrage zu durchsuchen.
Der Begriff „Crawling“ bedeutet wörtlich das Durchsuchen jedes beliebigen Textstücks, seien es Links zu anderen Websites, Bildunterschriften, Beschreibungen, Artikel, alles. Es ist wie eine Spinne, die das Netz durchsucht.
Der Begriff „Crawling“ bedeutet wörtlich das Durchsuchen jedes beliebigen Textstücks, seien es Links zu anderen Websites, Bildunterschriften, Beschreibungen, Artikel, alles. Es ist wie eine Spinne, die das Netz durchsucht.