Sinn und Zweck des Deep Crawls
Das Crawling gehört zu den wichtigsten Schritten des Google-Algorithmus und anderer Suchmaschinen, um Webseiten in ihrem Suchindex zu listen. In regelmäßigen Abständen findet eine Indexierung aller erreichbaren IP-Adressen mit ihren jeweiligen Webinhalten statt. Diese werden von Google & Co. auf ihren Mehrwert untersucht und stellen die Grundlage für Rankings bei Suchanfragen dar.
Der Prozess der Indexierung ist bei Milliarden von Webseiten komplex und zeitaufwändig. Dies gilt speziell, wenn der Crawler der Suchmaschine sämtliche Unterseiten einer angelegten Webseite mit in den Suchindex einbinden soll. Dieser sogenannte Deep Crawl findet deshalb nur in unregelmäßigen Abständen statt.
Bei jeder Art von Crawling wird der Quellcode der Seite ausgelesen und von Google, Bing und anderen Suchmaschinen auf Mehrwert und weitere Bewertungsfaktoren untersucht. Ohne ein „tiefes“ Crawling würden Nutzer lediglich die Home-Seite in den Suchergebnissen von Google & Co. finden, was gerade bei Online-Shops mit einer Vielzahl von Produkten kontraproduktiv wäre.
4.9
115 Bewertungen
auf Google
"Seiten-Werk zählt zu Deutschlands besten Online-Marketing-Agenturen des Jahres 2023"
German Web Award
Unterschiede zum Fresh Crawl
Das tiefe Crawling mit seinem immensen Aufwand steht eine maximaler Nutzen für jeden Anwender der Suchmaschine gegenüber. Google und andere Suchmaschinen gehen deshalb einen Mittelweg, was die Indexierung von Webseiten anbelangt. Während der aufwändige, „tiefe“ Crawl eher unregelmäßig stattfindet, kommt es zu einem häufigen Fresh Crawl. Mit dieser Art Crawling versuchen Suchmaschinen, die neusten Inhalte von Webseiten ins Netz zu stellen und Nutzern maximale Aktualität der Suchergebnisse zuzusichern.
Der Fresh Crawl ist deutlich schneller, bleibt mit seiner Analyse jedoch nur an der Oberfläche. Wie oft das frische Crawling durchgeführt wird, macht der Algorithmus der Suchmaschinen von Faktoren wie der Häufigkeit von Aktualisierung der Seite in der Vergangenheit abhängig.
Digitale Sichtbarkeit für Ihr Unternehmen?
SEO und Crawler im Zusammenspiel
Für eine effektive Suchmaschinenoptimierung (SEO) sollten Betreiber von Webseiten die Prinzipien von Deep und Fresh Crawl verstehen. So wirken sich durchgeführte SEO-Maßnahmen auf Unterseiten oftmals erst nach Tagen oder Wochen aus. Wenn die Webseite bis dahin selten verändert wurde, werden Maßnahmen der SEO vom Crawler erst Wochen später erfasst.
Die vorgenommenen Änderungen auf den Unterseiten werden deshalb nicht durch einen Fresh Crawl erfasst, der seinerseits seine Zeit benötigt. Erst bei einem späteren Deep Crawling haben die Betreiber der Webseiten die Sicherheit, dass alle Veränderungen der Seite durch Google erfasst und beim Ranking berücksichtigt wurden. Dies gilt natürlich auch für die spätere Anpassung von SEO-Maßnahmen für eine sukzessive Seitenoptimierung.