fbpx

Deep Crawl

Home/Deep Crawl

Deep Crawl

Als Deep Crawl wird eine Methode zur Indexierung von Webseiten bezeichnet, die von Google und weiteren Suchmaschinen angewendet wird. Dem Begriff nach handelt es sich um ein „tiefes“ Crawling. Hiermit ist gemeint, dass der Crawler der Suchmaschine weit in die Verzeichnisstruktur der Webseite hineingeht und auch Unterseiten bis zu einem bestimmten Level als eigenständige Seiten bewertet und in die Indexierung für Suchen einbezieht.

Sinn und Zweck des Deep Crawls

Das Crawling gehört zu den wichtigsten Schritten des Google-Algorithmus und anderer Suchmaschinen, um Webseiten in ihrem Suchindex zu listen. In regelmäßigen Abständen findet eine Indexierung aller erreichbaren IP-Adressen mit ihren jeweiligen Webinhalten statt. Diese werden von Google & Co. auf ihren Mehrwert untersucht und stellen die Grundlage für Rankings bei Suchanfragen dar.

Der Prozess der Indexierung ist bei Milliarden von Webseiten komplex und zeitaufwändig. Dies gilt speziell, wenn der Crawler der Suchmaschine sämtliche Unterseiten einer angelegten Webseite mit in den Suchindex einbinden soll. Dieser sogenannte Deep Crawl findet deshalb nur in unregelmäßigen Abständen statt.

Bei jeder Art von Crawling wird der Quellcode der Seite ausgelesen und von Google, Bing und anderen Suchmaschinen auf Mehrwert und weitere Bewertungsfaktoren untersucht. Ohne ein „tiefes“ Crawling würden Nutzer lediglich die Home-Seite in den Suchergebnissen von Google & Co. finden, was gerade bei Online-Shops mit einer Vielzahl von Produkten kontraproduktiv wäre.

Unterschiede zum Fresh Crawl

Das tiefe Crawling mit seinem immensen Aufwand steht eine maximaler Nutzen für jeden Anwender der Suchmaschine gegenüber. Google und andere Suchmaschinen gehen deshalb einen Mittelweg, was die Indexierung von Webseiten anbelangt. Während der aufwändige, „tiefe“ Crawl eher unregelmäßig stattfindet, kommt es zu einem häufigen Fresh Crawl. Mit dieser Art Crawling versuchen Suchmaschinen, die neusten Inhalte von Webseiten ins Netz zu stellen und Nutzern maximale Aktualität der Suchergebnisse zuzusichern.

Der Fresh Crawl ist deutlich schneller, bleibt mit seiner Analyse jedoch nur an der Oberfläche. Wie oft das frische Crawling durchgeführt wird, macht der Algorithmus der Suchmaschinen von Faktoren wie der Häufigkeit von Aktualisierung der Seite in der Vergangenheit abhängig.

SEO und Crawler im Zusammenspiel

Für eine effektive Suchmaschinenoptimierung (SEO) sollten Betreiber von Webseiten die Prinzipien von Deep und Fresh Crawl verstehen. So wirken sich durchgeführte SEO-Maßnahmen auf Unterseiten oftmals erst nach Tagen oder Wochen aus. Wenn die Webseite bis dahin selten verändert wurde, werden Maßnahmen der SEO vom Crawler erst Wochen später erfasst.

Die vorgenommenen Änderungen auf den Unterseiten werden deshalb nicht durch einen Fresh Crawl erfasst, der seinerseits seine Zeit benötigt. Erst bei einem späteren Deep Crawling haben die Betreiber der Webseiten die Sicherheit, dass alle Veränderungen der Seite durch Google erfasst und beim Ranking berücksichtigt wurden. Dies gilt natürlich auch für die spätere Anpassung von SEO-Maßnahmen für eine sukzessive Seitenoptimierung.

Jetzt Potentialanalyse sichern