Robots.txt

Was ist Robots.txt?
Robots.txt ist eine Datei, die Suchmaschinen-Crawler anweist, bestimmte Seiten oder Abschnitte einer Website nicht zu durchforsten. Die meisten großen Suchmaschinen (einschließlich Google, Bing und Yahoo) erkennen und honorieren Robots.txt-Anfragen.

Warum ist Robots.txt wichtig?
Die meisten Websites benötigen keine robots.txt-Datei.

Das liegt daran, dass Google normalerweise alle wichtigen Seiten auf Ihrer Website finden und indizieren kann. Zudem ist es auch in Ihrem Interesse, dass die Suchmaschine Ihre Seiten findet.

Jedoch gibt es auch Seiten, die vielleicht nicht indexiert werden sollen.

Blockieren Sie nicht-öffentliche Seiten: Manchmal haben Sie Seiten auf Ihrer Webseite, die Sie nicht indiziert haben möchten. Zum Beispiel könnten Sie eine Staging-Version einer Seite haben. Oder eine Anmeldeseite. Diese Seiten müssen existieren. Aber Sie wollen nicht, dass zufällige Leute auf ihnen landen. Dies ist ein Fall, in dem Sie robots.txt verwenden würden, um diese Seiten für Suchmaschinen-Crawler zu blockieren.

Maximieren Sie das Crawl-Budget: Wenn es Ihnen schwer fällt, alle Ihre Seiten zu indizieren, haben Sie vielleicht ein Crawl-Budget-Problem. Durch das Blockieren unwichtiger Seiten mit robots.txt kann Googlebot mehr von Ihrem Crawl-Budget für die Seiten ausgeben, die tatsächlich wichtig sind. Dies ist nur für sehr große Seiten der Fall.

Das Fazit? Robots.txt weist Suchmaschinen an, bestimmte Seiten auf Ihrer Website nicht zu durchforsten.

Um mehr darüber zu erfahren, können Sie die Google Search Console aufrufen.