Crawling: wie Suchmaschinen Seiten einlesen
Bevor eine Seite gefunden werden kann, muss sie erst einmal jemand lesen. Dieser Jemand ist ein Programm.
Crawling bezeichnet den Vorgang, bei dem Suchmaschinen automatisch Seiten aufrufen, deren Inhalte einlesen und den enthaltenen Links folgen. Ohne Crawling kann eine Seite nicht in den Index aufgenommen und damit auch nicht gefunden werden.
Wie ein Crawler arbeitet
Er startet bei bekannten Adressen, lädt die Seite wie ein Browser, liest den Inhalt und sammelt alle Links darauf ein. Diese Links landen in einer Warteschlange und werden später ebenfalls besucht. So arbeitet er sich durch das Netz.
Daraus folgt etwas Praktisches: Eine Seite, auf die von nirgendwo ein Link zeigt und die in keiner Sitemap steht, wird schlicht nicht gefunden. Sie existiert technisch, aber nicht für die Suche.
Was das Einlesen behindert
- Inhalte, die erst nach einer Anmeldung sichtbar werden
- Wichtige Seiten, die nur über ein Suchformular erreichbar sind
- Sperren in der robots.txt, oft aus einer Testphase übrig geblieben
- Sehr langsame Server, die den Crawler bremsen
- Inhalte, die ausschließlich per Skript nachgeladen werden
- Endlose Varianten derselben Seite durch Filter und Parameter
Der dritte Punkt ist der Klassiker. Während des Aufbaus wird eine Seite gesperrt, damit niemand die Baustelle sieht. Nach dem Start vergisst jemand, die Sperre zu entfernen. Die Seite ist online und trotzdem unsichtbar.
Nicht dasselbe wie Ranking
Aufgerufen zu werden heißt weder, aufgenommen zu werden, noch, weit oben zu stehen. Das sind drei getrennte Schritte: erst wird eine Seite eingelesen, dann eingeordnet und aufgenommen, dann bei passenden Anfragen einsortiert.
Wenn eine Seite also nicht gefunden wird, lohnt es sich zu prüfen, an welchem der drei Schritte es hakt. Für Schritt eins und zwei gibt die Search Console klare Auskunft, für Schritt drei zählen Inhalt und Wettbewerb.
Ein Beispiel
Ein Betrieb wundert sich, warum drei neue Leistungsseiten nach Wochen nirgends auftauchen. Der Grund: Sie sind nur über ein Ausklappmenü erreichbar, das per Skript arbeitet, und stehen in keiner Sitemap.
Nach dem Eintrag in die Sitemap und einem festen Link aus der Übersichtsseite werden sie innerhalb weniger Tage aufgerufen und erscheinen kurz darauf in den Ergebnissen.
Budget für das Einlesen
Suchmaschinen lesen nicht unbegrenzt. Je nach Größe und Bedeutung einer Website steht ein bestimmtes Maß an Zugriffen zur Verfügung. Bei kleinen Firmenseiten ist das nie ein Problem.
Relevant wird es, wenn eine Seite hunderte fast identische Adressen erzeugt, etwa durch Filter oder Sortierungen. Dann verbringt der Crawler seine Zeit mit Varianten statt mit den Seiten, die wichtig sind. Solche Adressen gehören ausgeschlossen oder als Dublette gekennzeichnet.
Was hilft
Eine aktuelle Sitemap, in der alle wichtigen Adressen stehen, dazu eine klare interne Verlinkung, sodass jede Seite über normale Links erreichbar ist. Und eine robots.txt, die nur das sperrt, was wirklich gesperrt gehört.
Ein Hinweis zu KI-Systemen: Auch sie greifen mit eigenen Programmen zu. Wer dort vorkommen will, sollte diese Zugriffe nicht pauschal blockieren. Das ist eine bewusste Entscheidung und keine technische Zwangsläufigkeit.
Verwandte Begriffe
Diese Themen hängen mit dem Begriff zusammen und sind im Glossar ebenfalls einfach erklärt:
Wir kümmern uns darum
Technische Hindernisse aufzuspüren gehört bei uns an den Anfang jedes Projekts. Was dabei geprüft wird, steht unter technische und lokale Suchmaschinenoptimierung.
Kurz nachgefragt
Wie oft wird meine Seite besucht?
Das hängt von Größe, Aktualität und Bedeutung ab. Eine kleine Firmenseite wird oft alle paar Tage bis Wochen aufgerufen, eine ständig aktualisierte Seite deutlich häufiger.
Kann ich das Einlesen anstoßen?
Ja, über die Search Console lässt sich eine einzelne Adresse zur Prüfung einreichen. Das beschleunigt, ersetzt aber keine saubere Struktur.