Gecrawlt – was tun, wenn die URL nicht indexiert ist?

Für Webseitenbetreiber ist es wichtig, dass ihre Webseite möglichst weit vorn in den Suchmaschinen landet. Nur so bekommt sie viele Besucher. Wichtig ist, dass die Besucher auf der Webseite verweilen und sich nicht wegklicken, da die Webseite sonst auf Dauer ihre gute Platzierung verliert. Eine Webseite muss im Index landen, um in den Suchmaschinenergebnissen zu erscheinen.

Ein Fachartikel von Fabian Auler (SEO-Agentur Farbentour)

Inhaltsverzeichnis

• Wie erfolgt die Indexierung einer Webseite?
  
• Meldung: Gecrawlt – zurzeit nicht indexiert
  
• Mögliche Ursachen
  
• Wie Sie zur Indexierung der URL beitragen können
  
• Was tun, wenn viele Webseiten nicht indexiert werden?
  
• Prüfung der nicht indexierten Inhalte
  
• Meldung: Gefunden – zurzeit nicht indexiert
  
• Fazit
  

Dieser Beitrag informiert darüber, wie eine Webseite indexiert wird, um in den Ergebnissen der Suchmaschinen zu landen. Sie erfahren, was die Ursachen sind, wenn die Webseite nicht indexiert wird, und was Sie tun können, damit Ihre Webseite indexiert wird und weit vorn bei den Suchmaschinenergebnissen landet. SEO-Agenturen nehmen nicht nur die Suchmaschinenoptimierung vor, sondern können auch zu einem besseren Ergebnis bei der Platzierung in den Suchmaschinen beitragen.

Wie erfolgt die Indexierung einer Webseite?

Es kann passieren, dass eine URL, also die Adresse einer Webseite, zwar gecrawlt, aber nicht indexiert wird. Die URL durchläuft einen Prozess, der entscheidend dafür ist, ob die Webseite indexiert wird oder nicht. Sie wird von einem Suchmaschinen-Bot geprüft. Dieser Suchmaschinen-Bot crawlt die URLs, indem er sich von einem Link zum anderen arbeitet. Wenn er eine neue URL entdeckt, crawlt er diese Webseite. Nicht immer erfolgt das sofort.

Eine URL muss drei Phasen durchlaufen, damit sie gerankt und in der Suchmaschine gefunden wird. Google als weltweit größte und bedeutendste Suchmaschine arbeitet nach strengen Kriterien. Die Webseite erscheint nur dann in den Ergebnissen von Google, wenn sie die folgenden drei Phasen erfolgreich absolviert hat:

• Auffindbarkeit: Die URL ist bei Google bekannt und kann gefunden werden
• Crawlbarkeit: Ist eine URL crawlbar, kann sie von Google geladen, gerendert und besucht werden
• Indexierbarkeit: Google kann die URL dem Index hinzufügen; ein Ausschluss per noindex-Anweisung erfolgt nicht

Wenn der Suchmaschinen-Bot die URL crawlt, lädt er die Webseite herunter, um ihre Inhalte zu erfassen. Google bewertet den Inhalt, ob er für bestimmte Suchanfragen relevant ist. Wenn eine URL relevant für die Suchanfragen ist, wird sie sofort indexiert und in den Ergebnissen der Suchmaschine platziert.

Gerade dann, wenn Sie mit Ihrer Webseite Kunden gewinnen möchten, ist es wichtig, dass sie ein hohes Maß an Traffic (Besucher) bekommen. Das gelingt nur dann, wenn sie ein gutes Ranking erzielt und in den Suchmaschinenergebnissen erscheint. Die Grundlage dafür ist, dass die Webseite indexiert wird.

Die Streaming Google Search Console API-Funktion informiert über den aktuellen Indexierungsstatus einer Webseite. Pro Seite wird in übersichtlicher Form angezeigt, welche URLs es in den Index von Google geschafft haben und welche URLs ausgeschlossen wurden.

Meldung: Gecrawlt – zurzeit nicht indexiert

Es passiert mitunter, dass eine Webseite zwar von Google gecrawlt, aber nicht indexiert wird. Nicht immer muss das ein Grund zur Besorgnis sein, da eine Webseite nicht in jedem Fall sofort indexiert wird. Es kommt darauf an, dass die Inhalte für die Suchanfragen relevant sind.

Im Abdeckungsbericht der Google Search Console erscheint ein entsprechender Hinweis, wenn die URL gecrawlt, aber nicht indexiert wurde. Google weist darauf hin, dass die URL künftig indexiert werden könnte. Die URL müssen Sie nicht noch einmal zum Crawling einreichen.

Nicht immer steckt ein schwerwiegendes Problem dahinter, das es zu beheben gilt. Es kann sich auch um Weiterleitungen, Feed-URLs oder Paginierungs-URLs handelt, die in den meisten Fällen gar nicht indexiert sein sollten.

Mögliche Ursachen

Wurde Ihre URL zwar gecrawlt, aber nicht indexiert, kann das verschiedene Ursachen haben. Der simpelste und harmloseste Grund besteht darin, dass Google und andere Suchmaschinen nur über begrenzte Ressourcen verfügen und etwas Zeit benötigen. Es ist für die Suchmaschinen nicht möglich, alle URLs simultan zu bewerten und zu indexieren. Daher ist es normal, wenn es eine Weile dauert, bis Ihre URL indexiert wird und in den Suchmaschinenergebnissen erscheint.

Es gibt jedoch noch weitere Gründe, warum eine Webseite nicht indexiert wird. Diese Gründe betreffen die Inhalte und die Qualität der Webseite:

Duplicate Content – doppelter Inhalt

Eine häufige Ursache, warum eine Webseite nicht indexiert wird, ist doppelter Inhalt, Duplicate Content. Da mehrere identische Inhalte gecrawlt werden müssen, werden mehr Ressourcen benötigt. Der Suchmaschinen-Bot muss bewerten, welche URL für die Suchmaschine am relevantesten ist. Dieses Vorhaben wird umso komplexer, je mehr ähnliche Seiten vorhanden sind. Google spart im Zweifel Ressourcen und crawlt die URL schlimmstenfalls gar nicht.

Thin Content – zu dünner Inhalt

Bei Suchmaschinen wie Google kommt es auf den Inhalt einer Webseite an, damit sie indexiert wird und gut rankt. Ist der Inhalt zu dünn, hat die Webseite kaum Chancen auf ein Ranking. Dünner Inhalt (englisch: Thin Content) bedeutet nicht nur, dass die Texte zu kurz sind. Es kommt vielmehr darauf an, dass der Inhalt für den Besucher einen Mehrwert bietet und der Besucher über längere Zeit verweilt. Eine Webseite wird nicht indexiert, wenn der Inhalt nicht genügt.

Es gibt verschiedene Analysetools, mit denen Webseitenbetreiber und SEO-Agenturen wie Farbentour prüfen können, ob die Inhalte der Webseite das Potenzial haben, um mit den zu diesem Thema aktuell am besten auffindbaren Seiten zu konkurrieren. Ist das nicht der Fall, muss der Inhalt erweitert werden.

Ist der Inhalt zu dünn, kommt es nicht unbedingt auf lange Texte oder viel Text an. Es geht darum, dass die Suchintention des Nutzers erfüllt ist und die Fragen des Nutzers bestmöglich beantwortet werden. Hilfreich sind Metadaten und genügend Unterüberschriften, damit Google eine Seite möglichst schnell crawlen und indexieren kann.

Nicht mehr aktuelle Inhalte

Wurde eine Webseite gecrawlt, aber nicht indexiert, kann das daran liegen, dass die Inhalte veraltet und nicht mehr relevant sind. Alte Inhalte müssen nicht immer irrelevant sein. Handelt es sich beispielsweise um eine Webseite über Gartenblumen, können auch alte Fakten über Standort, Blütezeit und Pflege immer noch relevant sein. Anders sieht es aus, wenn es um eine Webseite zu Modetrends geht. Das, was vor zehn Jahren „en vogue“ war, ist heute längst nicht mehr aktuell und interessiert die Nutzer nicht mehr. Ähnlich sieht es aus, wenn technische Neuheiten wie Smartphones oder Monitore beschrieben werden.

Veraltete Inhalte bieten keinen Mehrwert mehr für die Nutzer. Daher werden solche Webseiten nicht mehr indexiert. Es ist daher wichtig, die Webseite regelmäßig auf die Relevanz und die Aktualität der Inhalte zu prüfen.

Schlechte interne Verlinkung

Wird eine Webseite nicht indexiert, kann das an einer schlechten internen Verlinkung liegen. Die Inhalte müssen innerhalb der Webseite und im Netz auffindbar sein. Sind zu wenige interne Verlinkungen vorhanden, nimmt der Suchmaschinen-Bot an, dass der Inhalt der Webseite nicht mehr relevant ist. Es ist daher wichtig, interne Links in ausreichender Anzahl und in guter Qualität auf der Webseite zu platzieren.

Wie Sie zur Indexierung der URL beitragen können

Erscheint die Meldung, dass die Webseite gecrawlt, aber nicht indexiert ist, sollten Sie zunächst abwarten. Google benötigt etwas Zeit, um über eine Indexierung zu entscheiden. Es kann helfen, dass Sie die Indexierung für die betroffene URL noch einmal manuell beantragen. Auch wenn Google darauf hinweist, dass Sie das nicht tun müssen, kann das in der Praxis hilfreich sein.

Wird Ihre Webseite weiterhin nicht indexiert, besteht Handlungsbedarf. Prüfen Sie die Inhalte Ihrer Webseite und überarbeiten Sie diese gegebenenfalls. Achten Sie dabei auf die folgenden Aspekte:

• Inhalte, die einen Mehrwert für die Nutzer bieten, darunter auch Fotos und aktuelle Tipps
• Texte in angemessener Länge, mit Unterüberschriften
• aussagekräftige Bildunterschriften
• Inhalte, die aktuell und relevant sind
• genügend interne Links in entsprechender Qualität

Je größer eine Domain ist, desto eher passiert es, dass sie nicht indexiert ist. Das ist normal. Einige Zeit später kann die Domain indexiert sein. Es kommt jedoch nicht auf eine hundertprozentige Indexierung an. Wichtig ist, dass die wichtigsten Webseiten indexiert sind und das Crawlbudget effizient genutzt wurde. Google soll möglichst wenige unwichtige URLs crawlen.

Die wichtigsten Webseiten dürfen nicht im Abdeckungsbericht „Gecrawlt – zurzeit nicht indexiert“ erscheinen. Kontinuierliches SEO-Monitoring hilft dabei, dass Webseitenbetreiber die Top-Inhalte ihrer Domain immer im Blick haben.

Was tun, wenn viele Webseiten nicht indexiert werden?

Wer mehrere Webseiten betreibt, muss prüfen, wie viele Webseiten es sind, die von Google nicht indexiert werden. Die Anzahl der nicht indexierten URLs sollte immer in einem vernünftigen Verhältnis zur Gesamtzahl der Webseiten stehen. Wenn eine Domain nur 150 Seiten hat, besteht Handlungsbedarf, wenn davon 50 Seiten nicht indexiert werden. Anders sieht es aus, wenn eine Domain 20.000 URLs hat und davon 50 nicht indexiert sind.

Weiterhin kommt es darauf an, auf die Tendenz zu achten. Handlungsbedarf besteht auch, wenn die Zahl der nicht indexierten Seiten zunimmt. Steigt die Zahl der nicht indexierten Seiten stark an, kann das daran liegen, dass zu einem bestimmten Zeitpunkt viele Seiten mit ähnlichen Inhalten erstellt wurden.

Prüfung der nicht indexierten Inhalte

Werden viele Seiten nicht indexiert, sollten Sie prüfen, ob die nicht indexierten Inhalte Gemeinsamkeiten aufweisen. Ein Grund dafür kann sein, dass die URLs immer denselben Aufbau haben. Das kann ein Hinweis auf Duplicate Content sein. Wenn viele Inhalte derselben Seitenart angehören, kann das auf Thin Content hindeuten.

Haben Sie die Ursache gefunden, warum Seiten nicht indexiert wurden, geht es an die Optimierung. Setzen Sie geeignete interne Links, löschen Sie Inhalte und fügen Sie aktuelle Inhalte ein.

Meldung: Gefunden – zurzeit nicht indexiert

Es ist auch möglich, dass in der Google Search Console die Meldung erscheint, dass eine URL gefunden, aber zurzeit nicht indexiert ist. Das bedeutet, dass diese URL gar nicht erst gecrawlt wurde. Sie wurde von Google gesehen, aber nicht heruntergeladen und gerendert.

Als Grund dafür gibt Google ein technisches Problem an. Google hat versucht, die URL zu crawlen. Das hätte die Website jedoch überlastet. Google wird die Webseite zu einem späteren Zeitpunkt crawlen. Das Feld mit dem letzten Crawling-Datum ist daher im Bericht leer. Sie können die Webseite noch einmal einreichen, um zu versuchen, dass sie schneller gecrawlt wird.

Wurde die URL noch gar nicht gecrawlt, sollten Sie Ihre Webseite auf ihre Inhalte und die internen Verlinkungen prüfen. Genau wie in dem Fall, dass die Webseite gecrawlt, aber nicht indexiert wurde, gilt, dass Sie die Inhalte optimieren sollten.

Fazit

Für Ihre URL ist es wichtig, dass sie ein gutes Ranking erzielt. Voraussetzung dafür ist, dass sie gecrawlt und indexiert wird. Nur mit der Indexierung kann die Webseite ein gutes Ranking in Suchmaschinen wie Google erzielen. Wird die Webseite gecrawlt, aber nicht indexiert, kann das daran liegen, dass Google einfach etwas Zeit benötigt und die Webseite zu einem späteren Zeitpunkt indexiert. Ihre Webseite können Sie manuell einreichen, damit sie indexiert wird. Zusätzlich sollten Sie Ihre Webseite prüfen, denn Google und andere Suchmaschinen legen Wert auf Inhalte. Die Webseite darf keinen doppelten Inhalt aufweisen. Die Inhalte dürfen nicht zu dünn sein. Sie müssen aussagekräftig sein und einen Mehrwert bieten. Es kommt darauf an, dass die Inhalte relevant sind und dass genügend interne Verlinkungen vorhanden sind.

Über den Autor

Fabian Auler ist Gründer der Online-Marketing- und SEO-Agentur Farbentour. Seit über zehn Jahren hilft er mit seinem Team Unternehmen dabei, ihre Sichtbarkeit bei Google zu steigern. Als Speaker, Fachautor und Berater teilt er praxisnahes Wissen rund um Suchmaschinenoptimierung und Online-Marketing.