Kostenlos und datenschutzfreundlich
Zuletzt aktualisiert:
Prüfe Crawler-Zugriff, übereinstimmende Gruppen und gewinnende Regeln für eine URL, bevor du robots.txt änderst.
Wobei dieses Tool hilft
Nutzen Sie dieses Tool, wenn Sie wissen möchten, ob ein Crawler Zugriff auf einen bestimmten Pfad haben sollte und warum. Es ist besonders nützlich vor dem Deployment, nach CMS-Regeländerungen oder wenn das Crawler-Verhalten nicht dem entspricht, was die robots.txt-Datei auf den ersten Blick vermuten lässt.
Die wichtigste Ausgabe ist nicht nur erlaubt oder blockiert. Es ist die Frage, welche User-Agent-Gruppe übereinstimmte, welche Regel gewann und ob dieses Ergebnis Ihrer Crawl-Absicht für den getesteten Pfad entspricht.
Längste passende Allow/Disallow-Pfadregel innerhalb der gewählten User-Agent-GruppenNächster Schritt
Prüfe Crawler-Zugriff, übereinstimmende Gruppen und gewinnende Regeln für eine URL, bevor du robots.txt änderst.
Redaktionelle Prüfung
Diese Seite kombiniert den Live-Rechner, Eingabehinweise, Beispielrechnungen und typische Grenzen, damit Robots.txt Prüfer nicht nur schnell, sondern auch nachvollziehbar genutzt werden kann.
Zuletzt im Klartext-Tools-Review auf Basis des aktuellen Robots.txt Prüfer-Setups am 2026-03-01 geprüft.
Zuletzt aktualisiert:
Bitte beachten
Seitenüberblick
Ein gängiges Setup erlaubt die meisten Inhalte, blockiert aber Admin- und Checkout-Pfade.
Nützlich, um zu prüfen, dass breite Disallow-Regeln nicht versehentlich in öffentliche Inhaltsbereiche übergehen.
Eine Website blockiert ein übergeordnetes Verzeichnis, gibt aber absichtlich einen tieferen Hilfebereich frei.
Gut zum Verständnis, warum die längste übereinstimmende Pfadregel wichtiger ist als die Regelreihenfolge allein.
Fügen Sie die aktuelle Datei genau so ein, wie sie geplant oder deployt ist, und testen Sie dann den User-Agent und den Pfad, der am wichtigsten ist: statt nur die Wildcard-Gruppe zu prüfen.
Fügen Sie den robots.txt-Inhalt ein und geben Sie den Crawler-Namen ein, den Sie testen möchten, z. B. Googlebot oder einen breiteren Wildcard-Fall.
Geben Sie den Pfad oder die vollständige URL ein, deren Crawl-Berechtigung Sie prüfen möchten.
Führen Sie den Auditor aus und überprüfen Sie gemeinsam die übereinstimmende Gruppe, die gewinnende Regel und das abschließende Allow- oder Disallow-Ergebnis.
Wenn das Ergebnis falsch aussieht, passen Sie die Datei an und führen Sie denselben Pfad und Crawler erneut aus, um die Korrektur zu bestätigen.
Nutzen Sie ein sicheres Setup und ein konfliktreiches Setup, um zu verstehen, was die Ausgabe der gewinnenden Regel tatsächlich bedeutet.
Ein gängiges Setup erlaubt die meisten Inhalte, blockiert aber Admin- und Checkout-Pfade.
Beispielwerte
Beispielausgabe: Nützlich, um zu prüfen, dass breite Disallow-Regeln nicht versehentlich in öffentliche Inhaltsbereiche übergehen.
Eine Website blockiert ein übergeordnetes Verzeichnis, gibt aber absichtlich einen tieferen Hilfebereich frei.
Beispielwerte
Beispielausgabe: Gut zum Verständnis, warum die längste übereinstimmende Pfadregel wichtiger ist als die Regelreihenfolge allein.
Fehlerhafte Robots-Direktiven können wichtige Seiten blockieren, unbeabsichtigt Abschnitte für Crawler zugänglich machen oder widersprüchliche Regeln erzeugen, die nach dem Launch schwer zu durchschauen sind. Der Schaden durch einen falschen robots.txt-Eintrag ist oft still. Sie merken es möglicherweise erst, wenn jemand fragt, warum Seiten nicht in Suchergebnissen erscheinen. Dieser Auditor erkennt Direktiven-Konflikte, zu weit gefasste Disallow-Muster und Allow/Disallow-Interaktionsprobleme.
Die meisten robots-Fehler beim Launch sind vermeidbar. Das Problem ist nicht, dass robots.txt schwer waere. Das Problem ist, dass Teams die Datei zu spät prüfen, zu wenig testen oder einige funktionierende URLs mit einer sicheren Crawl-Richtlinie verwechseln.
hreflang-Fehler sind kostspielig, weil sie Lokalisierungsarbeit nach dem Seitenstart entwerten. Ein mehrsprachiger Release kann strukturell vollständig wirken und trotzdem beim Sprach-Targeting scheitern, wenn gegenseitige Verlinkungen, URL-Zuordnungen oder die Seitenverfügbarkeit nicht vor der Veröffentlichung geprüft werden.
Diese Tools überschneiden sich, beantworten aber unterschiedliche Launch-Fragen. Robots.txt-Prüfer ist stärker, wenn Sie die gesamte Datei als Richtlinie prüfen wollen. Robots.txt-Tester ist stärker, wenn Sie für eine konkrete URL und einen bestimmten Bot ein klares Ja-oder-Nein brauchen.
Kleine Teams stehen vor einem Launch oft an einem Entscheidungspunkt: Reichen kostenlose browserbasierte Tools aus, oder rechtfertigt dieser Release eine kostenpflichtige SEO-Suite? Die ehrliche Antwort hängt weniger von Überzeugungen ab als von Skalierung, Verantwortlichkeit und dem Risikogehalt des Release-Fensters.
Agentur-Launch-QA unterscheidet sich von der QA einzelner Website-Betreiber, weil das Übergabe-Risiko höher ist. Ein Tool-Stack muss Probleme klar genug erfassen, dass das Team sie gegenüber Kunden, Entwicklern und Content-Verantwortlichen erklären kann: ohne eine weitere Debugging-Schleife zu erzeugen.
Einzelbetreiber und kleine Publisher brauchen keine QA auf Agenturniveau. Sie brauchen einen kurzen, wiederholbaren Ablauf, den sie vor jedem Veröffentlichen wirklich durchziehen. Der häufigste Fehler bei Launches kleiner Websites ist nicht die falsche Methode, sondern das vollständige Auslassen der Prüfung, weil kein klarer Prozess dazu anleitet. Diese Auswahl deckt browserbasierte Tools ab, die die risikoreichsten Fehler für Websites mit ein oder zwei Verantwortlichen schnell sichtbar machen.
Technische Website-Tools für robots.txt, hreflang, Sitemap-Validierung, Crawl-Checks und Performance-Diagnosen.
Prüfen Sie, ob die URLs, die gecrawlt werden sollen, sauber in der Sitemap erscheinen.
Führen Sie eine zweite URL-fokussierte Prüfung durch, wenn Sie Regelergebnisse auf weiteren Pfaden inspizieren möchten.
Internationale Seitenbeziehungen validieren, nachdem der Crawl-Zugriff bestätigt wurde.
Wenn das Problem über diese Kategorie hinausgeht, helfen diese Tools aus anderen Bereichen beim nächsten Schritt.
Modelliere langfristiges Wachstum aus Startkapital, Sparraten und Inflation, bevor du dich auf einen Sparplan festlegst.
Tool öffnenBerechnen Sie, wie sich Ihr Startkapital und regelmäßige monatliche Einzahlungen mit Zinseszins über einen beliebigen Zeitraum entwickeln.
Tool öffnenBerechnen Sie Ihr Altersvorsorgekapital aus aktuellem Portfolio, monatlichen Beiträgen, erwarteter Rendite und Inflationsrate.
Tool öffnenAnalysieren Sie Nullstellen, Scheitelpunkt, Symmetrieachse und Kurvenverlauf in einem Lauf.
Tool öffnen