Kostenlos und datenschutzfreundlich
Zuletzt aktualisiert:
Robots.txt-Regeln gegen User-Agent und URL-Pfade mit deterministischer Prioritätslogik testen.
Wobei dieses Tool hilft
Nutzen Sie dieses Tool, wenn Sie eine URL-spezifische Crawl-Entscheidung für einen bestimmten Bot benötigen: vor dem Deployment einer robots.txt-Änderung, nach einer CMS-Migration oder wenn ein Crawler sich auf einem Pfad unerwartet verhält, den Sie für offen hielten.
Das Ergebnis für jede URL zeigt drei Dinge: die übereinstimmende User-Agent-Gruppe, die gewinnende Regel und das abschließende Allow- oder Disallow-Ergebnis. Ein sauberes Allow-Ergebnis bedeutet, dass die URL die Robots-Prüfung besteht. Ein Disallow-Ergebnis mit einer spezifischen gewinnenden Regel zeigt genau, welche Direktive den Pfad blockiert. Wenn keine Regel übereinstimmte, ist die URL implizit erlaubt.
Nächster Schritt
Robots.txt-Regeln gegen User-Agent und URL-Pfade mit deterministischer Prioritätslogik testen.
Redaktionelle Prüfung
Diese Seite kombiniert den Live-Rechner, Eingabehinweise, Beispielrechnungen und typische Grenzen, damit Robots.txt-Tester nicht nur schnell, sondern auch nachvollziehbar genutzt werden kann.
Zuletzt im Klartext-Tools-Review auf Basis des aktuellen Robots.txt-Tester-Setups am 2026-03-06 geprüft.
Zuletzt aktualisiert:
Bitte beachten
Seitenüberblick
Ein gängiges Setup, das einen Admin-Bereich blockiert, aber einen spezifischen Hilfepfad und einen Googlebot-Vorschau-Pfad freigibt.
Nützlich, um zu sehen, wie eine spezifischere Allow-Regel ein breiteres Disallow-Muster überschreiben kann.
Den User-Agent nach dem Laden des Beispiels ändern, um zu vergleichen, wie das Ergebnis für andere Crawler variiert.
Ein Regelsatz, der nur dann korrekt funktioniert, wenn Query-Strings in der Matching-Logik berücksichtigt werden.
Gut zum Prüfen, ob Query-String-Handling eine Crawl-Entscheidung für Such- oder Checkout-URLs ändert.
Den Match-Modus nach dem Laden des Beispiels auf Nur-Pfad zurückstellen, um zu sehen, wie sich das Ergebnis ändert.
Fügen Sie den robots.txt-Inhalt ein, den Sie testen möchten: nicht nur den relevanten Abschnitt, sondern die gesamte Datei, damit Gruppeninteraktionen korrekt aufgelöst werden.
Fügen Sie den vollständigen robots.txt-Inhalt in das Eingabefeld ein.
Geben Sie den User-Agent-Namen ein, den Sie testen möchten, z. B. Googlebot oder ein benutzerdefiniertes Crawler-Token.
Fügen Sie die zu prüfenden URL-Pfade hinzu, einen pro Zeile: vollständige URLs oder Nur-Pfad-Strings.
Wählen Sie den Strict- oder Permissiv-Syntaxmodus und ob Query-Strings im Matching berücksichtigt werden sollen.
Führen Sie den Tester aus und prüfen Sie die übereinstimmende Gruppe, die gewinnende Regel und das Allow- oder Disallow-Ergebnis für jeden Pfad.
Laden Sie eine einfache Crawl-Steuerungsdatei oder einen query-sensitiven Regelsatz, um Priorität, Allow-Überschreibungen und User-Agent-Targeting zu testen.
Ein gängiges Setup, das einen Admin-Bereich blockiert, aber einen spezifischen Hilfepfad und einen Googlebot-Vorschau-Pfad freigibt.
Beispielwerte
Beispielausgabe: Nützlich, um zu sehen, wie eine spezifischere Allow-Regel ein breiteres Disallow-Muster überschreiben kann.
Den User-Agent nach dem Laden des Beispiels ändern, um zu vergleichen, wie das Ergebnis für andere Crawler variiert.
Ein Regelsatz, der nur dann korrekt funktioniert, wenn Query-Strings in der Matching-Logik berücksichtigt werden.
Beispielwerte
Beispielausgabe: Gut zum Prüfen, ob Query-String-Handling eine Crawl-Entscheidung für Such- oder Checkout-URLs ändert.
Den Match-Modus nach dem Laden des Beispiels auf Nur-Pfad zurückstellen, um zu sehen, wie sich das Ergebnis ändert.
Eine robots.txt-Regel zu schreiben und davon auszugehen, dass sie wie beabsichtigt funktioniert, ist einer der häufigsten Fehler in der technischen Site-Pflege. Prioritätsregeln für User-Agent-Spezifität, Pfad-Matching und Allow-versus-Disallow-Interaktion sind nicht immer intuitiv: eine isoliert korrekt aussehende Regel kann durch ein spezifischeres Muster an anderer Stelle in der Datei überschrieben werden. Dieser Tester prüft echten robots.txt-Inhalt gegen reale Pfade mit deterministischer Prioritätslogik.
Fügen Sie Ihren robots.txt-Inhalt ein, geben Sie den Crawler-Namen ein, den Sie testen möchten, und fügen Sie einen oder mehrere URL-Pfade hinzu. Der Tester wertet aus, welche User-Agent-Gruppe gilt, findet die spezifischste übereinstimmende Direktive und gibt für jede URL ein Allow- oder Disallow-Ergebnis zurück: zusammen mit der gewinnenden Regel und der zuständigen Gruppe.
Wenn mehrere Regeln auf eine URL passen könnten, gewinnt die längste Pfadübereinstimmung: unabhängig von der Regelreihenfolge. Eine spezifische Allow-Direktive für /admin/help/ schlägt ein breiteres Disallow für /admin/, weil sie länger ist. Bei gleicher Pfadlänge hat Allow Vorrang vor Disallow. User-Agent-spezifische Gruppen haben Vorrang vor der Wildcard-Gruppe (*).
Der Tester sucht zuerst nach einer Gruppe, die den eingegebenen User-Agent genau benennt (Groß-/Kleinschreibung wird ignoriert). Existiert keine benannte Gruppe, wird auf die Wildcard-Gruppe (*) zurückgegriffen. Ein Bot, der zu einer benannten Gruppe passt, wird nicht auch von der Wildcard-Gruppe bestimmt: nur die spezifischste Übereinstimmung gilt.
Das Ergebnis für jede URL zeigt drei Dinge: die übereinstimmende User-Agent-Gruppe, die gewinnende Regel und das abschließende Allow- oder Disallow-Ergebnis. Ein sauberes Allow-Ergebnis bedeutet, dass die URL die Robots-Prüfung besteht. Ein Disallow-Ergebnis mit einer spezifischen gewinnenden Regel zeigt genau, welche Direktive den Pfad blockiert. Wenn keine Regel übereinstimmte, ist die URL implizit erlaubt.
Der Strict-Modus markiert Direktiven, die nicht genau der robots.txt-Spezifikation entsprechen: nützlich, wenn Edge Cases erkannt werden sollen, die manche Crawler ablehnen könnten. Der Permissiv-Modus verwendet einen toleranteren Parser, der gängige informelle Muster akzeptiert. Strict-Modus vor Deployment-Änderungen an einer Produktionsdatei verwenden; Permissiv-Modus beim Analysieren einer bestehenden Datei, die nicht selbst geschrieben wurde.
Standardmäßig gleicht der Tester nur den URL-Pfad ab und ignoriert Query-Strings, so verhalten sich die meisten großen Crawler. Das Umschalten auf Pfad-und-Query-Modus bezieht den vollständigen Query-String in den Musterabgleich ein, was relevant ist, wenn Ihre robots.txt Direktiven wie Disallow: /search?session= verwendet. Beide Modi testen, wenn Regeln query-sensitive Muster enthalten.
Die meisten robots-Fehler beim Launch sind vermeidbar. Das Problem ist nicht, dass robots.txt schwer waere. Das Problem ist, dass Teams die Datei zu spät prüfen, zu wenig testen oder einige funktionierende URLs mit einer sicheren Crawl-Richtlinie verwechseln.
hreflang-Fehler sind kostspielig, weil sie Lokalisierungsarbeit nach dem Seitenstart entwerten. Ein mehrsprachiger Release kann strukturell vollständig wirken und trotzdem beim Sprach-Targeting scheitern, wenn gegenseitige Verlinkungen, URL-Zuordnungen oder die Seitenverfügbarkeit nicht vor der Veröffentlichung geprüft werden.
Diese Tools überschneiden sich, beantworten aber unterschiedliche Launch-Fragen. Robots.txt-Prüfer ist stärker, wenn Sie die gesamte Datei als Richtlinie prüfen wollen. Robots.txt-Tester ist stärker, wenn Sie für eine konkrete URL und einen bestimmten Bot ein klares Ja-oder-Nein brauchen.
Kleine Teams stehen vor einem Launch oft an einem Entscheidungspunkt: Reichen kostenlose browserbasierte Tools aus, oder rechtfertigt dieser Release eine kostenpflichtige SEO-Suite? Die ehrliche Antwort hängt weniger von Überzeugungen ab als von Skalierung, Verantwortlichkeit und dem Risikogehalt des Release-Fensters.
Einzelbetreiber und kleine Publisher brauchen keine QA auf Agenturniveau. Sie brauchen einen kurzen, wiederholbaren Ablauf, den sie vor jedem Veröffentlichen wirklich durchziehen. Der häufigste Fehler bei Launches kleiner Websites ist nicht die falsche Methode, sondern das vollständige Auslassen der Prüfung, weil kein klarer Prozess dazu anleitet. Diese Auswahl deckt browserbasierte Tools ab, die die risikoreichsten Fehler für Websites mit ein oder zwei Verantwortlichen schnell sichtbar machen.
Technische Website-Tools für robots.txt, hreflang, Sitemap-Validierung, Crawl-Checks und Performance-Diagnosen.
Einen vollständigen strukturellen Audit der Datei durchführen. Konflikte, Syntax-Warnungen und Best-Practice-Checks über alle Gruppen.
Prüfen, ob die gecrawlten URLs korrekt in der Sitemap repräsentiert sind.
Internationale Seitenannotationen validieren, sobald der Crawl-Zugriff bestätigt ist.
Wenn das Problem über diese Kategorie hinausgeht, helfen diese Tools aus anderen Bereichen beim nächsten Schritt.
Modelliere langfristiges Wachstum aus Startkapital, Sparraten und Inflation, bevor du dich auf einen Sparplan festlegst.
Tool öffnenBerechnen Sie, wie sich Ihr Startkapital und regelmäßige monatliche Einzahlungen mit Zinseszins über einen beliebigen Zeitraum entwickeln.
Tool öffnenBerechnen Sie Ihr Altersvorsorgekapital aus aktuellem Portfolio, monatlichen Beiträgen, erwarteter Rendite und Inflationsrate.
Tool öffnenAnalysieren Sie Nullstellen, Scheitelpunkt, Symmetrieachse und Kurvenverlauf in einem Lauf.
Tool öffnen