Gratis y centrado en la privacidad
Última actualización:
Revisa acceso de crawlers, grupos coincidentes y reglas ganadoras para una URL antes de cambiar robots.txt.
Que resuelve esta herramienta
Usa esta herramienta cuando quieras saber si un crawler debería tener acceso a una ruta específica y por qué. Es especialmente útil antes del despliegue, después de cambios de reglas en el CMS, o cuando el comportamiento del crawler no coincide con lo que el archivo robots.txt parece indicar a primera vista.
La salida más importante no es solo permitido o bloqueado. Es qué grupo de user-agent coincidió, qué regla ganó y si ese resultado coincide con tu intención de rastreo para la ruta que probaste.
Coincidencia de ruta allow/disallow más larga dentro de los grupos de user-agent seleccionadosSiguiente paso
Revisa acceso de crawlers, grupos coincidentes y reglas ganadoras para una URL antes de cambiar robots.txt.
Revisión editorial
Esta página combina la herramienta en vivo, ayuda de entradas, ejemplos trabajados y límites operativos para que Auditor de Robots.txt sea útil sin depender de anuncios.
Revisado por Klartext Tools frente al flujo actual de Auditor de Robots.txt el 2026-03-01.
Última actualización:
Usar con criterio
Alcance de la página
Una configuración común que permite la mayoría del contenido pero bloquea las rutas de admin y checkout.
Útil para verificar que las reglas disallow amplias no se filtran accidentalmente hacia áreas de contenido público.
Un sitio bloquea un directorio padre pero permite intencionalmente una sección de ayuda más profunda.
Útil para entender por qué la regla de ruta coincidente más larga importa más que el orden de las reglas por sí solo.
Pega el archivo actual exactamente cómo está planificado o desplegado, luego prueba el user-agent y la ruta que más importan en lugar de verificar solo el grupo wildcard.
Pega el contenido de robots.txt e introduce el nombre del crawler que quieres probar, cómo Googlebot o un caso wildcard más amplio.
Introduce la ruta o URL completa cuya elegibilidad de rastreo quieres verificar.
Ejecuta el auditor y revisa juntos el grupo coincidente, la regla ganadora y el resultado final de allow o disallow.
Si el resultado parece incorrecto, ajusta el archivo y vuelve a ejecutar la misma ruta y crawler para confirmar la corrección.
Usa una configuración segura y una con muchos conflictos para entender qué te está diciendo realmente la salida de la regla ganadora.
Una configuración común que permite la mayoría del contenido pero bloquea las rutas de admin y checkout.
Entradas de ejemplo
Resultado de ejemplo: Útil para verificar que las reglas disallow amplias no se filtran accidentalmente hacia áreas de contenido público.
Un sitio bloquea un directorio padre pero permite intencionalmente una sección de ayuda más profunda.
Entradas de ejemplo
Resultado de ejemplo: Útil para entender por qué la regla de ruta coincidente más larga importa más que el orden de las reglas por sí solo.
Los archivos robots.txt son fáciles de romper de formas que no son visibles de inmediato: una regla disallow demasiado amplia puede bloquear páginas de producto enteras, una directiva allow más específica puede rescatar URLs que deberían bloquearse, y la precedencia de user-agent varía entre crawlers. Los errores solo se detectan cuando el tráfico de búsqueda cae. Esta herramienta audita las reglas y simula cómo las procesa un crawler específico para que puedas identificar bloqueos accidentales antes de que afecten al rastreo.
La mayoría de errores de robots en un lanzamiento se pueden evitar. El problema no es que robots.txt sea difícil. El problema es que los equipos lo revisan demasiado tarde, prueban demasiado poco o confunden unas cuantas URLs correctas con una política de rastreo segura.
Los errores de hreflang son costosos porque desperdician el trabajo de localización después del lanzamiento. Una versión multilingüe puede parecer estructuralmente completa y aún así fallar en la segmentación por idioma si los enlaces recíprocos, el mapeo de URLs o la disponibilidad de páginas no se comprueban antes de publicar.
Estas herramientas se solapan, pero responden preguntas distintas durante un lanzamiento. El auditor de robots.txt es mejor cuando necesitas revisar el archivo completo como una política. El probador de robots.txt es mejor cuando necesitas una respuesta clara para una URL concreta y un bot concreto.
Los equipos pequeños suelen llegar a un punto de decisión antes del lanzamiento: ¿son suficientes las herramientas basadas en navegador gratuitas o esta publicación justifica una suite SEO de pago? La respuesta honesta depende menos de la ideología y más de la escala, la responsabilidad y la cantidad de riesgo concentrado en la ventana de lanzamiento.
La QA de lanzamiento en agencias es diferente de la QA de un sitio propio porque el riesgo en el traspaso es mayor. Un stack de herramientas tiene que detectar los problemas con suficiente claridad para que el equipo pueda explicárselos a clientes, desarrolladores y responsables de contenido sin generar otro bucle de depuración.
Los operadores individuales y los publishers independientes no necesitan una QA de nivel agencia. Necesitan una revisión corta y repetible que realmente vayan a ejecutar antes de publicar. El fallo más frecuente en los lanzamientos de sitios pequeños no es usar el método incorrecto, sino saltarse completamente la revisión porque ningún proceso obliga a hacerla. Esta shortlist cubre las herramientas en navegador que eliminan los errores de mayor riesgo en el menor tiempo posible para sitios construidos y publicados por una o dos personas.
Utilidades técnicas para sitios web: robots.txt, hreflang, validación de sitemaps, rastreo y diagnóstico de rendimiento.
Verifica si las URLs que quieres rastrear también aparecen correctamente en el sitemap.
Ejecuta una segunda verificación centrada en URLs cuando quieras inspeccionar resultados de reglas en rutas adicionales.
Valida las relaciones entre páginas internacionales una vez confirmado el acceso de rastreo.
Si el problema va más allá de esta categoría, estas herramientas de otras áreas te ayudan con el siguiente paso.
Modela el crecimiento a largo plazo desde capital inicial, aportaciones periódicas e inflación antes de fijar un plan de ahorro.
Abrir herramientaProyecta como un saldo inicial y aportaciones mensuales regulares crecen con interés compuesto a lo largo de cualquier horizonte temporal.
Abrir herramientaProyecta tu capital de jubilación a partir del portfolio actual, aportaciones mensuales, rentabilidad esperada y tasa de inflación.
Abrir herramientaAnaliza raíces, vértice, eje de simetría y comportamiento de la curva en una ejecución.
Abrir herramienta