Verificador de Robots.txt

Obtén el archivo robots.txt de cualquier sitio.

Robots.txt es un estándar utilizado por los sitios web para comunicarse con rastreadores web y robots de motores de búsqueda. Nuestro verificador robots.txt recupera y muestra este archivo desde cualquier URL, mostrando exactamente qué rutas no están permitidas y qué agentes de usuario se ven afectados.

Resultado

Ingrese una URL para obtener robots.txt.
En la práctica

Robots Checker en acción

Tras una migración de sitio, tu tráfico de Google se desploma. Ejecuta el comprobador de robots y encuentras que el "Disallow: /" del servidor de pruebas se copió a producción. Arreglar una línea en robots.txt es todo lo que hace falta, y el comprobador confirma la corrección al instante.

Preguntas Frecuentes

¿Qué es robots.txt?

robots.txt es un archivo en la raíz de un sitio que indica a los rastreadores qué páginas pueden acceder.

¿Cómo compruebo un archivo robots.txt en línea?

Introduce la URL del sitio y la herramienta obtiene su /robots.txt, mostrando todas las reglas en forma legible. También muestra si el archivo existe — un problema sorprendentemente común.

¿Qué significa "Disallow: /" en robots.txt?

Pide a todos los rastreadores que se mantengan fuera del sitio entero. Algunos sitios lo usan durante el desarrollo y olvidan quitarlo — por eso las páginas desaparecen misteriosamente de los resultados tras un rediseño.

¿Puede robots.txt impedir que una página se indexe?

Robots.txt detiene el rastreo pero no garantiza la desindexación. Si una página está enlazada en otros sitios, los buscadores pueden indexarla sin visitarla. Para eliminar páginas ya indexadas usa etiquetas noindex: robots.txt es la primera capa, no la única.