Generador de robots.txt
Escriba reglas de rastreo que los buscadores sí siguen, con su sitemap ya enlazado.
robots.txt controla el rastreo, no la indexación. Una página bloqueada puede seguir apareciendo en los resultados si otros sitios enlazan a ella: use una meta etiqueta noindex para excluirla.
Qué revisa
- Escribe un grupo User-agent: * a partir de uno de tres ajustes predefinidos: permitir todo, bloquear las rutas habituales de una aplicación o bloquear todo el sitio para un entorno de pruebas.
- El ajuste de aplicación bloquea /admin/, /cart/, /checkout/, /account/, /search y las URL ordenadas que coinciden con /*?*sort=.
- Añade una línea Disallow por cada ruta adicional que indique, y pone la barra inicial si la ha omitido.
- Si lo desea, añade grupos que bloquean GPTBot, CCBot, ClaudeBot, Google-Extended, anthropic-ai y PerplexityBot en todo el sitio.
- Añade una línea Sitemap que apunta a /sitemap.xml en el sitio que introduce.
- Crea el archivo en su navegador, listo para copiar o descargar como robots.txt.
Cómo leer el resultado
Cada valor Disallow se aplica desde el principio de la ruta. /search bloquea /search?q=shoes, pero también /search-tips y /searchable-products. Contraste la lista con sus propias URL y asegúrese de que ninguna página que quiera que se encuentre empiece por una ruta bloqueada.
La línea Sitemap da por hecho que su sitemap está en /sitemap.xml. Si está en otro sitio, como /sitemap_index.xml, cambie esa línea antes de subir el archivo. El archivo solo funciona en la raíz del host, por ejemplo https://example.com/robots.txt, y cada subdominio necesita el suyo.
La opción de rastreadores de IA bloquea los seis bots que aparecen en el archivo y ninguno más. Algunos recogen datos de entrenamiento y otros obtienen páginas para asistentes que citan sus fuentes, así que bloquear los seis puede reducir las veces que se le cita. Déjelos permitidos si le importa aparecer citado en las respuestas de IA.
Preguntas
¿Comprueba mi robots.txt actual?
No. Escribe un archivo nuevo a partir de las opciones que elige y no consulta su sitio. Compare el resultado con su archivo publicado antes de sustituirlo, para conservar las reglas que se añadieron a propósito.
¿Cómo mantengo un sitio de pruebas fuera de los resultados de búsqueda?
Protéjalo con contraseña. El ajuste de pruebas pide a los rastreadores que no entren, pero robots.txt es una petición, y una URL bloqueada puede aparecer igualmente si algo enlaza a ella.
¿Los bots de IA también siguen las reglas de User-agent: *?
No. Un rastreador sigue el grupo más específico que lo nombra e ignora los demás, así que cada grupo de bot de IA funciona por su cuenta. Si añade a mano un grupo para otro bot, repita las líneas Disallow que quiera que respete.
¿Necesito realmente un robots.txt?
No. Sin él, los rastreadores entienden que pueden acceder a todo. Aun así, sirve para indicar a los rastreadores dónde está su sitemap y mantenerlos fuera de carritos, cuentas y resultados de búsqueda internos.
Esto revisa una página, una vez. Tu equipo revisa cada página, cada semana, y corrige lo que encuentra.
Más herramientas gratis
Generador de etiquetas hreflang
Crea etiquetas hreflang recíprocas para cada versión de idioma de una página y detecta los errores de código que las rompen sin avisar.
Limpiador de texto de IA
Encuentre los caracteres de ancho cero y las marcas de agua escondidas en el texto pegado y elimínelos.
Comprobador de sitemap.xml
Analice un sitemap en vivo y detecte los errores que dejan páginas fuera del índice.
Comprobador de etiquetas meta
Vea exactamente qué leen los buscadores y las redes sociales en una página.
Vista previa del snippet en la SERP
Vea cómo se cortarán el título y la descripción antes de publicarlos.
Generador de marcado schema
Genere JSON-LD válido para los tipos que los buscadores usan de verdad.