El archivo robots.txt ha sido, durante casi tres décadas, la herramienta fundamental para que los administradores web dicten qué partes de un sitio pueden o no ser rastreadas por los bots.
Nacido como una solución de facto en 1994, su funcionamiento se basó en el consenso tácito de la industria. Sin embargo, la llegada de la Inteligencia Artificial (IA) generativa y la necesidad de establecer reglas claras sobre el uso del contenido en datasets masivos ha obligado a la comunidad tecnológica a formalizar y expandir este protocolo.
En 2022, el Internet Engineering Task Force (IETF) culminó este esfuerzo con la publicación del estándar robots.txt (RFC 9309), abriendo la puerta a nuevas reglas críticas que están por redefinir el control sobre nuestra información digital.
Este artículo explora la base de este nuevo estándar y, crucialmente, la extensión propuesta por el IETF para utilizar el renovado protocolo de exclusión para gestionar cómo la IA accede y utiliza su contenido, ofreciendo una nueva esperanza de control a los creadores.
De Protocolo No Oficial a Estándar: El Significado de RFC 9309
Durante años, la sintaxis del robots.txt fue interpretada de forma ligeramente distinta por cada motor de búsqueda (Google, Bing, Yahoo!). Esto generaba inconsistencias y errores de rastreo. La publicación de la RFC 9309 por el IETF, una organización que define los protocolos fundamentales de Internet (como TCP/IP y HTTP), puso fin a esta ambigüedad.
El estándar robots.txt (RFC 9309) se convirtió en la definición oficial y rigurosa del Protocolo de Exclusión de Robots, formalizando elementos clave como:
-
Sintaxis y Parsing: Definición exacta de cómo deben interpretarse las directivas
User-agent,AllowyDisallow. -
Manejo de Errores: Establecimiento de reglas claras para el comportamiento de los crawlers ante archivos
robots.txtinaccesibles (errores 404 o 503) o archivos demasiado grandes. -
Carácter Consultivo: Reafirmó que el protocolo es una guía de rastreo (advisory guidance), no un mecanismo de seguridad o control de acceso.
La estandarización era el paso necesario para que la industria pudiera construir sobre una base sólida y confiable. Esto fue fundamental, ya que el siguiente gran reto no era el SEO tradicional, sino la creciente voracidad de los modelos de Lenguaje Grande (LLMs).
La Extensión de las Reglas: Controlando el Rastreo de la Inteligencia Artificial
Con la explosión de la IA generativa, surgió la necesidad urgente de diferenciar entre el rastreo legítimo para fines de indexación de búsqueda y el rastreo masivo para entrenamiento de modelos de IA. Inicialmente, propuestas como llms.txt intentaron abordar el problema de forma independiente, pero sin la adopción de los grandes actores (Google, Microsoft), su eficacia fue limitada.
Para resolver este vacío, el IETF lanzó el AI Preferences Working Group (AIPREF). El objetivo de este grupo es estandarizar un vocabulario y un mecanismo para que los propietarios de contenido puedan especificar cómo (o si) los sistemas de IA pueden utilizar sus activos digitales.
¿Te ayudo a ordenar tu marketing digital?
Si todo esto de páginas web, logos, campañas, SEO, embudos y “estrategia digital” te trae mareado, escríbeme por WhatsApp. Cuéntame qué vendes, qué te gustaría lograr (más clientes, mejor marca, un sitio que sí convierta) y vemos qué tipo de acción tiene más sentido para tu negocio ahora mismo.
👋 Joaquín, hablemos por WhatsAppLa clave de esta propuesta es integrar las nuevas directivas directamente en el protocolo ya estandarizado, utilizando la potencia del robots.txt IETF (RFC 9309) como vehículo de comunicación.
La Directiva Clave: Implementación de Content-Usage en robots.txt
El AIPREF propuso la adición de una nueva directiva al protocolo de exclusión: Content-Usage. Esta directiva funciona de manera análoga a Allow y Disallow, pero en lugar de controlar el acceso geográfico, controla la finalidad con la que se usa el contenido accedido.
H4 Vocabulario y Valores
La propuesta define un vocabulario estandarizado de categorías de uso que permite una granularidad inédita para los administradores web:
| Categoría de Uso | Descripción | Propósito |
search |
Indexación o descubribilidad en resultados de búsqueda tradicionales. | Permite que el contenido sea indexado. |
train-ai |
Entrenamiento general de modelos de IA (LLMs). | Permite o prohíbe la inclusión en datasets. |
train-genai |
Entrenamiento de modelos de IA generativa (como GPT o Gemini). | Control más específico sobre el entrenamiento. |
bots |
Procesamiento automatizado de contenido en general (crawling/scraping). | Cobertura amplia. |
Para cada una de estas categorías, se pueden aplicar dos valores:
-
y(yes): Permite o autoriza explícitamente el uso. -
n(no): Deniega o prohíbe explícitamente el uso.
H4 Ejemplos Prácticos de Bloqueo IETF
El verdadero poder de la directiva Content-Usage reside en su capacidad para aplicarse por secciones y por agente de usuario, al igual que las reglas tradicionales de robots.txt.
Para bloquear globalmente que cualquier modelo de IA entrene sus sistemas con el contenido de su dominio, se implementaría lo siguiente:
User-agent: *
Allow: /
Content-Usage: train-ai=n
Si se desea permitir que un subdirectorio específico (/publicaciones-cientificas/) sea utilizado para entrenamiento de IA, mientras el resto del sitio permanece bloqueado, la regla de mayor especificidad prevalece:
User-agent: *
Content-Usage: train-ai=n
User-agent: *
Allow: /publicaciones-cientificas/
Content-Usage: /publicaciones-cientificas/ train-ai=y
El uso de esta directiva junto al User-Agent: * o a user-agents específicos ofrece a los especialistas SEO y a los desarrolladores un control mucho más fino sobre el destino de su contenido en la era de la IA, sin necesidad de recurrir a soluciones externas o no estandarizadas.
Implicaciones Estratégicas y Futuro para el SEO Técnico
La adopción de este nuevo estándar y, especialmente, de la directiva Content-Usage tiene implicaciones directas en la estrategia SEO y la administración de sitios web:
-
Protección de la Propiedad Intelectual (Opcional): Los creadores obtienen, por primera vez, un mecanismo técnico estandarizado para desvincular el rastreo de búsqueda del uso de contenido para entrenamiento de IA.
-
Optimización del Presupuesto de Rastreo (Crawl Budget): Aunque la directiva principal sigue siendo
Disallow, al clasificar los usos del contenido, se puede influir en la eficiencia de los bots que no están ahí por propósitos de indexación orgánica tradicional. -
Diferenciación de Visibilidad: Si un sitio desea posicionarse en la nueva generación de respuestas basadas en Retrieval Augmented Generation (RAG) —una fuente de tráfico creciente—, puede usar explícitamente
train-ai=yosearch=y(si aplica) para asegurarse de que su contenido sea utilizado por los sistemas inteligentes. -
Coherencia con Normativas: La estandarización facilita que las empresas globales se adhieran a regulaciones internacionales (como las normativas de derechos de autor de la UE), proporcionando un mecanismo técnico de opt-out reconocido.
La participación activa de grandes actores como Google (con Gary Illyes como coautor de los borradores) sugiere que esta extensión tiene altas probabilidades de ser adoptada universalmente una vez que el borrador final del IETF sea publicado como un estándar completo.
Preguntas Frecuentes
¿Qué diferencia hay entre Content-Usage y User-agent?
La directiva User-agent identifica al bot (ej. Googlebot, Bingbot, *), mientras que Content-Usage especifica qué tipo de actividad se permite o prohíbe con el contenido que dicho bot puede acceder. Content-Usage es la capa de propósito, no la capa de identidad.
¿Reemplazará Content-Usage a la metaetiqueta noindex?
No. La directiva Content-Usage en robots.txt es consultiva y orientada al rastreo (crawl). Si su objetivo es evitar que una URL aparezca en los resultados de búsqueda (indexing), debe seguir utilizando la metaetiqueta robots: noindex (o la cabecera X-Robots-Tag).
¿La directiva Content-Usage es obligatoria para todos los sitios web?
No, no es obligatoria. Es una herramienta que otorga control al propietario del sitio. Si un sitio no utiliza la directiva Content-Usage, el uso de su contenido por parte de la IA se rige por las reglas tradicionales de Allow/Disallow y por el marco legal aplicable.
Conclusión
La formalización del Protocolo de Exclusión de Robots a través de la RFC 9309 fue un hito de rigor técnico que ha sentado las bases para la siguiente gran evolución: el control algorítmico del contenido frente a la Inteligencia Artificial.
La directiva propuesta Content-Usage es la respuesta más prometedora y estandarizada hasta la fecha para que especialistas SEO, desarrolladores y creadores de contenido puedan diferenciar explícitamente entre el rastreo para indexación y el entrenamiento de modelos de IA. Estar al tanto de estos borradores del robots.txt IETF y prepararse para implementar el nuevo vocabulario de exclusión es un paso proactivo esencial para cualquier administrador web que busque proteger su propiedad intelectual y optimizar su estrategia de visibilidad en el ecosistema digital impulsado por la IA.
