Google, OpenAI, Microsoft y Anthropic acuerdan una señal común en robots.txt para no entrenar IA: qué es y qué decidir si tenés un sitio web

Resumen ejecutivo

• Anthropic, OpenAI, Google y Microsoft se sumaron a una propuesta para que los sitios web indiquen en su archivo robots.txt si aceptan que su contenido se use para entrenar modelos de IA.

• La propuesta es un borrador presentado ante la IETF (el organismo que define estándares de internet) e introduce una regla llamada __usage_ai-training.

• Es una preferencia, no un bloqueo: no impide que un rastreador acceda a la página ni crea acuerdos de licencia o pago.

• Si tenés un sitio, ya podés revisar tu robots.txt y decidir qué permitir; te explicamos cómo y qué no cambia para tu SEO.

Hasta ahora, si querías que tu contenido no se usara para entrenar inteligencia artificial, tenías que bloquear uno por uno a los rastreadores de cada empresa: GPTBot de OpenAI, Google-Extended de Google y así. Según informó The Next Web a fines de octubre, las cuatro grandes empresas de IA apoyaron una señal común. La propuesta permitiría expresar esa preferencia con una sola línea. Si administrás un sitio, un blog o la web de un cliente, conviene entender qué cambia y qué no.

Qué es robots.txt y para qué sirve

El robots.txt es un archivo de texto que vive en la raíz de un sitio (por ejemplo, tusitio.com/robots.txt) y les indica a los rastreadores qué partes pueden visitar. Su funcionamiento está estandarizado en el RFC 9309, el documento técnico que define el protocolo. Google explica en su guía sobre robots.txt que sirve para administrar el rastreo, pero no es un mecanismo para ocultar una página de los resultados de búsqueda. Si querés repasar la base, leé qué es el SEO.

Qué propone la nueva señal

El borrador, firmado por Kevin Kelley de Anthropic, propone agregar al robots.txt una regla de uso llamada __usage_ai-training. Con ella, un sitio puede indicar si permite o no que su contenido se use para entrenar modelos, sin tener que conocer el nombre de cada rastreador. Es una forma de separar dos decisiones que antes iban juntas: dejar que te rastreen para aparecer en un buscador y dejar que usen tu contenido para entrenar una IA.

Qué dijo cada empresa

• Anthropic ya trabaja en respetar la señal.

• OpenAI dijo que la va a incorporar en los próximos meses y que mantiene su rastreador GPTBot. La empresa explica su enfoque en este anuncio.

• Google anunció que la aplicará a principios del año próximo y que la va a tratar como un bloqueo de Google-Extended, el identificador que ya usa para separar el entrenamiento de IA de la búsqueda. Podés ver la lista de sus identificadores en la documentación de rastreadores de Google.

• Microsoft empezará a respetarla el 1 de febrero del año próximo, en reemplazo de sus etiquetas NoArchive y NoCache, y sumará una opción específica para el uso de contenido en respuestas generadas (lo que se llama grounding).

• Meta expresó apoyo, sin comprometerse todavía.

Lo que la señal no hace

Es importante no sobreestimarla:

• Es una preferencia, no una orden técnica. No impide que un rastreador acceda a tu contenido; depende de que cada empresa decida respetarla.

• No crea acuerdos de licencia ni de pago. Decir que sí al entrenamiento no te da derecho a cobrar nada.

• Los acuerdos privados pueden pasar por encima. Si un medio firmó un convenio con una empresa de IA, ese contrato manda.

• Todavía no es un estándar. El borrador no tiene aval oficial de la IETF, aunque es coherente con el Código de Buenas Prácticas de la Ley de IA de la Unión Europea.

Qué conviene hacer con tu sitio

1. Revisá tu robots.txt actual. Entrá a tusitio.com/robots.txt y mirá si ya bloqueás algún rastreador de IA. Muchos sitios lo hicieron sin saber bien qué impacto tenía.

2. Decidí qué querés. No es lo mismo un medio que vive de su contenido que una tienda online que quiere aparecer en respuestas de asistentes de IA. Para muchas empresas, ser citadas por la IA es una fuente de visitas.

3. Separá búsqueda de entrenamiento. Bloquear el entrenamiento no debería afectar cómo apareces en Google, siempre que no bloquees a Googlebot. Revisá que no lo hayas hecho por error.

4. Seguí el avance del borrador. Hasta que cada empresa lo aplique, los bloqueos por nombre de rastreador siguen siendo la vía más directa.

5. Sumalo a tu auditoría. Revisar robots.txt es parte de cualquier auditoría SEO básica.

Por qué importa si trabajás en tecnología o marketing

Para desarrolladores web, esto suma una tarea concreta al momento de lanzar o mantener un sitio. Para profesionales de SEO y contenidos, abre una decisión estratégica nueva: cuánto contenido exponer a la IA y con qué objetivo. Y para quien está aprendiendo, es un buen ejemplo de cómo un archivo de texto de hace décadas sigue definiendo las reglas de internet.

Cursos recomendados de Coderhouse

Si querés entender a fondo cómo se rastrea e indexa un sitio, el curso de SEO cubre robots.txt, sitemaps y auditorías. Si preferís construir los sitios vos, el curso de Desarrollo Web te enseña a publicarlos y configurarlos desde cero.

Preguntas frecuentes

¿Bloquear el entrenamiento de IA afecta mi posicionamiento en Google? No debería, siempre que no bloquees a Googlebot. Google trata el entrenamiento por separado a través de Google-Extended.

¿La nueva señal ya funciona? Todavía no en todas las empresas. Anthropic ya trabaja en ella, OpenAI y Google la aplicarán en los próximos meses y Microsoft desde febrero del año próximo.

¿Puedo cobrar si permito que entrenen con mi contenido? No a través de esta señal. No crea acuerdos de licencia ni de pago.

¿Dónde edito el robots.txt? En la raíz del servidor de tu sitio. Muchas plataformas como WordPress o Shopify permiten editarlo desde su panel o con un plugin.