Google prepara un control común para el entrenamiento de IA en robots.txt

El control común para el entrenamiento de IA que Google planea incorporar a robots.txt permitirá que los sitios web expresen una preferencia general ante varios proveedores de inteligencia artificial mediante una única instrucción. La compañía apunta a ofrecer esta compatibilidad junto con otros actores del sector en 2027, aunque la propuesta todavía se encuentra en desarrollo dentro del grupo de trabajo AIPREF de la Internet Engineering Task Force (IETF).

Google anunció planes para admitir un control común para el entrenamiento de IA dentro del archivo robots.txt. La propuesta busca que los responsables de sitios web puedan establecer una preferencia amplia para varios proveedores de inteligencia artificial sin tener que administrar instrucciones separadas para cada empresa.

El anuncio fue publicado por John Mueller, defensor de Google Search, en el blog oficial de Google Search. La compañía indicó que espera respaldar el nuevo mecanismo junto con otros proveedores durante 2027 y que seguirá comunicando avances.

Qué cambiaría en robots.txt para los sitios web

La propuesta contempla incorporar un “token de política” compartido en robots.txt. Ese identificador permitiría que un sitio comunique una preferencia general sobre el entrenamiento de modelos de inteligencia artificial a los proveedores que adopten la señal.

En la práctica, el objetivo es reemplazar parte de la gestión individual por una instrucción común. En lugar de definir reglas distintas para cada desarrollador de IA, el administrador del sitio podría expresar una decisión amplia mediante el mecanismo compartido. La disponibilidad efectiva dependerá de que los distintos proveedores lo implementen.

La relación con Google-Extended

Google ya ofrece desde 2023 un control específico denominado Google-Extended. Esa opción permite que los responsables de sitios indiquen sus preferencias respecto del uso de determinados contenidos por parte de los sistemas de inteligencia artificial de Google.

Según el anuncio, cuando un sitio utilice el nuevo token para rechazar el entrenamiento y no mencione de forma explícita a Google-Extended, Google planea interpretar esa configuración como una prohibición para Google-Extended. El comportamiento de otros proveedores dependerá de cómo adopten y procesen la señal compartida.

Los controles específicos de cada empresa seguirán funcionando junto con el mecanismo común. Por eso, un sitio podría establecer una decisión general para los proveedores participantes y, al mismo tiempo, definir una instrucción particular para Google mediante Google-Extended.

Qué significa permitir Google-Extended

Google también señaló que los sitios que permitan específicamente Google-Extended podrán ser elegibles para aparecer en respuestas y recibir clics mediante el mecanismo de fundamentación de Gemini Apps. La afirmación describe una posibilidad de visibilidad y derivación de tráfico dentro de las aplicaciones de Gemini, no una garantía de aparición ni de cantidad de visitas.

La decisión sobre permitir o rechazar ese uso requiere distinguir dos objetivos diferentes: autorizar el entrenamiento de sistemas de IA y permitir que un contenido sea utilizado para fundamentar respuestas con enlaces o referencias. La fuente presenta los controles dentro de este esquema de preferencias, pero no detalla en el anuncio una tabla completa de todas las combinaciones posibles.

Una propuesta todavía en proceso de estandarización

El mecanismo se basa en el trabajo del grupo AIPREF de la IETF. Google indicó que la definición relacionada con el entrenamiento de inteligencia artificial ya avanzó, mientras continúan las conversaciones entre distintos sectores sobre el resto del vocabulario de AIPREF.

La IETF es una organización que desarrolla propuestas técnicas abiertas para Internet. En este caso, el trabajo reúne aportes de editores, organizaciones de la sociedad civil, organismos reguladores y otros participantes que reclaman controles aplicables a toda la industria.

La propuesta todavía no equivale a un estándar definitivo ni asegura que todos los proveedores adopten la misma interpretación. Su utilidad crecerá si más empresas incorporan el mecanismo y mantienen comportamientos compatibles con la señal publicada por cada sitio.

La referencia europea mencionada por Google

Google vinculó la propuesta con el Código de Prácticas de la Unión Europea para proveedores de modelos de inteligencia artificial de propósito general, en el marco de la Ley de Inteligencia Artificial de la Unión Europea. Según la compañía, ese marco reconoce robots.txt como un método principal para que los editores expresen preferencias legibles por máquinas.

Esta referencia aporta un contexto regulatorio al anuncio, pero no convierte automáticamente el nuevo token en una obligación general para todos los sitios ni confirma que la propuesta ya esté vigente. La implementación anunciada por Google sigue proyectada para 2027 y queda sujeta a la evolución del trabajo técnico y a la adopción de otros proveedores.

Qué deberían evaluar ahora los responsables de sitios

Por el momento, la novedad no exige reemplazar las instrucciones específicas que ya utiliza un sitio. Los equipos técnicos deberían conservar un registro claro de las reglas existentes, identificar si emplean Google-Extended y revisar la documentación oficial cuando Google publique detalles de implementación.

También será importante separar la decisión sobre entrenamiento de la decisión sobre visibilidad en productos de IA. Un sitio puede valorar de manera distinta la autorización para entrenar modelos, la posibilidad de que su contenido sea citado o utilizado como fundamento y la recepción de visitas desde una aplicación. Esas preferencias deberán traducirse en reglas comprensibles cuando el mecanismo esté disponible.

Para empresas y medios digitales, el cambio puede reducir la complejidad operativa si los principales proveedores adoptan una señal compatible. Hasta que eso ocurra, el control común debe considerarse una propuesta anunciada, no una herramienta disponible ni una garantía de que una única línea resolverá todas las políticas de uso de contenidos.