Qué es el nuevo control
La idea es reservar en robots.txt un grupo de agente de usuario común, __usage_ai-training, para indicar una preferencia sobre el entrenamiento. Un sitio podría expresar, por ejemplo, que no desea que sus recursos se utilicen para modificar los parámetros aprendidos de un modelo:
User-Agent: __usage_ai-training
Disallow: /
Esta directiva expresa una preferencia para los proveedores que decidan respetarla; no bloquea técnicamente el acceso al contenido ni garantiza que todos los rastreadores la interpreten igual.
La señal no nace como una nueva sintaxis compleja. El borrador del IETF la define dentro de los grupos ordinarios de robots.txt para que distintos proveedores puedan interpretar la misma intención. Si un sitio quiere permitir una ruta concreta, podría combinar Disallow y Allow según la semántica habitual del archivo. La política debe revisarse con el proveedor y con los requisitos legales del sitio antes de publicarse como una promesa general.
Entrenamiento no es lo mismo que grounding
El entrenamiento consiste, en este contexto, en utilizar un recurso para modificar los parámetros aprendidos de un modelo generativo. El grounding es diferente: un sistema consulta contenido para responder o fundamentar una respuesta sin incorporarlo necesariamente a los parámetros del modelo. Confundir ambos usos produce políticas imprecisas y expectativas equivocadas.
Microsoft ha anunciado controles de página separados para el grounding, mediante metadatos o cabeceras, y mantiene la distinción entre entrenamiento y uso de contenido para fundamentar respuestas. Por eso, bloquear el entrenamiento mediante una preferencia de robots.txt no significa automáticamente impedir que una página sea rastreada, indexada o utilizada como contexto. Son decisiones distintas que deben gobernarse por separado.