Cloudflare testea herramienta para gestionar acceso de los bots de IA a las webs

La empresa Cloudflare presentó nuevas herramientas para que los clientes puedan gestionar el acceso de los rastreadores de IA a sus páginas web, que buscan restringir su paso o monetizar dicho acceso a través de un pago.

Hoy, las páginas web pueden usar el archivo robots.txt para limitar el acceso de los rastreadores de los buscadores a todo o parte del contenido, para que no lo indexen, pero se trata de un recurso "infrautilizado", según apuntan desde Cloudflare, ya que solo el 37% de los 10.000 dominios principales lo tienen.

Los rastreadores de búsqueda generan tráfico y ayudan a los creadores que quieran monetizar su contenido, ya que hacen que sus webs sean más fáciles de encontrar. Sin embargo, recientemente ha aparecido un tipo de rastreador que recopila datos para entrenar modelos de IA que apenas genera tráfico.

Según Cloudflare, de ese 37%, "pocos incluyen directivas de deshabilitación para los principales 'bots' de IA" más populares, entre los que se encuentran los de OpenAI, Anthropic, Google y Perplexity, como explica en su blog oficial.

"Los propietarios de sitios web deberían tener control sobre la actividad de los bots de IA en sus sitios web", afirma Cloudflare, en referencia a una situación que afrontan los creadores que se han preocupado por crear contenido original y facilitar su indexación, pero no quieren que se use para entrenar modelos de IA.

La propuesta de Cloudflare

Cloudflare ha facilitado a sus clientes un nuevo botón que activa el archivo robots.txt para gestionar el tráfico de los 'bots' de IA, de modo que puedan restringir o permitir el acceso de los rastreadores a determinadas partes y bloquear, por ejemplo, secciones donde se muestran anuncios.

Por otra parte, los clientes de Cloudflare también podrán cobrar a los rastreadores de IA por el acceso a su contenido. "En lugar de un bloqueo general o un acceso abierto sin compensación, queremos empoderar a los propietarios de contenido para que moneticen su contenido a escala de internet", explican desde la compañía tecnológica.

El pago por rastreo se integra en la infraestructura web para crear un marco para el acceso a contenido pago. Actualmente la herramienta está en una fase de desarrollo beta privada con opción de abrirse públicamente en los próximos meses.