Si tienes un sitio web y quieres que los buscadores te indexen y te pongan en las primeras posiciones, seguramente mejoraste tu sitio aplicando las recomendaciones de cada buscador, en particular Google. Metaetiquetas, velocidad de carga, enlazado interno: ya te sabes la canción del SEO. Pero cuando un agente de IA como Claude, Cursor o OpenCode llega a un sitio para leer documentación técnica o consultar una API, se encuentra con HTML denso, menús de navegación, scripts, captchas. En resumen, un muro pensado para ojos humanos. Cloudflare acaba de ponerle un número a esta brecha.
Solo el 4 % de los sitios declaran sus preferencias para IA
La empresa analizó los 200,000 dominios más visitados de la web. El resultado es contundente.
- El 78 % de los sitios web dispone de un archivo robots.txt, pero está redactado para los rastreadores de Google y no para agentes autónomos.
- Solo el 3.9 % ofrece contenido en Markdown cuando se le solicita. Markdown es una forma de escribir contenido limpio y estructurado usando solo texto plano, que luego se renderiza visualmente como si fuera una página web.
- Los estándares recientes (MCP Server Cards, API Catalog) están implementados en menos de 15 sitios de todo el conjunto.
Esta brecha llevó a Cloudflare a lanzar isitagentready.com, una herramienta gratuita donde cualquiera puede introducir la URL de su sitio y obtener un diagnóstico estructurado.
Cuatro criterios y una puntuación
La evaluación se basa en cuatro ejes:
- Descubribilidad: verifica si el sitio cuenta con un robots.txt adecuado, un sitemap y los encabezados correctos.
- Contenido: analiza si el servidor puede responder en Markdown en lugar de HTML cuando un agente lo solicita, algo que podría reducir hasta en un 80 % el consumo de tokens según pruebas internas de Cloudflare.
- Control de acceso: evalúa si el sitio expresa claramente qué pueden hacer las IA con su contenido.
- Capacidades: prueba la presencia de autenticación OAuth, servidores MCP y catálogos de API.
Por cada problema detectado, la herramienta propone soluciones. Cloudflare incluso llevó el concepto más allá al hacer que su propia herramienta sea accesible para agentes mediante un servidor MCP integrado.
Unos ejemplos de errores a resolver
Objetivo
Devolver respuestas HTML en formato Markdown cuando los agentes lo soliciten.
Problema
El sitio no admite Markdown para agentes.
Cómo implementarlo
Habilita Markdown para agentes de modo que las solicitudes con Accept: text/markdown devuelvan una versión en Markdown de tu respuesta HTML, mientras que el HTML siga siendo el formato predeterminado para los navegadores. Confirma que la respuesta utilice Content-Type: text/markdown (y x-markdown-tokens si está disponible).
Objetivo
Declarar las preferencias de uso de contenido por IA mediante Content Signals en el archivo robots.txt.
Problema
No se encontraron Content Signals en robots.txt.
Cómo implementarlo
Agrega directivas Content-Signal a tu archivo robots.txt para declarar tus preferencias sobre ai-train, search y ai-input. Por ejemplo: Content-Signal: ai-train=no, search=yes, ai-input=no
Cambios que te piden la intervención de un programador
Si sabes un poco de programación y tienes muchas ganas de investigar, puedes implementar las recomendaciones de Cloudflare. La empresa te vende los productos (Workers, Rules, Access) que permiten corregir los problemas detectados.
El modelo recuerda al que Google instauró con sus métricas de rendimiento web: definir el estándar, evaluar los sitios y luego ofrecer sus propios servicios para mejorar la clasificación. No es necesariamente problemático, pero los criterios podrían evolucionar según los intereses comerciales de la empresa o las necesidades reales del mercado.
Varios estándares destacados en la evaluación aún están en desarrollo en la IETF o no han alcanzado una especificación definitiva. Adoptarlos hoy implica el riesgo de tener que rehacer todo en dieciocho meses si cambian de dirección.
