El analizador de WebForAgents
WebForAgents mide lo bien que los agentes de IA pueden leer y usar un sitio web. Cuando alguien introduce un sitio en webforagents.org, nuestro analizador visita algunas páginas públicas de ese sitio, comprueba qué recibiría un agente y publica un informe. No inicia sesión, no envía formularios, no crea cuentas ni elude ninguna verificación.
Cómo reconocer nuestras peticiones
La primera fase descarga páginas por HTTP con este User-Agent:
Mozilla/5.0 (compatible; WebForAgents/1.0; +https://webforagents.org/bot)Las páginas que necesitan un navegador las abrimos exactamente como lo haría un agente de IA basado en navegador (Playwright, browser-use, navegadores con agente): con el User-Agent estándar de Chrome, sin añadir nuestro nombre ni cabeceras extra, para ver lo mismo que ven esos agentes. Puedes reconocer estas visitas por las direcciones IP de abajo:
<User-Agent estándar de Chrome>Las peticiones HTTP (fases 1 y 2) llevan además From: [email protected]. Las de la primera fase llevan también una cabecera X-WebForAgents-Scan con el ID del análisis; menciónalo si nos escribes por una visita concreta.
Nuestras peticiones salen de estas direcciones IP: 43.130.47.235
Cuánto visitamos
- Fase 1: normalmente de 20 a 35 peticiones por análisis (incluidos robots.txt y las redirecciones), con una sola conexión por host a la vez (como máximo 3 peticiones simultáneas en HTTP/2); termina en 8 segundos.
- Fase 2 (orientación de agentes, estimación): lee el mapa del sitio indicado en tu robots.txt (o
/sitemap.xml, como máximo 5 archivos) y sigue los enlaces desde la página de inicio hasta 4 clics de profundidad. Como máximo 100 páginas, GET simple por una sola conexión, una petición por segundo (respetamos tuCrawl-delayhasta 5 segundos), y normalmente termina en menos de 5 minutos. Las páginas cuyo contenido solo aparece tras ejecutar JavaScript se abren en el navegador, como máximo 20 por análisis. Nunca sigue enlaces de cierre de sesión, cuentas, pago, añadir al carrito, descargas, resultados de búsqueda ni tokens de un solo uso, y se detiene en cuanto recibe un 429 o un 503. - Fase 3: como máximo 15 páginas por análisis (las páginas del camino hacia las tareas habituales en tu web), abiertas de una en una, como lo haría un visitante normal. No se descargan imágenes, contenido multimedia ni fuentes, y no se hace clic ni se escribe nada.
- Cada sitio se analiza solo a petición, como máximo 3 veces al día y con al menos 10 minutos entre análisis. Los resultados se reutilizan durante 7 días. Ver un informe nunca lanza un análisis nuevo.
robots.txt
Leemos primero robots.txt y lo respetamos según el RFC 9309. Nuestro identificador de producto es WebForAgents; si no hay un grupo para él, seguimos el grupo *. No descargamos las rutas que prohíbas, y las comprobaciones que las necesitan se marcan como no aplicables.
Excluirse
Lo más sencillo es usar robots.txt. Así se detienen todos los análisis de tu sitio:
User-agent: WebForAgents
Disallow: /A partir de entonces, el informe indica que el sitio no permite análisis, no muestra puntuación y no se indexa. Si prefieres no tocar robots.txt, escribe a [email protected] desde una dirección de tu dominio, o pídenos un registro DNS TXT o un archivo en /.well-known/ para demostrar que el sitio es tuyo. Podemos excluir un solo host o todo tu dominio. Los informes existentes siguen disponibles, marcados con la fecha de tu exclusión, y dejan de indexarse.
Contacto
Dudas, quejas o una visita que quieras que te expliquemos: [email protected].