O analisador do WebForAgents
O WebForAgents mede o quanto agentes de IA conseguem ler e usar um site. Quando alguém digita um site no webforagents.org, nosso analisador visita algumas páginas públicas desse site, verifica o que um agente receberia e publica um relatório. Ele não faz login, não envia formulários, não cria contas nem contorna nenhuma verificação.
Como reconhecer nossas requisições
A primeira fase baixa páginas por HTTP com este User-Agent:
Mozilla/5.0 (compatible; WebForAgents/1.0; +https://webforagents.org/bot)As páginas que precisam de um navegador são abertas exatamente como um agente de IA baseado em navegador (Playwright, browser-use, navegadores com agente) as abriria: com o User-Agent padrão do Chrome, sem acrescentar nosso nome nem cabeçalhos extras, para vermos o que esses agentes veem. Você reconhece essas visitas pelos endereços IP abaixo:
<User-Agent padrão do Chrome>As requisições HTTP (fases 1 e 2) levam também From: [email protected]. As da primeira fase levam ainda um cabeçalho X-WebForAgents-Scan com o ID da análise; informe-o se entrar em contato sobre uma visita específica.
Nossas requisições saem destes endereços IP: 43.130.47.235
Quanto visitamos
- Fase 1: em geral de 20 a 35 requisições por análise (incluindo robots.txt e redirecionamentos), com uma única conexão por host de cada vez (no máximo 3 requisições simultâneas em HTTP/2), concluída em até 8 segundos.
- Fase 2 (orientação de agentes, estimativa): lê o sitemap indicado no seu robots.txt (ou
/sitemap.xml, no máximo 5 arquivos) e segue os links a partir da página inicial até 4 cliques de profundidade. No máximo 100 páginas, GET simples por uma única conexão, uma requisição por segundo (seguimos o seuCrawl-delayaté 5 segundos), e normalmente termina em até 5 minutos. Páginas cujo conteúdo só aparece depois que o JavaScript roda são abertas no navegador, no máximo 20 por análise. Nunca segue links de sair, conta, pagamento, adicionar ao carrinho, downloads, resultados de busca ou tokens de uso único, e para assim que recebe um 429 ou 503. - Fase 3: no máximo 15 páginas por análise (as páginas no caminho até as tarefas mais comuns no seu site), abertas uma de cada vez, como faria um visitante comum. Imagens, mídia e fontes não são baixadas, e nada é clicado ou digitado.
- Cada site só é analisado sob pedido, no máximo 3 vezes por dia e com pelo menos 10 minutos entre as análises. Os resultados são reaproveitados por 7 dias. Abrir um relatório nunca dispara uma nova análise.
robots.txt
Lemos o robots.txt primeiro e o seguimos conforme a RFC 9309. Nosso identificador de produto é WebForAgents; se não houver um grupo para ele, seguimos o grupo *. Não baixamos os caminhos que você bloquear, e as verificações que dependem deles ficam marcadas como não aplicáveis.
Sair das análises
O jeito mais simples é pelo robots.txt. Isto interrompe todas as análises do seu site:
User-agent: WebForAgents
Disallow: /A partir daí, o relatório informa que o site não permite análises, não mostra nota e não é indexado. Se preferir não mexer no robots.txt, escreva para [email protected] a partir de um endereço do seu domínio, ou peça um registro DNS TXT ou um arquivo em /.well-known/ para comprovar que o site é seu. Podemos tirar das análises só um host ou o domínio inteiro. Os relatórios existentes continuam disponíveis, marcados com a data da sua saída, e deixam de ser indexados.
Contato
Dúvidas, reclamações ou uma visita que você queira que expliquemos: [email protected].