WebForAgents のチェックプログラム
WebForAgents は、AI エージェントがウェブサイトをどれだけ読み取り、使えるかを測っています。誰かが webforagents.org でサイトを入力すると、チェックプログラムがそのサイトの公開ページをいくつか訪れ、エージェントが実際に受け取る内容を確かめてレポートを公開します。ログイン、フォーム送信、アカウント作成は行わず、認証を回避することもありません。
リクエストの見分け方
第 1 段階では、次の User-Agent で HTTP によりページを取得します。
Mozilla/5.0 (compatible; WebForAgents/1.0; +https://webforagents.org/bot)ブラウザが必要なページは、ブラウザ型の AI エージェント(Playwright、browser-use、各社のエージェントブラウザ)とまったく同じ方法で開きます。Chrome 標準の User-Agent を使い、名前も追加のヘッダーも付けません。そうすることで、私たちはそれらのエージェントと同じ内容を見ます。このアクセスは下記の IP アドレスで識別できます。
<Chrome の標準 User-Agent>HTTP リクエスト(第 1・第 2 段階)には From: [email protected] も付けます。第 1 段階のリクエストにはチェック ID を記した X-WebForAgents-Scan ヘッダーも付きます。特定のアクセスについてお問い合わせの際は、この ID をお知らせください。
リクエストの送信元 IP アドレス: 43.130.47.235
アクセスの量
- 第 1 段階:1 回のチェックで通常 20〜35 リクエスト(robots.txt とリダイレクトを含む)。ホストごとの同時接続は 1 本(HTTP/2 では同時に最大 3 リクエスト)で、8 秒以内に終わります。
- 第 2 段階(エージェントの道案内の推定):robots.txt に記載されたサイトマップ(なければ
/sitemap.xml、最大 5 ファイル)を読み、トップページからリンクをたどって最大 4 クリック先まで進みます。最大 100 ページ、1 本の接続で通常の GET、毎秒 1 リクエスト(Crawl-delayには最大 5 秒まで従います)で、通常 5 分以内に終わります。JavaScript の実行後にしか内容が出ないページはブラウザで開きます(1 回のチェックで最大 20 ページ)。ログアウト、アカウント、決済、カートへの追加、ダウンロード、検索結果、ワンタイムトークンのリンクはたどらず、429 または 503 を受け取るとすぐに止めます。 - 第 3 段階:1 回のチェックで最大 15 ページ(サイトでよくあるタスクへの道筋にあるページ)を、普通の訪問者と同じように 1 ページずつ開きます。画像、メディア、フォントはダウンロードせず、クリックや入力は一切しません。
- チェックは依頼があった場合のみ、1 サイトにつき 1 日最大 3 回、間隔は 10 分以上です。結果は 7 日間再利用します。レポートを見るだけで新しいチェックが始まることはありません。
robots.txt
最初に robots.txt を読み、RFC 9309 に従います。プロダクトトークンは WebForAgents です。専用のグループがなければ * のグループに従います。禁止されたパスは取得せず、それを必要とするチェック項目は「対象外」と表示します。
除外を申請する
いちばん簡単なのは robots.txt です。次のように書くと、サイトへのチェックがすべて止まります。
User-agent: WebForAgents
Disallow: /その後、レポートには「このサイトはチェックを許可していません」と表示され、スコアは出さず、検索エンジンにも登録されません。robots.txt を変えたくない場合は、ご自身のドメインのメールアドレスから [email protected] までご連絡いただくか、サイトの運営者であることを示す DNS TXT レコードまたは /.well-known/ 配下のファイルをご依頼ください。ホスト単位でもドメイン全体でも除外できます。既存のレポートは除外日を記載したうえで引き続き閲覧でき、検索エンジンには登録されなくなります。
お問い合わせ
ご質問、苦情、特定のアクセスについての説明のご依頼は [email protected] まで。