Der WebForAgents-Scanner
WebForAgents misst, wie gut KI-Agents eine Website lesen und nutzen können. Gibt jemand auf webforagents.org eine Website ein, ruft unser Scanner einige öffentliche Seiten dieser Website auf, prüft, was ein Agent dort bekommt, und veröffentlicht einen Bericht. Er meldet sich nicht an, sendet keine Formulare ab, legt keine Konten an und umgeht keine Verifizierung.
So erkennst du unsere Anfragen
Die erste Phase lädt Seiten per HTTP mit diesem User-Agent:
Mozilla/5.0 (compatible; WebForAgents/1.0; +https://webforagents.org/bot)Seiten, die einen Browser brauchen, öffnen wir genau so, wie ein browserbasierter KI-Agent (Playwright, browser-use, Agent-Browser) sie öffnen würde: mit dem Standard-User-Agent von Chrome, ohne angehängten Namen und ohne zusätzliche Header. So sehen wir, was diese Agents sehen. Du erkennst diese Besuche an den IP-Adressen unten:
<Standard-User-Agent von Chrome>HTTP-Anfragen (Phase 1 und 2) tragen zusätzlich From: [email protected]. Anfragen der ersten Phase tragen außerdem einen X-WebForAgents-Scan-Header mit der Scan-ID; nenne sie, wenn du uns zu einem bestimmten Besuch kontaktierst.
Unsere Anfragen kommen von diesen IP-Adressen: 43.130.47.235
Wie viel wir abrufen
- Phase 1: meist 20 bis 35 Anfragen pro Scan (einschließlich robots.txt und Weiterleitungen), pro Host nur eine Verbindung gleichzeitig (bei HTTP/2 höchstens 3 parallele Anfragen), fertig innerhalb von 8 Sekunden.
- Phase 2 (Agent-Wegfindung, Schätzung): liest die in deiner robots.txt angegebene Sitemap (sonst
/sitemap.xml, höchstens 5 Dateien) und folgt dann ab der Startseite den Links bis zu 4 Klicks tief. Höchstens 100 Seiten, einfache GET-Anfragen über eine Verbindung, eine Anfrage pro Sekunde (deinCrawl-delaywird bis 5 Sekunden befolgt), meist nach spätestens 5 Minuten fertig. Seiten, deren Inhalt erst nach JavaScript erscheint, werden stattdessen im Browser geöffnet, höchstens 20 pro Scan. Links zum Abmelden, zu Konten, zur Kasse, zum Hinzufügen in den Warenkorb, zu Downloads, Suchergebnissen oder Einmal-Tokens werden nie verfolgt; bei 429 oder 503 hört sie sofort auf. - Phase 3: höchstens 15 Seiten pro Scan (die Seiten auf dem Weg zu den typischen Aufgaben auf deiner Website), nacheinander geöffnet wie von einem normalen Besucher. Bilder, Medien und Schriften werden nicht geladen, es wird nichts angeklickt oder eingegeben.
- Eine Website wird nur auf Anfrage gescannt, höchstens 3-mal pro Tag und mit mindestens 10 Minuten Abstand. Ergebnisse werden 7 Tage wiederverwendet. Das Ansehen eines Berichts löst keinen neuen Scan aus.
robots.txt
Wir lesen zuerst die robots.txt und befolgen sie nach RFC 9309. Unser Product-Token ist WebForAgents; gibt es dafür keine eigene Gruppe, befolgen wir die Gruppe *. Gesperrte Pfade rufen wir nicht ab; Prüfungen, die sie brauchen, werden als nicht anwendbar markiert.
Widersprechen
Am einfachsten geht das über die robots.txt. Damit stoppst du alle Scans deiner Website:
User-agent: WebForAgents
Disallow: /Der Bericht zeigt dann, dass die Website keine Scans erlaubt, nennt keine Punktzahl und wird nicht indexiert. Willst du die robots.txt nicht ändern, schreib uns von einer Adresse deiner Domain an [email protected] oder bitte uns um einen DNS-TXT-Eintrag oder eine Datei unter /.well-known/, mit der du nachweist, dass die Website dir gehört. Wir können einen einzelnen Host oder deine ganze Domain ausnehmen. Bestehende Berichte bleiben abrufbar, tragen das Datum deines Widerspruchs und werden nicht mehr indexiert.
Kontakt
Fragen, Beschwerden oder ein Besuch, den wir dir erklären sollen: [email protected].