RabbotBot: ein signierter, verifizierter Crawler.

• RabbotBot ist der Crawler, der hinter dem kostenlosen Rabbot-Shop-Check und den Einzel-URL-Prüfungen steckt.
• Ein Audit läuft, wenn ein Besucher auf der Audit-Seite oder über das KI-Agenten-Tool dieser Seite eine Shop-Adresse einreicht.
• Jede Einreichung durchläuft zuerst eine Turnstile-Prüfung.
• Der Crawler sucht nie von sich aus nach neuen Shops.
• Ein Eigentümer, der einen Bericht per E-Mail anfordert, erhält außerdem sieben Tage später automatisch eine erneute Überprüfung.

• Jede Audit-Anfrage nach der Shopify-Prüfung trägt den unten angezeigten User-Agent.
• Diese Anfragen werden außerdem mit Web Bot Auth signiert, über HTTP-Nachrichtensignaturen.
• Im Signatur-Header wird https://app.rabbot.ai als Ort angegeben, von dem der öffentliche Schlüssel abgerufen werden kann.
• Rabbot verweigert ein Audit, wenn sein Signaturschlüssel fehlt, und crawlt daher niemals unsigniert.
• Vor einem Audit überprüft Rabbot mithilfe von DNS-Abfragen, ob der Shop auf Shopify läuft.
• Wenn DNS keine Entscheidung liefert, sendet diese Prüfung eine unsignierte Anfrage mit demselben User-Agent an die Startseite.

Mozilla/5.0 (compatible; RabbotBot/1.0; +https://rabbot.ai/tools/store-audit)

Die Anfragen werden für den Web-Bot-Auth-Verifizierer von Cloudflare signiert, der auf den IETF-Entwürfen zu Web Bot Auth aufbaut. Lies dir den Architekturentwurf durch

• Ein Audit fragt höchstens 26 verschiedene URLs auf dem eigenen Host des Shops ab.
• Das sind die Startseite, die robots.txt-Datei, 3 Sitemap-Dateien, bis zu 3 Kollektionsseiten und bis zu 8 ausgewählte Produktseiten.
• Für jedes untersuchte Produkt wird außerdem einmal die Produktdatendatei unter /products/<handle>.js ausgelesen.
• Zwei Abfragen zählen innerhalb dieses Limits: eine einfache HTTP-Anfrage an die Startseite und eine Anfrage an eine erfundene Adresse.
• Weiterleitungsschritte und die nicht signierte Shopify-Prüfanfrage liegen außerhalb dieses Limits.
• Wenn die angegebene Startseite auf eine andere Domain weiterleitet, ruft Rabbot sie einmal ab und überprüft stattdessen die Ziel-Domain.
• Rabbot liest deine robots.txt-Datei aus, um über die Indexierbarkeit zu berichten.
• RabbotBot nutzt die robots.txt nicht, um zu entscheiden, welche Inhalte es abruft; es liest die robots.txt lediglich für den Indexierbarkeitsbericht.
• Jede Anfrage läuft nach 10 Sekunden ab, und Rabbot liest höchstens 1 MB einer Antwort.
• Weiterleitungen werden bis zu 5 Hops lang verfolgt, und zwar nur zum selben Store-Host.
• Jede URL wird einmal abgefragt, ohne Wiederholungsversuche.
• Das gesamte Audit endet nach 25 Sekunden, mit höchstens 6 gleichzeitig laufenden Anfragen.

• RabbotBot läuft auch, wenn ein Besucher die Adresse einer Seite im noindex-Checker oder im Weiterleitungsketten-Checker einreicht.
• Jeder Check durchläuft zunächst eine Turnstile-Prüfung und anschließend denselben Shopify-Check wie bei einem Audit, wobei möglicherweise eine unsignierte Anfrage an die Startseite gesendet wird.
• Eine Prüfung sendet eine Anfrage an diese Adresse, plus bis zu 5 Weiterleitungsschritte innerhalb desselben Shops.
• Jede Prüfanfrage nutzt HTTPS.
• Anfragen werden signiert, wenn Rabbot den Shop über seine .myshopify.com-Adresse oder sein DNS bestätigt.
• Ansonsten haben sie denselben User-Agent, ohne Signatur.
• Eine Prüfung folgt nie einer Weiterleitung aus dem Shop heraus: Sie erfasst diesen Schritt und hört auf.
• Bei einer Überprüfung wird ausschließlich der gesalzene Hash der IP-Adresse des Besuchers gespeichert, zur Begrenzung der Zugriffsrate.
• Jeder Besucher ist auf 10 Prüfungen alle 10 Minuten begrenzt.

• Bei einer Besucheranfrage für dieselbe Adresse innerhalb von 24 Stunden wird der gespeicherte Bericht angezeigt.
• Die siebentägige Nachprüfung für Besitzer, die einen Bericht per E-Mail angefordert haben, läuft nach einem eigenen Zeitplan.
• Jeder Besucher darf alle 10 Minuten höchstens 5 Audit-Anfragen stellen.
• Ein täglicher Job um 09:00 Uhr UTC führt nur die von den Eigentümern angeforderten Sieben-Tage-Nachprüfungen durch.

• Rabbot speichert die Befunde, den Host des Shops, die Uhrzeit sowie jede Seitenadresse mit ihrem Status und ihrer Ladezeit.
• Seiteninhalte werden nie über einen einzelnen Durchlauf hinaus gespeichert.
• Berichtsseiten sind mit einem „noindex“-Tag versehen, sodass Suchmaschinen angewiesen werden, sie nicht zu indexieren.
• Die IP-Adressen der Besucher werden ausschließlich als „salted Hash“ gespeichert, um die Zugriffsrate zu begrenzen.

• Schick die Domain deines Shops an crawler@rabbot.ai, dann fügen wir sie manuell zur Ausschlussliste hinzu.
• Solange die Ausschlussliste nicht programmgesteuert umgesetzt ist, ist das ein manueller Schritt unsererseits.
• Wenn dein Shop den User-Agent blockiert, schlägt die Anfrage einmal fehl und wird nicht erneut versucht.

crawler@rabbot.ai

• Schreib an crawler@rabbot.ai und gib die Domain deines Shops sowie die Einträge aus deinen Logs an.

crawler@rabbot.ai