Roboter blockieren oder nicht? Das Dilemma, in dem norwegische Onlineshops stecken, ohne es zu wissen

Wie viele blockieren eigentlich, und wer?

Von den 99 Shops, die einen Bericht erhielten, wiesen 21 den Crawler ab: 16 mit HTTP 403 („verboten“), 2 mit 429 („zu viele Anfragen“) und 3 ganz ohne Statuscode. Am schlimmsten ist Mode und Bekleidung, wo die Hälfte der Shops blockiert. Elektronik folgt dicht dahinter mit 44 Prozent.

Das auffälligste Einzelmuster ist die Varner-Gruppe. Dressmann, Cubus, Bik Bok und Carlings, vier Marken auf vier verschiedenen Domains, blockieren alle vier, mit identischem Fehlermuster bis auf Ebene einzelner Tests. Das sind keine vier zufälligen, lokalen Entscheidungen. Das ist eine konzernweite Einstellung über alle Marken hinweg.

Was kann es kosten, die Tür zu schließen?

Schauen wir uns Bik Bok an. Google zeigte bei allen fünf eigenen Kaufanfragen von Bik Bok ein AI Overview, die KI-generierte Antwort oben im Suchergebnis. Bik Bok wurde null Mal zitiert. Bei zwei der Anfragen zitierte das AI Overview stattdessen den schwedischen Anbieter Nelly.

Denken Sie einen Moment darüber nach: Die KI-Antwort ist da, Kunden sehen sie, und ein Wettbewerber aus dem Nachbarland bekommt den Platz.

Ein ehrlicher Vorbehalt: Wir können nicht beweisen, dass allein die Blockierung der Grund ist, warum Bik Bok nicht zitiert wird. Sichtbarkeit in KI-Antworten hängt von vielem ab, und blockierte Shops können wir außerdem nur bei einem Fünftel der technischen Messpunkte testen, sodass sie mit den vollständig gemessenen Shops nicht direkt vergleichbar sind. Aber eines ist sicher: Eine geschlossene Tür macht den Maschinen, die Sie empfohlen hätten, die Arbeit nicht leichter.

Aber es gibt gute Gründe zu blockieren

Seien wir auch den Shops gegenüber fair, denn das ist keine dumme Entscheidung. Große Onlineshops haben reale Kosten im Zusammenhang mit Bot-Traffic:

1. Scraping-Kosten. Inhalte werden in großem Umfang abgeschöpft, und dieser Traffic ist nicht kostenlos.
2. Wettbewerber, die Preise abschöpfen. Automatische Preisüberwachung durch Wettbewerber gehört im E-Commerce zum Alltag.
3. Serverlast. Aggressive Bots können Kapazität stehlen, die echte Kunden brauchen.
4. Content-Diebstahl. Produkttexte und Bilder, für deren Erstellung jemand bezahlt hat, werden kopiert.

Das Problem ist nicht, dass man sich schützt. Das Problem ist, dass der Schutz nicht zwischen Freund und Feind unterscheidet, und dass fast niemand geprüft hat, wen er tatsächlich aussperrt.

Werden Sie durch Blockieren unsichtbar? Nein, und das ist fast noch bedenklicher

Hier wurden wir überrascht. Komplett blockiert Crawler härter als alle anderen in der Untersuchung, mit einem sogenannten Tarpit, einer Falle, die Roboter absichtlich festhält. Trotzdem hat Komplett die höchste KI-Zitationsrate in seinem Segment: zitiert in 3 von 5 Kaufanfragen, mit AI Overview auf 4 von 5 angezeigt.

Wie geht das? Nun: Wenn die KI bei Ihnen nicht hereinkommt, holt sie sich Informationen über Sie aus Drittquellen: Foren, Verzeichnisse, Presse. Eine große, viel besprochene Marke verschwindet also nicht aus den KI-Antworten, nur weil die Tür geschlossen ist.

Aber beachten Sie, was dabei tatsächlich passiert: Sie geben die Kontrolle darüber ab, welche Quellen für Sie sprechen. Die KI beschreibt Ihren Shop anhand dessen, was andere geschrieben haben, nicht anhand dessen, was Sie selbst veröffentlicht haben. Für Komplett geht das heute offenbar gut. Für eine kleinere Marke, oder eine Marke mit gemischten Bewertungen da draußen, ist es ein Glücksspiel.

Der Gegenpol: XXL hat Türen gebaut, die fast niemand sonst hat

Am anderen Ende der Skala steht XXL. Von 75 Shops, die wir bei der Agent-Readiness gemessen haben, liegt XXL am besten. „Agent-Native“, mit MCP-Server-Card, Agent Skills, API-Katalog und Markdown-Content-Negotiation vorhanden, und 11 von 15 bestandenen Prüfungen. Der Durchschnitt der Kategorie liegt bei 2,5 von 100. Fast niemand sonst hat überhaupt angefangen.

Also müssen wir auch hier ehrlich sein: XXL wird heute trotzdem nur 0 von 3 Mal in AI Overview zitiert. Die Investition hat sich in Sachen Sichtbarkeit noch nicht ausgezahlt. Infrastruktur für KI-Agenten aufzubauen ist eine Wette auf das, was kommt, kein schneller Gewinn. Das sollte man wissen, bevor man loslegt.

Was sollten Sie tun? Vier konkrete Ratschläge

Egal ob Sie am Ende viel oder wenig blockieren: Tun Sie es bewusst und absichtlich. So würden wir es angehen:

1. Finden Sie heraus, was Ihr Bot-Schutz tatsächlich tut. Nehmen Sie nichts an, testen Sie selbst. Versuchen Sie, Ihre Startseite so abzurufen, wie es ein Crawler tut, ohne Browser-Identität, und sehen Sie, was passiert. Viele werden über ihre eigene 403 überrascht sein.
2. Sorgen Sie dafür, dass Richtlinie und Praxis übereinstimmen. Eine robots.txt, die Ja sagt, während die WAF Nein sagt, ist das Schlechteste aus beiden Welten: Sie signalisieren Offenheit, ohne sie zu liefern, und tragen die Nachteile beider Entscheidungen.
3. Unterscheiden Sie zwischen Bot-Typen. Lassen Sie die KI-Crawler herein, die Sie wollen, und blockieren Sie bewusst, was Sie nicht wollen. Moderner Bot-Schutz lässt sich weit feiner konfigurieren als „alles oder nichts“.
4. Behalten Sie die Agent-Protokolle im Blick. MCP und ähnliche Standards sind heute noch unausgereift, definieren aber, wie KI-Agenten künftig mit Websites sprechen werden. Sie müssen nicht XXL sein, aber Sie sollten wissen, was sich bewegt.

Die Kaufagenten kommen, und dann wird das zu einer aktiven Entscheidung

Was dieses Dilemma von Jahr zu Jahr wichtiger macht, ist, dass „Roboter“ nicht mehr nur Scraper und Suchmaschinen bedeutet. KI-Assistenten, die Kaufanfragen beantworten, sind Roboter. Und bald kommen die Kaufagenten, Software, die recherchiert, vergleicht und im Auftrag der Kundschaft kauft.

An dem Tag, an dem der Agent Ihres Kunden vor der Tür steht und anklopft, ist das unbewusste Blockieren von heute kein technisches Randthema mehr. Dann ist es eine aktive Entscheidung, draußen zu bleiben.

Abschließende Gedanken

21 von 99 Shops blockieren Roboter, obwohl alle, die wir lesen konnten, KI auf dem Papier willkommen heißen. Wir glauben nicht, dass das eine durchdachte Strategie ist. Wir glauben, dass niemand die Frage gestellt hat. Bot-Schutz wird als Sicherheit eingekauft, robots.txt kommt mit der Plattform, und niemand hat die beiden zusammen betrachtet.

Das Gute daran ist, dass sich das leicht ändern lässt. Sie müssen nicht morgen eine erstklassige Agent-Infrastruktur bauen. Sie müssen nur herausfinden, was Ihr Türsteher heute tatsächlich tut, und entscheiden, ob das ist, was Sie wollen. Das ist die Arbeit eines Nachmittags, und eine Entscheidung, die es verdient, von jemandem getroffen zu werden, der weiß, dass sie existiert.

Viel Erfolg, und testen Sie Ihre eigene 403!