Bloquer les robots ou non ? Le dilemme que les boutiques en ligne norvégiennes ignorent

Combien bloquent réellement, et qui ?

Sur les 99 boutiques ayant reçu un rapport, 21 ont rejeté notre robot : 16 avec un code HTTP 403 (« interdit »), 2 avec un code 429 (« trop de requêtes ») et 3 sans aucun code de statut. Le secteur le plus touché est la mode et l'habillement, où la moitié des boutiques bloquent. L'électronique suit de près, avec 44 %.

Le schéma le plus révélateur est celui du groupe Varner. Dressmann, Cubus, Bik Bok et Carlings, quatre marques sur quatre domaines différents, bloquent toutes les quatre, avec un schéma d'erreur identique jusqu'au niveau de chaque test. Ce ne sont pas quatre décisions locales prises au hasard. C'est un seul réglage appliqué à l'échelle du groupe, sur toutes les marques.

Que peut coûter le fait de fermer la porte ?

Prenons Bik Bok. Google affichait un AI Overview, la réponse générée par IA en haut des résultats de recherche, pour les cinq questions d'achat propres à Bik Bok. Bik Bok n'a été cité aucune fois. Sur deux des questions, l'AI Overview citait à la place le suédois Nelly.

Prenez un instant pour y penser : la réponse de l'IA est là, les clients la voient, et un concurrent du pays voisin récupère la place.

Une réserve honnête : nous ne pouvons pas prouver que le blocage à lui seul explique pourquoi Bik Bok n'est pas cité. La visibilité dans les réponses IA dépend de nombreux facteurs, et les boutiques bloquées ne peuvent en plus être testées que sur un cinquième de nos critères techniques, ce qui les rend peu comparables aux boutiques entièrement analysées. Mais une chose est sûre : une porte fermée ne facilite pas le travail des machines qui auraient pu vous recommander.

Mais il existe de bonnes raisons de bloquer

Soyons justes envers les boutiques aussi, car ce n'est pas un choix absurde. Les grandes boutiques en ligne supportent des coûts réels liés au trafic des robots :

1. Coûts de scraping. Le contenu est aspiré en grand volume, et ce trafic n'est pas gratuit.
2. Des concurrents qui aspirent les prix. La surveillance automatique des prix par les concurrents fait partie du quotidien du e-commerce.
3. Charge serveur. Des robots agressifs peuvent accaparer une capacité dont les vrais clients ont besoin.
4. Vol de contenu. Des textes produits et des images que quelqu'un a payés pour créer se retrouvent copiés.

Le problème n'est pas de se protéger. Le problème est que cette protection ne fait pas la différence entre ami et ennemi, et que presque personne n'a vérifié qui elle exclut réellement.

Bloquer vous rend-il invisible ? Non, et c'est presque plus troublant encore

Celle-ci nous a surpris. Komplett bloque les robots plus durement que quiconque dans l'étude, avec ce qu'on appelle un tarpit, un piège qui retient volontairement les robots. Pourtant, Komplett affiche le taux de citation IA le plus élevé de son segment : cité dans 3 de ses 5 questions d'achat, avec un AI Overview affiché sur 4 sur 5.

Comment est-ce possible ? Parce que lorsque l'IA ne peut pas entrer chez vous, elle va chercher des informations sur vous auprès de sources tierces : forums, annuaires, presse. Une marque importante et largement médiatisée ne disparaît donc pas des réponses IA simplement parce que la porte est fermée.

Mais remarquez ce qui se passe réellement : vous perdez le contrôle sur les sources qui parlent en votre nom. L'IA décrit votre boutique à partir de ce que d'autres ont écrit, pas de ce que vous avez publié vous-même. Pour Komplett, cela semble bien fonctionner aujourd'hui. Pour une marque plus petite, ou une marque aux avis partagés, c'est un pari risqué.

À l'opposé : XXL a construit des portes que presque personne d'autre n'a

À l'autre bout de l'échelle se trouve XXL. Sur les 75 boutiques que nous avons mesurées sur la préparation aux agents, XXL arrive en tête. « Agent-Native », avec une MCP server card, des agent skills, un catalogue d'API et une négociation de contenu Markdown en place, et 11 des 15 contrôles réussis. La moyenne de la catégorie est de 2,5 sur 100. Presque personne d'autre n'a même commencé.

Alors soyons honnêtes ici aussi : XXL n'est malgré tout cité que 0 fois sur 3 dans AI Overview aujourd'hui. L'investissement n'a pas encore payé en termes de visibilité. Construire une infrastructure pour les agents IA est un pari sur l'avenir, pas un gain rapide. Autant le savoir avant de s'y lancer.

Que devriez-vous faire ? Quatre conseils concrets

Que vous finissiez par bloquer beaucoup ou peu, faites-le en connaissance de cause. Voici comment nous nous y prendrions :

1. Découvrez ce que fait réellement votre protection anti-bots. Ne supposez rien, testez par vous-même. Essayez de récupérer votre page d'accueil comme le ferait un robot, sans identité de navigateur, et voyez ce qui se passe. Beaucoup seront surpris de découvrir leur propre 403.
2. Assurez-vous que la politique et la pratique concordent. Un robots.txt qui dit oui pendant que votre WAF dit non, c'est le pire des deux mondes : vous signalez une ouverture sans la fournir, et vous cumulez les inconvénients des deux choix.
3. Distinguez les types de robots. Laissez entrer les robots d'IA que vous voulez, et bloquez ce que vous ne voulez pas, délibérément. Les protections anti-bots modernes se configurent bien plus finement que « tout ou rien ».
4. Suivez l'évolution des protocoles agents. MCP et les standards similaires sont encore immatures aujourd'hui, mais ils définissent la manière dont les agents IA parleront aux sites web à l'avenir. Pas besoin d'être XXL, mais vous devriez savoir ce qui se prépare.

Les agents acheteurs arrivent, et cela devient alors un choix actif

Ce qui rend ce dilemme plus important chaque année, c'est que « robots » ne désigne plus seulement les scrapers et les moteurs de recherche. Les assistants IA qui répondent aux questions d'achat sont eux aussi des robots. Et bientôt arriveront les agents acheteurs, des logiciels qui recherchent, comparent et achètent pour le compte du client.

Le jour où l'agent de votre client se présentera à la porte, le blocage inconscient d'aujourd'hui ne sera plus un détail technique. Ce sera un choix actif de rester à l'écart.

En conclusion

21 boutiques sur 99 bloquent les robots, alors que toutes celles que nous avons pu lire disent vouloir accueillir l'IA sur le papier. Nous ne pensons pas que ce soit une stratégie réfléchie. Nous pensons que personne n'a posé la question. La protection anti-bots s'achète comme de la sécurité, le robots.txt vient avec la plateforme, et personne n'a mis les deux en perspective.

La bonne nouvelle, c'est que c'est facile à corriger. Vous n'avez pas besoin de construire une infrastructure agent de classe mondiale demain. Il vous suffit de découvrir ce que fait réellement votre videur aujourd'hui, et de décider si c'est ce que vous voulez. C'est le travail d'un après-midi, et une décision qui mérite d'être prise par quelqu'un qui sait qu'elle existe.

Bonne chance, et allez tester votre propre 403 !