Blokkere roboter eller ikke? Dilemmaet norske nettbutikker ikke vet at de står i

Hvor mange blokkerer egentlig, og hvem?

Av de 99 butikkene som fikk rapport, avviste 21 crawleren: 16 med HTTP 403 («forbudt»), 2 med 429 («for mange forespørsler») og 3 uten statuskode i det hele tatt. Verst er mote og klær, der halvparten av butikkene blokkerer. Elektronikk følger like bak med 44 prosent.

Det mest talende enkeltmønsteret er Varner-gruppen. Dressmann, Cubus, Bik Bok og Carlings, fire merkevarer på fire ulike domener, blokkerer alle fire, med identisk feilmønster helt ned på enkelttestnivå. Dette er ikke fire tilfeldige, lokale valg. Det er én konserninnstilling på tvers av alle merkene.

Hva kan det koste å stenge døren?

La oss se på Bik Bok. Google viste en AI Overview, det AI-genererte svaret øverst i søkeresultatet, for alle fem av Bik Boks egne kjøperspørsmål. Bik Bok ble sitert null ganger. På to av spørsmålene siterte AI-oversikten i stedet svenske Nelly.

Tenk på det et øyeblikk: AI-svaret er der, kundene ser det, og en konkurrent fra nabolandet får plassen.

Et ærlig forbehold: vi kan ikke bevise at blokkeringen alene er årsaken til at Bik Bok ikke siteres: synlighet i AI-svar avhenger av mange ting, og blokkerte butikker kan vi dessuten bare teste på en femtedel av de tekniske målene, så de er ikke sammenlignbare med de leste på audit-tallene. Men én ting er sikker: en stengt dør gjør ikke jobben lettere for maskinene som skulle anbefalt deg.

Men det finnes gode grunner til å blokkere

La oss være ærlige på butikkenes vegne også, for dette er ikke et dumt valg. Store nettbutikker har reelle utgifter knyttet til robottrafikk:

1. Scraping-kostnader. Innholdet høstes i stort volum, og trafikken er ikke gratis.
2. Konkurrenter som høster priser. Automatisk prisovervåkning fra konkurrenter er hverdagskost i netthandelen.
3. Serverbelastning. Aggressive roboter kan stjele kapasitet fra ekte kunder.
4. Innholdstyveri. Produkttekster og bilder som noen andre har betalt for å lage, kopieres.

Problemet er ikke at man beskytter seg. Problemet er at vernet ikke skiller venn fra fiende, og at nesten ingen har sjekket hvem det faktisk stenger ute.

Blir du usynlig av å blokkere? Nei, og det er nesten mer tankevekkende

Her ble vi overrasket. Komplett blokkerer crawlere hardest av alle i undersøkelsen, med en såkalt tarpit, en felle som med vilje holder roboter fast. Likevel har Komplett høyest AI-sitering i sitt segment: sitert i 3 av sine 5 kjøperspørsmål, med AI Overview vist på 4 av 5.

Hvordan går det an? Jo: når AI-en ikke kommer inn hos deg, henter den informasjon om deg fra tredjepartskilder: fora, kataloger, presse. Et stort, mye omtalt merke forsvinner altså ikke fra AI-svarene selv om døren er stengt.

Men legg merke til hva som faktisk skjer: Du gir fra deg kontrollen over hvilke kilder som snakker for deg. AI-en beskriver butikken din basert på hva andre har skrevet, ikke hva du selv har publisert. For Komplett går det tilsynelatende bra i dag. For et mindre merke, eller et merke med blandede omtaler der ute, er det et sjansespill.

Motpolen: XXL har bygget dører nesten ingen andre har

I den andre enden av skalaen står XXL. Av 75 butikker vi fikk målt på agent-readiness, er XXL den som ligger best an. «Agent-Native», med MCP server card, agent skills, API-katalog og Markdown-forhandling på plass, og 11 av 15 beståtte sjekker. Snittet i kategorien er 2,5 av 100. Nesten ingen andre har i det hele tatt begynt.

Så må vi være ærlige her også: XXL siteres likevel 0 av 3 ganger i AI Overview i dag. Investeringen har ikke gitt synlighets-uttelling ennå. Å bygge infrastruktur for AI-agenter er en satsing på det som kommer, ikke en rask gevinst. Det er greit å vite før man setter i gang.

Hva bør du gjøre? Fire konkrete råd

Uansett om du ender med å blokkere mye eller lite: gjør det med viten og vilje. Slik ville vi angrepet det:

1. Finn ut hva bot-vernet ditt faktisk gjør. Ikke anta, test selv. Prøv å hente forsiden din slik en crawler gjør det, uten nettleser-identitet, og se hva som skjer. Mange kommer til å bli overrasket over sin egen 403.
2. Sørg for at policy og praksis stemmer overens. En robots.txt som sier ja mens WAF-en sier nei, er det verste av begge verdener: du signaliserer åpenhet uten å levere den, og får ulempene fra begge valg.
3. Skill mellom bot-typer. Slipp inn AI-crawlerne du ønsker deg, og blokkér det du ikke vil ha, bevisst. Moderne bot-vern kan konfigureres langt mer finkornet enn «alt eller ingenting».
4. Følg med på agent-protokollene. MCP og tilsvarende standarder er umodne i dag, men de definerer hvordan AI-agenter skal snakke med nettsteder fremover. Du trenger ikke være XXL, men du bør vite hva som rører seg.

Kjøpsagentene kommer, og da blir dette et aktivt valg

Det som gjør dilemmaet viktigere for hvert år, er at «roboter» ikke lenger bare betyr scrapere og søkemotorer. AI-assistenter som svarer på kjøperspørsmål er roboter. Og snart kommer kjøpsagentene, programvare som undersøker, sammenligner og handler på vegne av kunden.

Den dagen kundens agent står utenfor og banker på, er dagens ubevisste blokkering ikke lenger et teknisk sidespor. Da er det et aktivt valg om å stå utenfor.

Avsluttende tanker

21 av 99 butikker blokkerer roboter, samtidig som alle vi fikk lese ønsker AI velkommen på papiret. Vi tror ikke det skyldes en gjennomtenkt strategi. Vi tror ingen har stilt spørsmålet. Bot-vern kjøpes som sikkerhet, robots.txt følger med plattformen, og ingen har sett de to i sammenheng.

Det fine er at dette er lett å gjøre noe med. Du trenger ikke bygge agent-infrastruktur i verdensklasse i morgen. Du trenger bare å finne ut hva dørvakten din faktisk gjør i dag, og bestemme deg for om det er det du vil. Det er en ettermiddags arbeid, og en beslutning som fortjener å bli tatt av noen som vet at den finnes.

Lykke til, og test den 403-en din!