AI-bots overspoelen het internet en niemand weet ze tegen te houden

In Het Kort

• De essentie: AI-bots vormen nu 2% van alle webverkeer, een verviervoudiging in negen maanden tijd
• De hoofdrolspelers: Scraping-bedrijven als Bright Data en Oxylabs versus publishers die hun content willen beschermen
• De échte verschuiving: Het internet evolueert van een menselijke naar een bot-gedomineerde omgeving
• De strategische take-away: Websites moeten kiezen tussen blokkeren of cashen - een tussenweg bestaat niet

Het internet zoals we het kennen verdwijnt. Niet door een grote technologische omwenteling, maar door een stille invasie van AI-bots die alles opzuigen wat ze tegenkomen. Nieuwe cijfers van TollBit laten zien dat één op de vijftig websitebezoekers inmiddellijk een AI-scraper is. Negen maanden geleden was dat nog één op de tweehonderd.

De cijfers zijn kaal en confronterend. In het vierde kwartaal van 2025 negeerde 13% van alle AI-bots de robots.txt-bestanden - de digitale 'verboden toegang'-bordjes die websites ophangen. Een jaar eerder deed nog maar een fractie dat. Het is alsof je keurig een hekje om je tuin zet en vervolgens toekijkt hoe steeds meer bezoekers er gewoon overheen stappen.

De wapenindustrie van het web

Robert Blumofe, technisch directeur van internetinfrastructuurbedrijf Akamai, noemt het een 'wapenwedloop die de toekomst van het web zal bepalen'. Dat klinkt dramatisch, maar de praktijk is nog prozaïscher. Bots worden slimmer, websites bouwen hogere muren, bots vinden nieuwe gaten.

De tactieken worden steeds geraffineerder. AI-bots vermommen zich als gewone browsers, imiteren menselijk klikgedrag en zijn volgens TollBit 'bijna niet meer te onderscheiden van echt verkeer'. Het is een technologische variant van koekoeksjong-gedrag: parasitair, maar effectief.

Toshit Pangrahi, CEO van TollBit, voorspelt dat 'de meerderheid van het internet botverkeer wordt'. Zijn bedrijf verkooedt tools waarmee websites AI-scrapers kunnen laten betalen voor toegang. Een logische businesscase, maar ook een erkenning dat de strijd al verloren is.

Juridisch theater

De respons van de scraping-industrie is voorspelbaar. Bright Data, een van 's werelds grootste web-scraping bedrijven, beweert alleen 'publieke informatie' te verzamelen. ScrapingBee roept het 'kernprincipe van het open internet' in. Oxylabs wijst op 'legitieme doeleinden' zoals cybersecurity en onderzoeksjournalistiek.

Het zijn de standaard juridische smoesjes van een industrie die weet dat ze in een grijs gebied opereren. Meta en X hebben Bright Data al voor de rechter gesleept, maar de rechtszaken lopen vast in technische details en jurisdictiekwesties. Ondertussen gaat het scrapen gewoon door.

De nieuwe economie van aandacht

Wat opvalt is hoe snel er een hele economie ontstaat rond dit fenomeen. TollBit telde meer dan veertig bedrijven die gespecialiseerde scraping-bots verkopen. Aan de andere kant ontstaan bedrijven als Brandlight die 'generative engine optimization' aanbieden - SEO voor AI-systemen.

Uri Gafni van Brandlight ziet 2026 als het jaar waarin dit 'uitrolt als een volwaardig marketingkanaal'. De ironie is palpabel: eerst proberen websites bots buiten te houden, daarna gaan ze betalen om erin te komen.

Het fundamentele probleem is dat het huidige internet gebouwd is op de aanname dat bezoekers mensen zijn. Robots.txt-bestanden zijn vriendelijke verzoeken, geen technische barrières. Het is alsof je een winkel runt waar de helft van je 'klanten' eigenlijk concurrenten zijn die je voorraad komen inventariseren.

De vraag is niet of AI-bots het internet gaan domineren - dat doen ze al. De vraag is of er nog een internet overblijft dat de moeite waard is voor mensen. Het antwoord hangt af van hoe snel publishers, platforms en beleidsmakers doorhebben dat de spelregels definitief zijn veranderd.