Default
Door staff@engadget.com (Ian Carlos Campbell) - 02 Jul 2026
Cloudflare heeft plannen aangekondigd om webcrawlers voor gemengd gebruik automatisch te blokkeren die websites indexeren voor zoekmachines en tegelijkertijd als AI-agenten en trainers fungeren. Het bedrijf bood zijn klanten eerder de optionele mogelijkheid om te voorkomen dat crawlers hun sites doorzoeken op AI-chatbots, maar nu wordt de houding van Cloudflare standaard defensiever.
“Nu het merendeel van het internetverkeer niet-menselijk is, moeten we verder gaan en sneller handelen, zodat er een duurzaam ecosysteem kan ontstaan”, zegt Matthew Prince, CEO en medeoprichter van Cloudflare in een verklaring. "De nieuwe tools en partnerschappen van Cloudflare geven website-eigenaren meer zichtbaarheid en commerciële kansen en komen ten goede aan AI-bedrijven die bots hebben met een duidelijke en transparante bedoeling. We hopen dat onze voorgestelde standaardwijzigingen crawlers voor gemengd gebruik aanmoedigen om zoeken te scheiden van agentgebruik en training."
Vroeger gaf webverkeer aan dat mensen de advertenties van een website bekeken of voor abonnementen betaalden, maar de populariteit van AI-modellen die namens een gebruiker sites kunnen bezoeken om actuele informatie op te halen, heeft dat systeem op zijn kop gezet. De nieuwe aanpak van Cloudflare is een poging om de relatie opnieuw in evenwicht te brengen op een manier die eerlijk is voor zowel AI-bedrijven als iedereen die een website beheert.
Vanaf 15 september 2026 zullen nieuwe klanten en nieuwe websites van bestaande Cloudflare-abonnees standaard "zoekopdrachten toestaan, maar training en agentgebruik voor pagina's met advertenties blokkeren." Crawlers voor gemengd gebruik die site-eigenaren niet de mogelijkheid geven om te kiezen of hun site wordt gebruikt voor AI, worden standaard ook geblokkeerd op pagina's met advertenties. Gebruikers met gratis accounts zullen ook naar deze standaardinstellingen overschakelen, tenzij ze zich vóór de deadline van 15 september afmelden, aldus het bedrijf.
Als onderdeel van deze veranderingen brengt Cloudflare ook een nieuwe versie uit van de Pay Per Crawl-functie die het in 2025 introduceerde en waarmee websites standaard AI-webcrawlers konden blokkeren, tenzij bedrijven betaalden om hun inhoud te schrapen. De functie heet nu Pay Per Use, en in plaats van betalingen te baseren op het feit of een webpagina is gecrawld, zegt Cloudflare dat site-eigenaren betaald zullen worden wanneer hun inhoud verschijnt in antwoorden van AI-chatbots. De aankondiging vermeldt alleen partnerschappen met Ceramic.AI en You.com, maar Cloudflare hoopt waarschijnlijk dat andere AI-bedrijven zich zullen aansluiten als zijn klanten zich hiervoor aanmelden.
Naast dat het in het algemeen probeert de relatie tussen websites en AI-bedrijven eerlijker te maken, zoals TechCrunch opmerkt, lijkt Cloudflare zich ook indirect op Google te richten. In de aankondiging van het bedrijf wordt vermeld dat "de grootste zoekmachine toegang heeft tot ongeveer twee keer meer informatie dan toonaangevende AI-bedrijven, omdat ze het voor klanten moeilijk maken om vindbaar te blijven zonder ook voor AI te worden gebruikt." De belangrijkste crawler van Google, Googlebot, indexeert websites voor de verschillende zoekmachines van het bedrijf en verzamelt informatie om Gemini te trainen en AI-functies zoals AI-overzichten en AI-modus aan te sturen. Google laat websites zich aanmelden voor een aparte crawler genaamd Google-Extended die alleen websites crawlt voor traditionele zoekresultaten, maar als een uitgever wil worden opgenomen in de AI-modusresultaten, maar niet wil dat zijn inhoud de modellen van Google traint, heeft hij geen optie. Het nieuwe beleid van Cloudflare is een poging om Google en andere bedrijven met crawlers voor gemengd gebruik te dwingen hun tactiek te veranderen.
“Nu het merendeel van het internetverkeer niet-menselijk is, moeten we verder gaan en sneller handelen, zodat er een duurzaam ecosysteem kan ontstaan”, zegt Matthew Prince, CEO en medeoprichter van Cloudflare in een verklaring. "De nieuwe tools en partnerschappen van Cloudflare geven website-eigenaren meer zichtbaarheid en commerciële kansen en komen ten goede aan AI-bedrijven die bots hebben met een duidelijke en transparante bedoeling. We hopen dat onze voorgestelde standaardwijzigingen crawlers voor gemengd gebruik aanmoedigen om zoeken te scheiden van agentgebruik en training."
Vroeger gaf webverkeer aan dat mensen de advertenties van een website bekeken of voor abonnementen betaalden, maar de populariteit van AI-modellen die namens een gebruiker sites kunnen bezoeken om actuele informatie op te halen, heeft dat systeem op zijn kop gezet. De nieuwe aanpak van Cloudflare is een poging om de relatie opnieuw in evenwicht te brengen op een manier die eerlijk is voor zowel AI-bedrijven als iedereen die een website beheert.
Vanaf 15 september 2026 zullen nieuwe klanten en nieuwe websites van bestaande Cloudflare-abonnees standaard "zoekopdrachten toestaan, maar training en agentgebruik voor pagina's met advertenties blokkeren." Crawlers voor gemengd gebruik die site-eigenaren niet de mogelijkheid geven om te kiezen of hun site wordt gebruikt voor AI, worden standaard ook geblokkeerd op pagina's met advertenties. Gebruikers met gratis accounts zullen ook naar deze standaardinstellingen overschakelen, tenzij ze zich vóór de deadline van 15 september afmelden, aldus het bedrijf.
Als onderdeel van deze veranderingen brengt Cloudflare ook een nieuwe versie uit van de Pay Per Crawl-functie die het in 2025 introduceerde en waarmee websites standaard AI-webcrawlers konden blokkeren, tenzij bedrijven betaalden om hun inhoud te schrapen. De functie heet nu Pay Per Use, en in plaats van betalingen te baseren op het feit of een webpagina is gecrawld, zegt Cloudflare dat site-eigenaren betaald zullen worden wanneer hun inhoud verschijnt in antwoorden van AI-chatbots. De aankondiging vermeldt alleen partnerschappen met Ceramic.AI en You.com, maar Cloudflare hoopt waarschijnlijk dat andere AI-bedrijven zich zullen aansluiten als zijn klanten zich hiervoor aanmelden.
Naast dat het in het algemeen probeert de relatie tussen websites en AI-bedrijven eerlijker te maken, zoals TechCrunch opmerkt, lijkt Cloudflare zich ook indirect op Google te richten. In de aankondiging van het bedrijf wordt vermeld dat "de grootste zoekmachine toegang heeft tot ongeveer twee keer meer informatie dan toonaangevende AI-bedrijven, omdat ze het voor klanten moeilijk maken om vindbaar te blijven zonder ook voor AI te worden gebruikt." De belangrijkste crawler van Google, Googlebot, indexeert websites voor de verschillende zoekmachines van het bedrijf en verzamelt informatie om Gemini te trainen en AI-functies zoals AI-overzichten en AI-modus aan te sturen. Google laat websites zich aanmelden voor een aparte crawler genaamd Google-Extended die alleen websites crawlt voor traditionele zoekresultaten, maar als een uitgever wil worden opgenomen in de AI-modusresultaten, maar niet wil dat zijn inhoud de modellen van Google traint, heeft hij geen optie. Het nieuwe beleid van Cloudflare is een poging om Google en andere bedrijven met crawlers voor gemengd gebruik te dwingen hun tactiek te veranderen.