Cloudflare gaat AI-crawlers standaard blokkeren op pagina’s met advertenties

Cloudflare draait vanaf 15 september de standaardinstellingen om voor AI-verkeer op zijn netwerk. Crawlers die content verzamelen voor AI-training worden dan standaard geblokkeerd op pagina’s die advertenties tonen. Zoekcrawlers blijven wel toegestaan.Tegelijk bouwt het bedrijf zijn betaalmodel om zodat online uitgevers betaald krijgen naar de mate van gebruik van hun producties. Nu is dat nog de mate van crawlen. Echter, een item kan 1 keer gecrawled worden en duizend keer gebruikt. Dat g