Maßnahme gegen Webcrawler: Cloudflare ermöglicht Trennung von KI- und Suchbots

Cloudflare ermöglicht es Website-Betreibern nun, KI-Bots von Suchmaschinen-Crawlern zu unterscheiden. Dies erlaubt es Unternehmen, Daten für KI-Trainings zu blockieren, während sie weiterhin von Suchmaschinen indexiert werden möchten. So können sensible Daten geschützt und gleichzeitig die Sichtbarkeit in Suchergebnissen aufrechterhalten werden.