User-agent: AI2Bot
User-agent: Ai2Bot-Dolma
User-agent: Amazonbot
User-agent: anthropic-ai
User-agent: Applebot
User-agent: Applebot-Extended
User-agent: Bytespider
User-agent: CCBot
User-agent: ChatGPT-User
User-agent: Claude-Web
User-agent: ClaudeBot
User-agent: cohere-ai
User-agent: Diffbot
User-agent: DuckAssistBot
User-agent: FacebookBot
User-agent: facebookexternalhit
User-agent: FriendlyCrawler
User-agent: Google-Extended
User-agent: GoogleOther
User-agent: GoogleOther-Image
User-agent: GoogleOther-Video
User-agent: GPTBot
User-agent: iaskspider/2.0
User-agent: ICC-Crawler
User-agent: ImagesiftBot
User-agent: img2dataset
User-agent: ISSCyberRiskCrawler
User-agent: Kangaroo Bot
User-agent: Meta-ExternalAgent
User-agent: Meta-ExternalFetcher
User-agent: OAI-SearchBot
User-agent: omgili
User-agent: omgilibot
User-agent: PerplexityBot
User-agent: PetalBot
User-agent: Scrapy
User-agent: Sidetrade indexer bot
User-agent: Timpibot
User-agent: VelenPublicWebCrawler
User-agent: Webzio-Extended
User-agent: YouBot
Disallow: /

# Deze robots.txt is bedoeld als voorbeeld van een blocklist voor alle bekende
# crawlers die gebruikt worden om data te verzamelen voor datasets voor
# generatieve AI. Deze lijst is aangemaakt met behulp van het repository
# ai-robots.txt op GitHub. De meest recente versie van de lijst waarop dit
# bestand gebaseerd is, is terug te vinden op
# https://github.com/ai-robots-txt/ai.robots.txt.
#
# De tekst van deze robots.txt kan toegevoegd worden aan bestaande robots.txt
# bestanden die uw organisatie al gebruikt, of rechtstreeks worden geupload
# naar de bronmap van uw website. In de huidige staat van dit document zal het
# alle bekende AI-crawlers proberen te blokkeren op alle onderdelen van uw
# website. Voor optimaal functioneren, raden wij aan om ook een verwijzing naar
# uw sitemap toe te voegen, en eventuele instructies voor crawlers die niet
# gebruikt worden voor het verzamelen van data voor generatieve AI.
# 
# De informatie van deze robots.txt is verzameld op 11 november 2024. De
# effectiviteit van dit bestand zal afhangen van het regelmatig bijwerken met
# nieuwe informatie. Deze informatie kunt u vinden op de GitHub projectpagina.
#
# This robots.txt is meant as an example of a blocklist for all known crawlers
# used to gather data for use in generative AI dataset. This list has been 
# compiled with the help of the ai-robots.txt repository on GitHub. The most
# recent version of the list this file is based on can be found at
# https://github.com/ai-robots-txt/ai.robots.txt.
#
# The text of this robots.txt can be added to any existing robots.txt files
# your organisation is currently using, or be uploaded directly to the root
# folder of your website. In its current state this document will attempt to
# block all known AI-crawlers on all parts of your website. For optimal use we
# recommend adding a reference to your sitemap, along with any instructions for
# crawlers that aren't being used to harvest data for use in generative AI.
#
# The information in this robots.txt has been gathered on November 11th, 2024.
# The effectiveness of this file will depend on frequent updates. The
# information required for these updates can be found on the Github project
# page.