Bloquer ou autoriser ?
Il faut distinguer deux familles de robots. Ceux qui servent à entraîner les modèles (GPTBot, ClaudeBot, CCBot, Google-Extended) et ceux qui servent à chercher et citer des pages en temps réel (OAI-SearchBot, Claude-SearchBot, PerplexityBot, Googlebot). Bloquer les seconds, c'est renoncer à être cité.
Le robots.txt n'est qu'une consigne : un pare-feu ou une protection anti-robots (Cloudflare, hébergeur) peut aussi bloquer ces robots sans que vous le sachiez. Si vos pages ne sont jamais citées, vérifiez aussi de ce côté.
L'outil applique les règles officielles : groupe le plus précis pour le robot, sinon groupe « * », et règle la plus longue qui correspond à la page.