Bonsoir,
Il semble qu'OpenAI ait lancé un bot qui n'indexera pas le contenu pour la construction de ses modèles AI ou ChatGPT User.
Si vous bloquez la mise à disposition de votre contenu pour l'IA-GEN de ChatGPT (GPTBot) ou pour l'utilisation par ChatGPT (ChatGPT-User).
Vous pouvez autoriser ce nouveau bot : "OAI-SearchBot", qui lui ne sera pas utilisé pour les solutions IA mais pour une indexation classique pour le futur moteur de recherche d'OpenAI - qui sera semble t-il disponible gratuitement pour tous bientôt.
Une modification du fichiers robots.txt n'est pas forcement nécessaire. Tout dépend de votre implémentation.
Si vous avez déjà un :
```
User-agent: *
les règles ...
```
Rien à faire. Il suivra les paramètres génériques pour tous les bots.
Cordialement,
Eric
https://platform.openai.com/docs/bots
https://www.coywolf.news/seo/how-to-be-in-chatgpt-search-results-without-training-their-ai-models/
Pour ma part, ce bot passe depuis début aout 2024. Le crawl s'est fortement intensifié le 1/11.
Il semble qu'OpenAI ait lancé un bot qui n'indexera pas le contenu pour la construction de ses modèles AI ou ChatGPT User.
Si vous bloquez la mise à disposition de votre contenu pour l'IA-GEN de ChatGPT (GPTBot) ou pour l'utilisation par ChatGPT (ChatGPT-User).
Vous pouvez autoriser ce nouveau bot : "OAI-SearchBot", qui lui ne sera pas utilisé pour les solutions IA mais pour une indexation classique pour le futur moteur de recherche d'OpenAI - qui sera semble t-il disponible gratuitement pour tous bientôt.
Une modification du fichiers robots.txt n'est pas forcement nécessaire. Tout dépend de votre implémentation.
Si vous avez déjà un :
```
User-agent: *
les règles ...
```
Rien à faire. Il suivra les paramètres génériques pour tous les bots.
Cordialement,
Eric
https://platform.openai.com/docs/bots
https://www.coywolf.news/seo/how-to-be-in-chatgpt-search-results-without-training-their-ai-models/
Pour ma part, ce bot passe depuis début aout 2024. Le crawl s'est fortement intensifié le 1/11.
Dernière édition: