# ---------------------------
# Règles générales pour tous les crawlers
# ---------------------------
User-agent: *
# Interdire les répertoires critiques de WordPress
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /wp-content/plugins/
Disallow: /wp-content/cache/
Disallow: /trackback/
Disallow: /wp-login.php
Disallow: /actualites/

# Bloquer les fichiers spécifiques pour la sécurité
Disallow: /*.php$
Disallow: /*.inc$
Disallow: /*.gz$

# Autoriser les ressources essentielles pour le rendu
Allow: /wp-admin/admin-ajax.php
Allow: /wp-content/uploads/

# Inclure le sitemap pour guider tous les bots
Sitemap: https://clic-campus.fr/sitemap_index.xml
Sitemap: https://clic-campus.fr/sitemap-news.php

# ---------------------------
# Règles spécifiques pour les principaux bots
# ---------------------------
# Autoriser complètement OAI-SearchBot (utilisé par OpenAI)
User-agent: OAI-SearchBot
Allow: /

# Googlebot (moteur de recherche principal)
User-agent: Googlebot
Allow: /

# Bingbot (moteur de recherche secondaire)
User-agent: Bingbot
Allow: /

# Baiduspider (moteur de recherche chinois)
User-agent: Baiduspider
Allow: /

# Yandex (moteur de recherche russe)
User-agent: Yandex
Allow: /

# Bots sociaux pour les prévisualisations
User-agent: Twitterbot
Allow: /
User-agent: Facebot
Allow: /

# Bots spécifiques de prévisualisation (LinkedIn, Slack, etc.)
User-agent: LinkedInBot
Allow: /
User-agent: Slackbot
Allow: /

# Bloquer les crawlers indésirables ou abusifs
User-agent: MJ12bot
Disallow: /
User-agent: DotBot
Disallow: /
User-agent: OpenAI
Disallow: /

# ---------------------------
# Règles avancées pour l'accessibilité des ressources
# ---------------------------
# Autoriser CSS et JavaScript pour un meilleur rendu des pages
User-agent: *
Allow: /*.css$
Allow: /*.js$

# Autoriser l'exploration des catégories et balises uniquement si nécessaire
Allow: /category/
Allow: /tag/