Lorsque l'on parle de Google bot, on pense souvent à "référencement", mais il existe une autre utilisation : les tests. Je ne parle pas de tests fonctionnels ou unitaires mais de tests pour améliorer la qualité de votre site, comme les tests de liens morts, de pages indisponibles, d'erreurs HTTP etc.
Il y a quelques semaines, je postais plusieurs billets sur comment gérer un serveur de download :
- Limiter la bande passante d'un serveur de download
- Limiter l'accès à un site / service pour un certain nombre de requêtes par IP
Mais cette configuration peut poser des problèmes pour les bots des moteurs de recherches. C'est pourquoi je voudrais expliquer comment mieux configurer les serveurs pour faciliter le travail des bots.