Googlebot

C’est quoi Googlebot ?

Un Google bot est un robot d’exploration web (aussi appelé crawler ou spider) utilisé par Google pour analyser et indexer les pages web sur Internet. Il parcourt régulièrement le web pour découvrir de nouvelles pages ou pour mettre à jour le contenu des pages existantes.

Fonctionnement de Google bot

• Exploration : Le bot suit des liens à travers les pages web pour découvrir de nouveaux contenus. Il commence souvent par des pages déjà indexées et suit les liens internes et externes.
• Indexation : Une fois une page visitée, le contenu est analysé et indexé dans la base de données de Google, où il est organisé en fonction de son contenu, des mots-clés, des images, etc. Cela permet à Google de savoir de quoi parle une page.
• Classement : Lorsque les utilisateurs effectuent une recherche, Google utilise les informations recueillies par ses bots pour classer les pages en fonction de leur pertinence par rapport à la requête de l’utilisateur.

Les Google bots sont essentiels pour le référencement naturel (SEO), car ils permettent de faire apparaître un site dans les résultats de recherche Google. Pour cela, il est important que le site soit bien structuré et que ses liens soient facilement accessibles aux bots.

Validation de Googlebot

La validation de Googlebot est le processus permettant de vérifier qu’une demande de votre site web provient réellement du bot officiel de Google et non d’un autre programme ou d’un bot malveillant prétendant être Googlebot. Cette validation est importante pour éviter des accès non autorisés ou des surcharges de trafic par des bots frauduleux.

Pourquoi valider Googlebot ?

• Sécurité : Pour s’assurer que seules des entités légitimes comme Googlebot accèdent à votre site.
• Performance : Éviter les bots non désirés qui pourraient consommer inutilement vos ressources serveur.

Comment valider Googlebot ?

Vérifier l’adresse IP

Google recommande de vérifier si l’adresse IP à l’origine de la requête provient bien des serveurs de Google.

• Étape 1 : Obtenez l’adresse IP qui fait la requête sur votre site. Cela peut être fait via les journaux de votre serveur.
• Étape 2 : Effectuez une commande de recherche DNS inversée (reverse DNS lookup) sur cette adresse IP pour vérifier qu’elle résout vers un domaine de Google (comme googlebot.com ou google.com). Exemple : host [adresse IP]
• Étape 3 : Effectuez ensuite une recherche DNS classique (forward DNS lookup) sur le nom de domaine renvoyé à l’étape précédente pour vérifier qu’il correspond bien à l’adresse IP d’origine. Exemple : host [nom de domaine renvoyé]

Utiliser Google Search Console

Si vous avez des doutes sur l’activité d’un bot sur votre site, vous pouvez vérifier directement dans Google Search Console. Cela vous permet de voir les activités d’exploration effectuées par Googlebot.

User-agent

Assurez-vous que le user-agent dans les requêtes est bien celui de Googlebot.
Googlebot utilise les user-agents suivants :

• Googlebot/2.1 (+http://www.google.com/bot.html) (pour les requêtes Web
• Googlebot-Image/1.0 (pour les images)

Bien que l’user-agent puisse être imité, la combinaison de ces méthodes vous permet de confirmer si vous avez affaire au vrai Googlebot.

Ressources Google

• Googlebot
• Validation Googlebot