Si vous achetez les mots clés sur Google AdWords, vous aurez dû sûrement constater dans les fichiers logs de votre serveur la présence de lignes qui contiennent : AdsBot-Google (+http://www.google.com/adsbot.html).
Google utilise ce robot, AdsBot-Google, pour visiter les URL de destination de vos annonces afin d’évaluer la qualité de la page de destination et ainsi lui associer un indice de qualité qui va influencer vos cpc et l’enchère minimum.
Vous pouvez si vous le voulez décider d’interdire à Google de crawler vos pages en ajoutant à votre fichier robots.txt la ligne suivante :
User-agent: AdsBot-Google
Disallow: /
Ou bien :
User-agent: AdsBot-Google
Disallow: /monrepertoire/
Si vous voulez interdire seulement le répertoire : monrepertoire
Notez bien que si votre fichier robots.txt contient déjà la ligne :
User-agent: *
Cette ligne sera tout simplement ignorée par AdsBot Google.
Toutefois Google recommande fortement de ne pas interdire la visite de vos pages pas le crawler AdWords, voici comment ils expliquent la chose sur le centre d’aide AdWords :
« Nous pensons qu'un annonceur ne participant pas à cet examen porte atteinte au service de recherche offert aux utilisateurs, mais également à la qualité globale du programme AdWords. Si vous n'autorisez pas l'examen de votre site, nous ne disposerons pas d'informations suffisantes sur la qualité et la pertinence de vos pages de destination. Par conséquent, si vous limitez l'accès d'AdWords à vos pages de destination, le niveau de qualité associé aux mots clés sera diminué. Cela se traduira par un coût par clic minimum plus élevé pour la page de destination dont vous avez limité l'accès.»
Voici une liste des certains des Robots Google :
GoogleBot (Googlebot/2.1; +http://www.google.com/bot.html) : Le principal spider de Google qui parcourt le web à la recherche de nouvelles pages et pour indexer les mises à jours des pages pour les inclure dans les résultats de recherche Google.
MediaBot ou GoogleBot Mediapartner (Mediapartners-Google/2.1) : Visites les pages des sites affiliés Adsenses pour déterminer le contenu de la page afin d’associer des annonces contextuelles en relation avec le contenu de la page.
ImageBot (Googlebot-Image/1.0) : Ce robot visite les pages à la recherche d'images qui seront classé en fonction de leurs noms, le contenu de la page, le texte d'alt associé à ces images et aussi le titre de page.
Feedfetcher (Feedfetcher-Google) : Les requêtes Feedfetcher sont liées à une action de la part des utilisateurs. Lorsque des utilisateurs ajoutent votre flux à leur page d'accueil Google ou à Google Reader, l'outil Feedfetcher de Google tente d'obtenir le contenu du flux afin de l'afficher. Étant donné que toutes les requêtes proviennent d'actions générées par les utilisateurs, Feedfetcher a été conçu pour ignorer les instructions des fichiers robots.txt.
Generic Mobile Phone (compatible; Googlebot-Mobile/2.1; +http://www.google.com/bot.html) : Ce robot explore les pages pour traduire le code html original de ces pages en un code lisible par les mobiles.
Google WAP Proxy (Google WAP Proxy/1.0) : C’est un pont pour les téléphones mobiles pour leur permettrent de voir et d’adapter un contenu html normal de la page en utilisant le wap protocol en convertissant les flux html en un flux wml.
Aucun commentaire:
Enregistrer un commentaire