fév
9
2009

Mesurer les visites des robots sur votre site avec Google Analytics

Voici un post très intéressant du site analytics.fr proposant une méthode pour suivre le crawl des moteurs sur votre site directement dans Google Analytics et de manière très simple.
Traditionnellement, pour connaître les volumes de crawl, les fréquences de crawl, les urls les plus crawlées par les moteurs, il faut analyser et lancer des regex sur les logs! une analyse de log n’est jamais très simple et necessite des connaissances très pointues.
Aujourd’hui en custumisant un peu Google Analytics, cet outil vous fournira toutes ces données aussi facilement que le nombre de visites qu’enregistre votre site.

Voici comment procéder:

1. créez un nouveau profil pour votre site dans Google analytics.

Appelez le crawl.monsite.com ou robot.monsite.com histoire de le distinguer facilement. Libre à vous de choisir le nom qui vous convient le mieux.

2. téléchargez le dossier zippé en cliquant ici

Le dossier contient 3 fichier qui sont: config.php, analytics.php et patterns.php

3. ouvrez le fichier config.php pour y apporter quelques petites modifications

Le fichier se présente comme ceci:

<?php
$var_utmhn = ‘seoland.fr'; //enter your domain
$var_utmac = ‘UA-1855056-17′; //enter the new urchin code
$var_cookie = ‘210405655’; //insert here the first number in your __utma cookie (visit YOUR site and check your cookies)
?>

Il suffit de mettre votre nom de domaine, de mettre votre nouvel ID analytics obtenu à la création du nouveau profil dans l’étape 1et le hash du domaine que vous allez trouver en regardant la valeur du cookie _utma sur votre site:

Le cookie aura un contenu qui ressemblera à peu prêt à ceci:

58715258.281663908.1207124725.1229617107.1229703684.210

C’est donc cette première suite de chiffre “58715258″ qu’il faut spécifier dans le fichier de configuration.

4. mettre en place un include en php pour faire appel au fichier analytics.php

Il suffit de rajouter en fin de header ce bout de code

<?php include_once( dirname(__FILE__).'/analytics.php'); ?>

A modifier si vous avez mis le fichier ailleurs que dans le root

Et voila c’est déjà fini! pour voir les rapport, connectez vous à votre compte analytics (crawl.monsite.com) allez dans sources de trafic>moteurs de recherche, vous trouverez:

  • La liste des robots qui ont visité votre site.
  • En cliquant sur une source de trafic autrement dit, un robot de moteurs, vous aurez la liste des pages crawlées par le robot sélectionné
  • En enfin, en segmentant par le champ personnalisé (User-defined), vous verrez quelle machine est venue crawler votre site.

Après ces étapes vous serez capable de quantifier le passage des robots sur votre site web et donc de mieux orienter leur activités sur votre site afin de mettre en avant les pages clés de votre activité.
A vous de jouer!!

Remarque Importante:
Re: Analyse du crawl des moteurs directement dans analytics

Les informations ainsi obtenues ne concernent qu’une partie de celles qu’on peut avoir dans les logs.
En effet, en supposant l’exhaustivité de l’appel du marqueur côté serveur sur toutes les pages du site, on ne pourra pas suivre avec les appels sur les pages en 404, 500, les images ou fichiers pour lesquels le script du marqueur ne sera pas activé!!
L’analyse des logs a donc de beaux jours devant elle :)

A lire aussi sur « Astuces Google Analytics« :

Mesurer les visites des robots sur votre site avec Google Analytics
2 votes, 5.00 avg. rating (66% score)

35 Comments + Add Comment

  • Bonjour,
    J’ai suivi pas à pas le procédé, mais au final, Google Analytics ne parvient pas à « vérifier l’état » pour ce site. Est-ce que c’est normal avec cette manip, ou est-ce que ça veut dire que j’ai fait une erreur quelque part ?
    Merci en tous cas pour cet astuce, c’est excellent (enfin quand ça marchera ;D)
    A++

  • @Damien,
    Si vous avez suivi à la lettre les instructions du post alors ça devrait marcher. en tout cas chez moi ça marche nikel.
    Je vous conseils néanmoins de vérifier le chemin d’accès de l’include qui fait appel à analytics.php
    < ?php include_once( dirname(__FILE__).'/analytics.php'); ?> et renseignez bien le chemin (rajouter au besoin un nom de répértoire ou de sous répertoire.
    Si vous avez des problèmes de validation, essayer de rajouter le tag analytics puis de le supprimer une fois le profil validé (c’est ce que j’avais fait au départ mais ce n’est pas sur que ça soit une cause à votre problème)
    N’hésitez pas à revenir vers moi si vous avez (ou pas) réussi votre implémentation.

    @Claire,
    Je ne comprens pas vraiment votre question!! je n’ai qu’un seul ID Google analytics pour ce compte. et de toute façon on peut avoir 2 tag analytics dans une même page (exemple un dans le header et un dans le footer)! il suffit juste de rajouter une petit instruction au 2ième tag. au cas ou vous vous demanderiez à quoi sert d’avoir 2 tags et bien sachez qu’avec deus tags du meme outils, on se retrouve avec des ecarts de chiffres avoisinant dès fois les 10%

  • faites ctrl+u et vous verrez vos deux id analytics : UA-1935059-9 et UA-3695993-1

  • @Claire,
    j’ai verifié et fait ctrl+U :) et le seul tag analytics que je retrouve et celui lié à mon ID UA-3695993-1 !!
    quand à UA-1935059-9 il n’existe que dans vos commentaires! aucun tag n’est lié à ce compte sur mon site.

  • Merci, je vais réessayer… J’ai bien vérifié la procédure, et j’ai tout fait comme il faut (enfin je pense).

    Le site sur lequel je teste ça est sur un 90Plan chez OVH, le problème vient peut-être du soucis qu’il y a en ce moment avec OVH qui bloque les crawls de Googlebot, ce serait possible ??

    Merci encore, je vais continuer à essayer.

  • @admin

    Merci pour le tuto ça marche nickel et du 1er coup

    @++

  • @Damien,
    Moi aussi je suis sur OVH et je n’ai pas eu de problème pour la mise en place.
    Revois bien les étapes liées à l’instalation et je suis sur que t’as pas mis les script dans le bon répértoire ou alors que t’as mal renseigné le chemin pour l’appel à analytics.php. A part ça je ne vois vraiment pas ce qui pourrait bloquer.
    Bon courage et tiens nous au courant :)

  • […] répondre à un commentaire d’une personne qui avait lu mon précédent article sur comment mesurer l’activité des crawlers sur un site web. L’idée est donc de créer des profils sur lesquels on appliquera certains […]

  • Bonjour et merci pour cette technique.
    Malheureusement et surtout bizarrement je n’ai aucun cookie générer sur mon site (le tracking analytics est présent et les stats fonctionnent).
    Avez vous déjà rencontré ce cas de figure ?
    L’adresse du dit site : http://www.databack.fr
    Merci d’avance.

  • @b
    Analytics mets automatiquement un cookie pour suivre les sessions des utilisateurs. j’ai regardé sur ton site et bizarement, je vois tes cookies normalement. donc pour te faciliter la tache :), je t’ai capturé celui qui t’intéresse pour mettre en place le suivi du crawl des moteurs. voici donc le cookie _utma:
    30683306.3755246952770789000.1235744949.1235744949.1235744949.1
    il faudra que tu utilise la première suite de caractère que voici: 30683306
    voila! à bientot

  • : faut-il l’ajouter dans le header de toutes les pages ???

  • @Lim
    Je ne comprends pas bien ce que tu veux dire. Normalement t’as rien à rajouter dans les header de tes pages… Peux tu être plus clair?? Si tu suis bien la méthode, tu devrais pas avoir trop de souci pour implémenter cette solution.
    si t’as des questions, n’hésites pas :)

  • en fait je parlais du bout de code « include » … aut-il l’ajouter dans le header de toutes les pages ?

  • @Lim
    ah ok!! autant pour moi :)..
    effectivement, il faudra ajouter ce bout de code php sur chacune des pages que tu souhaites suivre. fais attention à mettre le bon chemin d’accès à ton fichier analytics.php : dans l’exemple de code fournit avec cet article, on suppose que le fichier est situé au même endroit que les pages web.
    voila

  • Bonjour,
    merci pour le tutorial.
    Je me retrouve dans le même cas que Damien.
    Je coince dès la première étape : une fois le profil créé, je clique sur le bouton « Continue ».
    J’obtiens alors un script javascript « ga.js » à insérer .
    Impossible donc de vérifier l’état du nouveau profil créé car il n’existe pas.
    Pour la suite du tuto, j’ai bien compris la manip concernant le fichier « config.php ».

    Merci d’avance de bien vouloir m’éclairer de vos lumières, Ô Grand Gana.

  • @espace
    quand tu crée ton nouveau profil, tu obtient le code. cliques sur terminer, rends toi après sur la page « parametres du profil » et tout en haut cliques sur « valider l’état » (sans inserer le tag sur les pages). normalement il devrait te valider le site.
    tiens mois au courant.

  • @admin
    j’ai trouvé pourquoi cela ne marche pas.
    merci !

  • Bonjour,

    Je n’arrives pas à récupérer le hash de mon domaine à partir de la valeur du cookie _utma de mon site ?? comment fait-on cela … merci de m’éclairer …

  • @WebSissou,
    Pour récupérer la valeur du cookie, il faut aller dans l’anglet cookies de ta barre webdevelopper (extention de firefox) si tu l’as. Après tu choisis « View cookie information » et là tu cherche ton cookie _utma (généralement en haut de page) et tu récupère la valeur comme expliqué dans l’article.

  • @admin,
    Merci beaucoup, ça marche ….. ;-))
    Je vais pouvoir suivre tout cela de plus près.

  • @admin
    Merci beaucoup, je viens de retomber sur cet article en regardant les backlinks du site, lol.
    Bon j’essaye avec ce que tu as trouvé dans le cookie, en effet c’est vraiment étrange que je ne le vois pas sur ma machine (pourtant je vois tout les autres cookies mais pas ceux là !).
    Bonne continuation

  • […] Astuce Analytics 2: Mesurer le crawl des moteurs avec Analytics […]

  • Bonsoir, j’ai mis en place votre script il y a un peu plus de 48h et rien, pas une viste de robots…
    google m’indique pourtant dans les outil pour webmaster que 7 de mes pages son crawlé en moyenne par jour et 1 au minimum.

    je pense donc qu’il y a un pb de configuration.
    L’adresse du serveur que l’on doit mettre dans les script, est-ce (dans mon cas) :
    robots.escrime-aquitaine.fr
    ou escrime-aquitaine.fr

    et coté google analytics, faut-il bien mettre robots.escrime-aquitaine.fr ou tartempion.google.cv irait aussi bien ? (lisibilité mise à part bien sur)

    merci d’avance,
    GammaNu

  • […] Astuce Analytics: Mesurer le crawl des moteurs avec Analytics […]

  • Bonjour,

    Pour ma part, j’ai bien suivi le tuto à la lettre.
    En revanche, j’ai toujours le message ‘Suivi non configuré’ dans Google pour mon compte robots.appartementparisien.fr depuis 48h.

    Je suis hébergé chez 1and1, j’utilise la plateforme Joomla et la réécriture d’URL. Y a-t-il des contre indications au vue de ma configuration ?
    En regardant le code source de ma page d’accueil, je ne vois nulle part apparaître le bout de code : . Est-ce normal ?

    Merci d’avance pour votre aide

  • Bonjour,

    J’ai bien suivi la procédure, pourtant Google Analytics annonce toujours « Suivi non configuré ».
    En appelant la page analytics.php dans mon navigateur, il affiche une page blanche.
    Et dans les sources de ma page, je n’ai que le script analytics d’origine, celui pour le suivi des visiteurs.

    Quelqu’un saurait d’ou cela peut venir ?

    Merci

  • Bonjour,
    je suis très intéressé par cette méthode, mais impossible de la mettre en œuvre, google analytics aurait-il changé depuis les derniers posts?

    merci de m’aider un peu, je ne vois pas ce qui cloche…

  • Autant pour moi, la vérification du site marche ce matin… je pensais que c’était instantané…
    désolé et bonne journée!

  • Bonjour,
    je n’ai pas compris sur quel fichier doit-on mettre en place un include en php pour faire appel au fichier analytics.php

    « Il suffit de rajouter en fin de header ce bout de code », quel header ?

    Merci de votre aide et pour toutes ces astuces !

  • Bonsoir,

    Je souhaitais savoir si cette méthode fonctionnait toujours avec le tag de suivi asynchrone….

    Merci

  • Bonjour,

    Cela fonctionne très bien merci !
    MAIS pour ceux qui n’ont pas pu valider, j’ai suivi le conseil de remplacer mon N° initial (UA-XXXX-1) pour valider le second (UA-XXXX-2) et une fois valider j’ai remis les bons N° en place :)
    Merci pour ce tuto

  • Hello, dites moi, est ce que le fichier patterns.php doit être mis à jour ?
    La question porte principalement pour Google.

    Je pose la question car sur mon site le moteur qui a parcouru le plus de fois mes pages est « Unknown-Robot / organic » du coup je me demande si c’est normal ou si c’est parce qu’il faut modifier la ligne : ‘compatible; Googlebot/([0-9.]{1,10})?’ => ‘Google’,

    Merci à tous

  • Bonjour,

    Merci encore pour tous ces précieux conseils, ça marche nickel !

    Jérôme

  • Bonjour,
    Je tente ma chance malgré l’age du post.
    J’ai suivi les étapes suivantes
    1) Je crée un nouveau analytics(il me donne donc une ID du genre UA-XXXXXXX-2
    2)Je colle cette ID dans le config.pho
    3)Je rentre la premiere série de chiffres du cookie utam (donc logiquement de l’analytics UA-XXXXXXX-1)
    4) je mes les 3 fichiers dans la racine
    Malgré cela il n’y a aucun résultat google a tenté la vérif il y à 2 heures sans succès.
    Si vous lisez ces lignes pouvez vous m’aider?
    Merci

Leave a comment

*