10 techniques pour augmenter le crawl des moteurs sur votre site

6
10 techniques pour augmenter le crawl des moteurs  sur votre site

On parle souvent du volume de crawl pour expliquer un bon référencement, je propose ici de donner quelques pistes pour augmenter la fréquention des moteurs sur votre site afin qu’il puissent cralwer d’avantage de contenu pertinent et de positionner un maximum de pages sur les moteurs de recherche.

1. Créer du contenu

Il s’agit ici de la base d’un bon référencement. Les moteurs de recherche aiment les sites à fort volume de contenu. Ils accordent donc plus d’intérêt à un site qui crée régulièrement du contenu et qui le met à jour régulièrement. Cela est une preuve de l’animation du site et donc de la qualité du contenu qui y est présenté. Voici quelques conseils pour optimiser votre contenu web.

2. Supprimer le duplicate content

Il est connu que la duplication de contenu est un frein à un crawl sein. Sur des sites à forte volumétrie, le duplicate content peut avoir de grosses conséquences en termes de crawl. Avoir donc des urls dupliquées est la meilleure manière de diluer le crawl et donner moins d’importance aux vraies pages du site. Il existe heureusement des solutions pour régler tous les types de duplicate.
Voici quelques articles qui vous aidront à identifier et traiter vos problème de duplicate content:
Id de sessions
Tracker vos urls (affiliation)
Link Rel Canonical

3. Travailler le Linking interne (Prsculpting)

La force du Linking dans le référencement est incontestable. A défaut d’avoir beaucoup de liens externe, il faut travailler le linking interne pour pousser les pages les plus importantes sur le site. Plus on aura de liens vers ces pages, plus on donnera de chemins différents aux moteurs pour qu’ils puissent les découvrir. Il aussi conseiller de mettre en place le PRsculpting qui consiste à orienter les crawlers pour qu’ils suivent les liens utiles pour le référencement d’un site web et l’empêcher de suivre les liens non utiles.
Voici un article expliquant la technique du PRsculpting

4. Avoir des back links de qualité

il est très important de travailler en plus du linking interne l’obtention de back links. Le linking interne revait une importance capital parce qu’il permet d’attirer les moteurs en fonction de leurs activités sur d’autres site sur la toile. Il est donc très intéressant de chercher à obtenir des liens de qualité provenant de sites de confiance et qui bénéficient déjà d’un gros volume de crawl. Il est clair que l’obtention de liens externes est un exercice assez fastidieux mais reste un exercice très important. Il existe plusieurs techniques pour obtenir des backlinks : d’une part, cultiver le link baiting en créant du contenu intéressant, d’aller dans une démarche plus active pour obtenir des backlinks. Voici 2 articles qui donnent certaines pistes pour obtenir des backlinks de qualité et pour réussir votre stratégie de linking.

5. Surveiller le nombre de pages en erreurs 404

Le code http 404 est renvoyée lorsque le serveur ne retrouve pas une page ou lorsqu’on tente d’accéder à une page non existante ou qui a n’existe plus. Le monitoring de cet indicateur permet de corriger d’éventuel bug lié aux réponses serveurs.

6. Réduire les temps de chargement des pages

En général, on limite le temps de chargement de la page à 1 seconde. Si les temps de chargement dépassent la seconde, cela voudra dire que vos pages mettent trop de page à se charger. Cela est forcement néfaste pour l’internaute mais aussi pour les moteurs pour qui le temps est compté. Les robots ne crawleront donc pas votre site en totalité. Une corrélation entre le temps de chargement des pages et le nombre de pages crawlées est clairement établi. On peut suivre ces indicateurs en interrogeant le journal quotidien du serveur (logs) ou en vous rendant sur votre compte webmaster Tools qui permet un monitoring de tous ces indicateurs.

7. Optimiser vos performances serveurs

Cela rejoint les 2 points précédents et peu en être la cause. Dans certains cas, les serveurs ont du mal à supporter les charges qui leur est imparties ce qui génère des arrêts instantanés et des ralentissements des temps de réponses. Il est donc très important de stocker certaines pages dans le cache pour éviter des requêtes inutiles aux serveurs et aux bases de données.
Gestion du cache et la mémoire tampon

8. Réduire les niveaux de profondeur de vos contenus

La notion de profondeur est très importante pour structurer un site web. Un niveau de profondeur est calculé en fonction du nombre clics qu’il y a entre une page et la home page. De manière général, pour être efficace, le contenu doit être crawlable à un niveau 4 ou 5 maximum (en fonction de la volumetrie des pages sur le site). Plus une page est proche de la home, plus elle sera crawlée et mieux elle sera notée par les moteurs de recherche. Pour écraser les niveaux de profondeur, la solution et dans le point numéro 3 de cet article : travailler son linking interne.

9. Supprimer tous les obstacles au référencement

Il est primordial d’avoir une structure crawlable par les moteurs. Les obstacles possibles pour le référencement sont multiples et sont regroupés sous le nom des”Spiders Traps“. On peut en citer quelques uns : login et mot de passe à l’entrée du site, fichier robots.txt en disallow :all, pages orphelines…

10. Poster vos contenus sur les sites à fort volume

Pour forcer les moteurs à venir crawler vos pages, il est nécessaires dans certains cas de faire relayer vos contenus par d’autres sites qui disposent d’un fort volume de crawl en s’assurant que ces sites fassent des liens en claire vers le votre. Le moteurs crawlera régulièrement ces sites, et grâce aux liens reviendra crawler le votre. Il existe plusieurs moyens de faire connaitre vos contenus surtout avec l’arrivée des media sociaux : réseaux sociaux, communiqués de presse en ligne, agrégateur de flux RSS, digg likes…



Lien de test:
Liennoftotest

6 Responses for this post

  1. Serge
    Serge
    | |

    Bon article!
    Nombreux sont ceux qui ne tiennent pas compte du temps de chargement de la page comme critere de référencement.

    Reply
  2. mathieujava
    mathieujava
    | |

    Super article, optimiser le crawl des moteurs est le vrai enjeu d’un site avant même de penser à ajouter du contenu, optimiser les templates, travailler les optimisations, et pourtant, tout les prestations de référencement privilégient ces offres. Pourquoi? parce c’est plus facile à faire et donc à vendre!

    J’aurais ajouter les sitemaps qui peuvent faire venir le crawler sur le site (à condition d’avoir mise à jour son contenu). L’ajout de contenu peux aussi avoir son impact dans la fréquence du passage des moteurs.

    En tout cas, on en redemande des articles de ce type!

    Reply
  3. Philippe-referenceur
    Philippe-referenceur
    | |

    Bonjour,

    Quelqu’un connait un article récent sur les techniques du PR sculpting, après que le nofolow ne soit plus pris en considération ? Merci. Philippe

    Reply
  4. web agency la rochelle

    C’est vrai que la performance des serveurs est souvent oubliée, pourtant cela allège les ressources des moteurs et apporte du confort à l’internaute. Le référencement est une somme de petits plus qui font la différence

    Reply

Leave a Reply to badr Click here to cancel reply.

Name
Name*
Email
Email *
Website
Website