Google : URL bloquées par robots.txt

Voir le sujet précédent Voir le sujet suivant Aller en bas

Résolu Google : URL bloquées par robots.txt

Message par setif le Lun 6 Jan 2014 - 17:56

Bonjour,

En jetant un coup d’œil aux outils pour les Webmasters de Google, j'ai eu la surprise de remarquer que sur 42866 URL de mon forum indexées par Google 41 072  sont "bloquées par robots.txt"   scratch 


[th]Nombre total de pages indexées[/th][th]       Pages bloquées par le fichier robots.txt[/th]
42 866                          41 072

Je n'ai jamais demandé à Google de les bloquer, d'ailleurs on ne me donne pas la main pour le faire, cela se fait au niveau de la "source", parait-il, et je présume d'ailleurs que ce "blocage" n'est pas dans l’intérêt du référencement de mon forum.

De quoi s'agit-il SVP ? 
Y a-t-il un impact sur le référencement ?
Et comment procéder pour lever ce blocage inutile ?

Merci pour vos réponses.


Dernière édition par setif le Mer 8 Jan 2014 - 15:33, édité 1 fois

setif
***

Masculin
Messages : 172
Inscrit(e) le : 09/04/2008

http://www.setif-dz.org
setif a été remercié(e) par l'auteur de ce sujet.

Résolu Re: Google : URL bloquées par robots.txt

Message par setif le Mar 7 Jan 2014 - 19:32

UP et merci.  Flowers2 

setif
***

Masculin
Messages : 172
Inscrit(e) le : 09/04/2008

http://www.setif-dz.org
setif a été remercié(e) par l'auteur de ce sujet.
  • 0

Résolu Re: Google : URL bloquées par robots.txt

Message par Ea le Mar 7 Jan 2014 - 22:52

Bonjour,


Le fichier robots.txt est là :
http://www.setif-dz.org/robots.txt

La liste des pages dont l'indexation est bloquée, est la suivante :

Code:
Disallow: /abuse
Disallow: /admgt/
Disallow: /contact
Disallow: /donate
Disallow: /go/
Disallow: /login
Disallow: /modcp
Disallow: /post
Disallow: /privmsg
Disallow: /spa/
Disallow: /sta/

En les expliquant :

/abuse => la page de signalement d'abus ( ne sert à rien dans les résultats de google )
/admgt/ => une url utilisée pour l'affichage de pub je crois
/contact => contacter l'administrateur
/donate => page de donation
/go/ => page de redirection avant d'arriver à un lien de ddl ( ce n'est plus utilisé je crois )
/login => page de connexion
/modcp => page de modération
/post => page de post ( sujet, réponse, ... )
/privmsg => page d'envoi de message privé
/spa/ => page de recherche de post d'un membre
/sta/ => page de recherche de sujet d'un membre

Le fichier contient des instructions pour les robots ( par exemple le robot d'indexation de google ), dans les cas pré-cités, ces pages sont bloquées aux robots ( et à google ) soit :

-> car il n'y a pas de contenu qui s'y trouve ( donc quelqu'un qui arrivera sur le forum se trouvera embêté d'arriver sur une page où rien ne se trouve )

-> car cela représente un problème de sécurité ( par exemple en leur permettant de modérer, poster, ... alors que si le robot fait cela il y a peu de chance que ce soit à bon escient )

-> pour éviter la duplication du contenu : si le visiteur cherche sur google " Tarte aux courgettes ", il ( et google ) préférera qu'il n'y ait que 9 résultats de page de sujet avec " tarte aux courgettes ", plutôt que 200 à cause de 191 pages de résultat de recherche du forum qui présente ces mêmes résultats )

Donc avoir ces pages bloquées est normal, et il est également normal d'avoir autant de page bloquée que non bloquée, car pour chaque page du forum il y a une page d'abus ( exemple pour ce sujet http://forum.forumactif.com/abuse?page=%2Ft362684-google-url-bloquees-par-robotstxt&report=1 ) correspondante.

Cordialement.

Ea
Aidactif
Aidactif

Messages : 23447
Inscrit(e) le : 04/04/2008

Ea a été remercié(e) par l'auteur de ce sujet.

Résolu Re: Google : URL bloquées par robots.txt

Message par setif le Mer 8 Jan 2014 - 15:35

Merci Ea pour toutes ces explications.  Flowers2 
Maintenant je suis rassuré.  Yes 

setif
***

Masculin
Messages : 172
Inscrit(e) le : 09/04/2008

http://www.setif-dz.org
setif a été remercié(e) par l'auteur de ce sujet.

Voir le sujet précédent Voir le sujet suivant Revenir en haut


Permission de ce forum:
Vous ne pouvez pas répondre aux sujets dans ce forum