Google : URL bloquées par robots.txt

[setif]

Bonjour,

En jetant un coup d’œil aux outils pour les Webmasters de Google, j'ai eu la surprise de remarquer que sur 42866 URL de mon forum indexées par Google 41 072  sont "bloquées par robots.txt"    


[th]Nombre total de pages indexées[/th][th]       Pages bloquées par le fichier robots.txt[/th]

42 866	41 072

Je n'ai jamais demandé à Google de les bloquer, d'ailleurs on ne me donne pas la main pour le faire, cela se fait au niveau de la "source", parait-il, et je présume d'ailleurs que ce "blocage" n'est pas dans l’intérêt du référencement de mon forum.

De quoi s'agit-il SVP ? 
Y a-t-il un impact sur le référencement ?
Et comment procéder pour lever ce blocage inutile ?

Merci pour vos réponses.

[setif]

UP et merci.   

[Ea]

Bonjour,


Le fichier robots.txt est là :
http://www.setif-dz.org/robots.txt

La liste des pages dont l'indexation est bloquée, est la suivante :

Code:

Disallow: /abuse
Disallow: /admgt/
Disallow: /contact
Disallow: /donate
Disallow: /go/
Disallow: /login
Disallow: /modcp
Disallow: /post
Disallow: /privmsg
Disallow: /spa/
Disallow: /sta/

En les expliquant :

/abuse => la page de signalement d'abus ( ne sert à rien dans les résultats de google )
/admgt/ => une url utilisée pour l'affichage de pub je crois
/contact => contacter l'administrateur
/donate => page de donation
/go/ => page de redirection avant d'arriver à un lien de ddl ( ce n'est plus utilisé je crois )
/login => page de connexion
/modcp => page de modération
/post => page de post ( sujet, réponse, ... )
/privmsg => page d'envoi de message privé
/spa/ => page de recherche de post d'un membre
/sta/ => page de recherche de sujet d'un membre

Le fichier contient des instructions pour les robots ( par exemple le robot d'indexation de google ), dans les cas pré-cités, ces pages sont bloquées aux robots ( et à google ) soit :

-> car il n'y a pas de contenu qui s'y trouve ( donc quelqu'un qui arrivera sur le forum se trouvera embêté d'arriver sur une page où rien ne se trouve )

-> car cela représente un problème de sécurité ( par exemple en leur permettant de modérer, poster, ... alors que si le robot fait cela il y a peu de chance que ce soit à bon escient )

-> pour éviter la duplication du contenu : si le visiteur cherche sur google " Tarte aux courgettes ", il ( et google ) préférera qu'il n'y ait que 9 résultats de page de sujet avec " tarte aux courgettes ", plutôt que 200 à cause de 191 pages de résultat de recherche du forum qui présente ces mêmes résultats )

Donc avoir ces pages bloquées est normal, et il est également normal d'avoir autant de page bloquée que non bloquée, car pour chaque page du forum il y a une page d'abus ( exemple pour ce sujet https://forum.forumactif.com/abuse?page=%2Ft362684-google-url-bloquees-par-robotstxt&report=1 ) correspondante.

Cordialement.

[setif]

Merci Ea pour toutes ces explications.   
Maintenant je suis rassuré.