Retour sur le robots.txt du site de la maison blanche
23 janvier 2009 par latauliere
Classé dans Politique, le droit, internet, Toutes, Web 2.0
J’ai entendu plein d’histoires sur ce fameux robots.txt du site de la maison blanche. N’étant pas d’accord avec les bêtises que j’ai pu entendre, j’ai envie de revenir dessus.
Le fichiers robots.txt: c’est un fichier placé à la racine d’un site Web, un fichier texte, avec, à l’intérieur, des instructions pour les moteurs de recherches. Il est utile au niveau du duplicate content par exemple, lorsque l’on ne veut pas que les moteurs indexent des pages en double, ou encore pour une raison de sécurité, en interdisant aux moteurs l’accès aux répertoires d’administration.
L’ancienne version du site de la maison blanche (sous Bush), avait un fichier robots.txt de près de 2400 lignes, ce qui est énorme et surement inutile. Un tel fichier est très souvent optimisé et ne nécessite pas autant d’instructions.
La nouvelle version du site de la maison blanche (et donc représentée par l’arrivée d’Obama), ne possède que deux lignes. Ces instructions permettent d’indexer toutes les pages du site dans les moteurs de recherche, sauf un dossier (par sécurité, ou duplicate content surement, peu importe).
Ceci signifie donc que le site de la maison blanche a été retravaillé après l’arrivée d’Obama, ce qui est tout à fait normal! Sauf que cette fois-ci, les développeurs web ont effectué un meilleur travail et ont réalisé un robots.txt pertinent et optimisé. Toutes les pages du site sont donc indéxables par les moteurs, ce que certains ont assimilé à une « ouverture » et « transparence »…
C’est sur ce point là que j’ai pu entendre des absurdités: « Traduction politique : avec Obama, on ne vous cache rien on vous dit tout.Un geste plus symbolique qu’autre chose, et que seuls les nerds les plus irrécupérables auront perçu »
Justement un vrai « nerd » sait très bien l’intérêt d’un tel changement vis à vis des moteurs de recherche. Aucun symbolique là dedans mis à part l’embauche d’informaticiens compétants.
Voir dans ce changement banal un intérêt politique ou d’image, c’est du n’importe quoi…
PS: tiens, mais ca ne serait pas un beau duplicate? Et on nous explique l’intérêt du robots.txt?
J’avais entendu parlé de cette info, mais la technique poussée à ce point et moi ça fait 2 : pas nerd pour un sou. Merci Marie pour ton explication de texte. Nettement plus clair pour moi.
En effet, 2400 lignes pour un robots.txt c’est énorme. Ils ont du laisser jouer Bush avec