Wikipédia est un projet véritablement gigantesque, tant d’un point de vue technique que humain. On compare souvent ce projet à d’autres encyclopédies qui seraient, au choix, plus fiables, plus pertinentes, mieux illustrées, etc.  Ce faisant, on oublie que la comparaison est délicate, tant elle traite de sujets différents en définitive.

Un des aspects de cette différence est la taille. Il existe des Wikipédia en 250 langues (avec des contenus différents). 250 langues différentes, deux-cent cinquante langues. Considérant toutes ces langues, Wikipédia est formée [1] de 28 500 000 articles, vingt-huit millions cinq-cent mille articles. On peut y ajouter la médiathèque (Wikimédia Commons), formée de 5,6 millions de fichiers [2]. Tout cela est visité chaque mois par 346 000 000 visiteurs uniques, trois-cent quarante-six millions de visiteurs.

Pris ensemble, ces chiffres sont énormes et n’ont rien de commun avec tout autre projet encyclopédique existant. Comment appréhender une telle différence d’échelle ? Avec un dessin !

Ce graphique représente la taille de wikipédia ainsi que celle de trois autres encyclopédies généralistes « classiques ». (Cliquez pour agrandir)

La surface du toit des bâtiments est proportionnelle au nombre d’articles. Affiché dans sa taille originale, un pixel représente un article. La hauteur des bâtiments est fonction du pourcentage de conflits dans la catégorie correspondante. Les catégories et les conflits ne sont pas montrées pour les encyclopédies classiques.

Chaque fenêtre rouge correspond à 1000 éditeurs très actifs (avec plus de 100 éditions par mois), les bleus représentent 1000 contributeurs actifs (plus de 5 éditions par mois).
Chaque bonhomme bâton représente un million de visiteurs uniques par mois. Du fait du manque d’information concernant les encyclopédies classiques, il n’y a aucun visiteur dessiné près d’elles.

Certains bonhommes transportent de petits carrés, qui représentent chacun 21 nouveaux articles par mois (un pixel par article dans les proportions originales).

Les données concernant la taille et la fréquentation proviennent de la page de statistiques de la Wikimedia Foundation, celles sur la couverture thématique de l’étude de Kittur et al. dont nous avons déjà parlé.

L’image est diffusée sous licence « Creative Commons – Attribution – Partage à l’identique », vous pouvez l’améliorer en utilisant le fichier SVG source.

[1] statistiques datant de décembre 2009

[2] et est passée à 6 millions de documents le 1er février 2010

Les « services de référence virtuels » (SRV ; reference desk en anglais) se sont dernièrement beaucoup développés dans les bibliothèques. Il s’agit de proposer sur internet le même service de conseil qu’à l’intérieur d’un établissement : réponse directe aux questions posées, pistes de recherche, proposition de bibliographie, etc.

Le « Guichet du savoir » de la bibliothèque municipale de Lyon a été pionnier en France, mais « Rue des facs » des bibliothèques universitaires parisiennes, le réseau « BiblioSésame » piloté par la BPI ou « Sindbad » de la BnF proposent des services proches.
Dans tous les cas, des bibliothécaires mettent leur expertise et leur expérience de la recherche documentaire au service des usagers.

Une bibliothécaire à La Nouvelle-Orléans, en 1940 (source : Wikimedia Commons, AlvarLibrarian1940)

Wikipédia propose un service équivalent, appelé l’Oracle en français  et Reference desk en anglais : ce ne sont plus là des professionnels qui répondent mais des wikipédiens volontaires.

Une chercheuse de la School of Library and Information science de l’université d’Indiana, Pnina Shachaf, a étudié la qualité comparée des SRV de Wikipédia et des bibliothèques. Ses résultats ont été publiés dans une revue universitaire, le Journal of Documentation (2009, vol. 65, n°6, p. 977-996).

Elle se fonde sur 434 messages (77 questions et 357 réponses) du service de la wikipédia anglophone et utilise SERVQUAL, méthode servant à évaluer la qualité des services rendus, à partir de trois variables qualitatives : la fiabilité (pertinence, complétude, vérifiabilité, qualité des sources), la réactivité (rapidité de réponse), l’« assurance » (donner une réponse courtoise, rédigée et signée). Le premier message de chaque jour du mois d’avril 2007, sur chacune des sept thématiques proposées, a été prélevé afin de servir d’échantillon, puis onze jours ont été analysés.

Les résultats obtenus sont comparés à des études semblables portant sur les services offerts par les bibliothèques (Saxton et Richardson 2002 ; Arnold et Kaske 2005 ; Janes et Mon 2006 et 2008 ; Shachaf et Horowitz 2008 etc.).

La conclusion est sans appel (p. 988) : « Les deux [les bibliothèques et Wikipedia] fournissent la même qualité de réponse avec des variations minimes et, excepté pour l’usage des sources, le service de référence de Wikipédia est meilleur que les bibliothécaires » (« both provide the same level of answer quality with minor variatons and except for the use of sources, the Wikipedia Reference Desk outperforms librarians »)

Wikipedia vs. Librarians

La chercheuse tente alors d’expliquer le phénomène et pose quatre hypothèses :
1/ le système du wiki donne un avantage sur les autres outils et permet de donner de meilleures réponses
2/ l’expérience et les compétences des wikipédiens répondant aux questions équivalent ceux des bibliothécaires
3/ les résultats reflètent des différences dans le type de questions posés aux deux systèmes
4/ La réponse collaborative de Wikipédia donne de meilleures résultats que celle, dyadique, des bibliothèques

Les première et troisième hypothèses ne peuvent être soutenues ni infirmées en l’absence d’étude scientifique.
La seconde reçoit une réponse nuancée. L’auteur pense que la réponse d’un wikipédien unique est inférieure à celle d’un bibliothécaire, mais que c’est l’ensemble des réponses qui sera meilleur. Le risque étant que le lecteur se satisfasse de la première réponse correcte, qui sera alors souvent inférieure à celle du bibliothécaire. Il n’est pas impossible que les wikipédiens pris individuellement soient tout simplement aussi bon que les bibliothécaires, mais cela demanderait une étude qui n’existe pas jusqu’à maintenant

L’auteur favorise cependant la quatrième hypothèse pour expliquer la supériorité de Wikipédia : « In an amagamated answer, responses can be improved, refined, verified, expanded, discussed and challenged; in fact many of the responses included elaboration on the first response ».

Le chercheur appelle néanmoins à approfondir les recherches sur le sujet : plusieurs des questions qu’elle se pose ne trouvent pour l’instant pas de réponse. En tout état de cause, l’article ne vise pas à dévaloriser le travail des bibliothécaires mais leur demande de s’interroger sur l’avenir des services de référence et de prendre en compte les expériences probantes qui existent par ailleurs.

Et le service de référence de Wikipédia en est une.

Il y a quelques jours de nombreux articles sont publiés sur Internet concernant une « nouvelle » extension qui devrait permettre de mieux déterminer la qualité des articles de Wikipédia. L’extension en question, WikiTrust, est développée par un chercheur italien, Luca de Alfaro travaillant pour l’université de Californie, Santa-Cruz.

Étant donné que des erreurs se sont introduites dans les différents articles publiés, que ce soit par des blogs très lus ou des médias classiques, il a semblé indispensable de publier un article les rectifiant.

Qu’il y ait des erreurs au sein d’un article d’investigation peut se comprendre, mais la majorité des articles publiés sont de simples reprises d’articles déjà existants. Il est alors, selon moi, très surprenant de trouver des erreurs factuelles.

Afin que les internautes aient l’information la plus correcte possible voici un rapide correctif.

Une des erreurs factuelle de premier ordre, est la mention de la fondation Wikipedia qui va mettre en place cet outil. Il est assez peu probable que ce soit le cas puisque la fondation Wikipedia n’existe pas. Wikimedia Foundation, le vrai nom de la fondation concernée, est une fondation de droit américain qui héberge l’ensemble des projets Wikimedia, dont fait partie Wikipédia. En tant qu’hébergeur, la Wikimedia Foundation a toujours pris la précaution de ne pas s’impliquer dans le fonctionnement éditorial des différents projets.

Tout comme pour la mise en place des FlaggedRevisions, Wikimedia Foundation se contentera de conseiller à la communauté, seule souveraine sur le fonctionnement des projets, de mettre en place une telle extension.

C’est d’ailleurs ce que précise Jay Walsh, Directeur de la Communication de Wikimedia Foundation, dans sa réponse, tronquée, à Wired qu’il nous a transmis :

WikiTrust is one of thousands of extensions available within the MediaWiki library. As with other extensions, including flagged revisions, which has been the subject of quite a bit of attention over the past few weeks, extensions are tested and evaluated by members of the volunteer community before being implemented on any of the Foundation’s projects, including Wikipedia. Many of these extensions are part of ongoing research by outside developers and volunteers who want to look at ways of improving the quality of content on Wikipedia and other wikis using MediaWiki. When WikiTrust makes its way through testing and analysis it may be made available as an optional tool that Wikipedia users can activate through their user settings. That timeframe has still not been set. The Foundation is also looking at introducing a number of visible trust/quality metric tools, which may include tools familiar to many users, including ‘rate this article’ tools on Wikipedia pages. These enhancements would be introduced in the spirit if letting readers and editors better understand which articles, facts, or edits need to be reviewed for quality and accuracy.

Donc repartons sur de bonnes bases.

Même s’il est présenté comme une nouveauté, WikiTrust est en fait en développement depuis début 2007 et Luca De Alfaro l’a présenté durant la Wikimania 2007 à Taipei. Août 2008 correspond à la première version packagée comme une extension de Mediawiki.

Ce projet a pour but, au moyen d’un algorithme, de mettre en exergue, via un code couleur, les parties des articles de Wikipédia estimées comme non-fiable.

WikiTrust calcule en temps réel, ou presque, la fiabilité des contenus et ce grâce à plusieurs critères.

Premier critère : la réputation de l’auteur. Celle-ci est calculée au travers de différents paramètres, par exemple moins les contenus d’un auteur sont modifiés, plus celui-ci est considéré comme fiable. Par contre, les auteurs dont les modifications sont très rapidement supprimées verront leur réputation chuter. De fait, le système fait en sorte que plus un auteur a un comportement productif, meilleure est sa réputation.

La « réputation » du texte est le second critère. Celle-ci est calculée en se basant, notamment, sur la réputation des différents auteurs qui ont participé à son élaboration. Il va de soi que plus un texte reste longtemps en ligne plus celui-ci est estimé comme fiable.

Exemple d'article avec coloration des contenus par WikiTrust

WikiTrust est un travail de recherche universitaire qui pourra devenir très utile pour améliorer les contenus des divers projets Wikimedia mais qui pourra également servir à d’autres projets collaboratifs comme aux FLOSS manuals pour déterminer les parts de revenus de chaque auteur, ou à des projets comme WikiTravel pour ne garder dans les auteurs dont le contenu est présent dans l’article final.

Pour plus d’information vous pouvez consulter le site du projet : http://wikitrust.soe.ucsc.edu/

Cette semaine l’institut Médiamétrie a publié le résultat pour le mois de septembre de son étude mensuelle mesurant l’audience Internet en France. Pour la première fois Wikipédia dépasse les 15 millions de visiteurs uniques soit près d’un internaute français sur deux ayant consulté l’encyclopédie en ligne au moins une fois en septembre, faisant de Wikipédia le 9ème site le plus consulté dans notre pays.

L’étude détaillée de Médiamétrie est disponible ici.

Des titres racoleurs l’ont annoncé : les malades feraient bien de se défier de Wikipédia pour chercher des informations médicales.

Mais est-ce bien cela que l’étude sur laquelle se basent les articles disait ? Le journaliste ayant rédigé ce titre n’a pas du lire la même étude que nous, puisqu’au final le résultat de l’étude est assez différent de celui annoncé par ce titre racoleur : Wikipédia peut nuire à votre sante.

L’étude citée compare des articles sur des médicaments prescrits sur ordonnance pris d’une part dans des bases de données destinées aux professionnels de santé, sur Wikipédia d’autre part.

Cette étude n’a relevé aucune erreur factuelle dans les articles de Wikipédia examinés (alors qu’elle en a relevé dans des articles professionnels). En revanche, elle a relevé des omissions sur certains articles : pas d’indications de posologie ou de liste exhaustive d’effets secondaires.

Rappelons que, normalement, un patient, pour obtenir des médicaments sur ordonnance, doit voir un ou plusieurs médecins ainsi qu’un pharmacien, lesquels sont les mieux placés pour donner un avis à un malade. Un ouvrage de référence, même le plus « professionnel », ne peut remplacer un médecin.

C’est ainsi que l’on distingue habituellement les ouvrages destinés au grand public, qui décrivent les symptômes des maladies et les médicaments en termes généraux, mais se gardent bien de donner des indications trop précises de prescription pour les médicaments sur ordonnance, et les ouvrages destinés aux professionnels de santé.

En bref, ce que cette étude montre n’est pas que les patients ne devraient pas consulter Wikipédia, c’est que les médecins et pharmaciens doivent rester abonnés à des bases de données pharmacologiques complètes.

Imaginons maintenant que Wikipédia ait des posologies et des listes réputées complètes de contre-indications. Gageons que dans ce cas, les critiques diraient que c’est un site irresponsable qui encourage à l’auto-médication sauvage !

Une querelle semblable a opposé ceux qui désiraient que Wikipédia ne publie pas d’informations trop détaillées  sur certains tests psychologiques, au motif que ces informations sont normalement réservées aux professionnels, et ceux qui faisaient remarquer que ces informations se trouvent dans des ouvrages accessibles au grand public, que ce soit en librairie ou en bibliothèque.

On constate bien qu’ici, comme dans d’autres domaines, Wikipédia est soumise à des attentes irréconciliables. Si de nombreuses critiques à l’égard de Wikipédia sont parfaitement fondées, notamment celles contre l’écriture décousue de certains articles, il n’en reste pas moins qu’on ne peut attendre qu’un même document propose une documentation nécessaire aux spécialistes tout en cachant certaines choses que le grand public devrait ignorer.  Peut-être le mieux est de supposer que le public est adulte et a un minimum de bon sens ou d’esprit critique, et comprend par exemple qu’on ne s’improvise pas médecin parce qu’on a lu une description de maladie dans une encyclopédie, même la meilleure et la plus exacte.