Archive

Articles taggués ‘Études et analyses’
5 commentaires 17/02/2010

L’expertise est-elle sur Wikipédia autant que dans les bibliothèques ?

Les « services de référence virtuels » (SRV ; reference desk en anglais) se sont dernièrement beaucoup développés dans les bibliothèques. Il s’agit de proposer sur internet le même service de conseil qu’à l’intérieur d’un établissement : réponse directe aux questions posées, pistes de recherche, proposition de bibliographie, etc.

Le « Guichet du savoir » de la bibliothèque municipale de Lyon a été pionnier en France, mais « Rue des facs » des bibliothèques universitaires parisiennes, le réseau « BiblioSésame » piloté par la BPI ou « Sindbad » de la BnF proposent des services proches.
Dans tous les cas, des bibliothécaires mettent leur expertise et leur expérience de la recherche documentaire au service des usagers.

Alvar Librarian 1940

Une bibliothécaire à La Nouvelle-Orléans, en 1940

Wikipédia propose un service équivalent, appelé l’Oracle en français  et Reference desk en anglais : ce ne sont plus là des professionnels qui répondent mais des wikipédiens volontaires.

Une chercheuse de la School of Library and Information science de l’université d’Indiana, Pnina Shachaf, a étudié la qualité comparée des SRV de Wikipédia et des bibliothèques. Ses résultats ont été publiés dans une revue universitaire, le Journal of Documentation (2009, vol. 65, n°6, p. 977-996).

Elle se fonde sur 434 messages (77 questions et 357 réponses) du service de la wikipédia anglophone et utilise SERVQUAL, méthode servant à évaluer la qualité des services rendus, à partir de trois variables qualitatives : la fiabilité (pertinence, complétude, vérifiabilité, qualité des sources), la réactivité (rapidité de réponse), l’« assurance » (donner une réponse courtoise, rédigée et signée). Le premier message de chaque jour du mois d’avril 2007, sur chacune des sept thématiques proposées, a été prélevé afin de servir d’échantillon, puis onze jours ont été analysés.

Les résultats obtenus sont comparés à des études semblables portant sur les services offerts par les bibliothèques (Saxton et Richardson 2002 ; Arnold et Kaske 2005 ; Janes et Mon 2006 et 2008 ; Shachaf et Horowitz 2008 etc.).

La conclusion est sans appel (p. 988) : « Les deux [les bibliothèques et Wikipedia] fournissent la même qualité de réponse avec des variations minimes et, excepté pour l’usage des sources, le service de référence de Wikipédia est meilleur que les bibliothécaires » (« both provide the same level of answer quality with minor variatons and except for the use of sources, the Wikipedia Reference Desk outperforms librarians »)

Wikipedia vs. Librarians
Accuracy Wikipedia = Librarians
Completness Wikipedia > Librarians
Unsolicited thank-you e-mails Wikipedia = Librarians
Responsiveness Wikipedia > Librarians
Signature patterns Wikipedia = Librarians
Sources used Wikipedia < Librarians

La chercheuse tente alors d’expliquer le phénomène et pose quatre hypothèses :

  1. le système du wiki donne un avantage sur les autres outils et permet de donner de meilleures réponses ;
  2. l’expérience et les compétences des wikipédiens répondant aux questions équivalent ceux des bibliothécaires ;
  3. les résultats reflètent des différences dans le type de questions posés aux deux systèmes ;
  4. la réponse collaborative de Wikipédia donne de meilleures résultats que celle, dyadique, des bibliothèques.

Les première et troisième hypothèses ne peuvent être soutenues ni infirmées en l’absence d’étude scientifique.
La seconde reçoit une réponse nuancée. L’auteur pense que la réponse d’un wikipédien unique est inférieure à celle d’un bibliothécaire, mais que c’est l’ensemble des réponses qui sera meilleur. Le risque étant que le lecteur se satisfasse de la première réponse correcte, qui sera alors souvent inférieure à celle du bibliothécaire. Il n’est pas impossible que les wikipédiens pris individuellement soient tout simplement aussi bon que les bibliothécaires, mais cela demanderait une étude qui n’existe pas jusqu’à maintenant

L’auteur favorise cependant la quatrième hypothèse pour expliquer la supériorité de Wikipédia : « In an amagamated answer, responses can be improved, refined, verified, expanded, discussed and challenged; in fact many of the responses included elaboration on the first response ».

Le chercheur appelle néanmoins à approfondir les recherches sur le sujet : plusieurs des questions qu’elle se pose ne trouvent pour l’instant pas de réponse. En tout état de cause, l’article ne vise pas à dévaloriser le travail des bibliothécaires mais leur demande de s’interroger sur l’avenir des services de référence et de prendre en compte les expériences probantes qui existent par ailleurs.

Et le service de référence de Wikipédia en est une.

Aucun commentaire 02/11/2009

WikiTrust, l’extension évaluant la fiabilité des articles de Wikipédia

Il y a quelques jours de nombreux articles sont publiés sur Internet concernant une « nouvelle » extension qui devrait permettre de mieux déterminer la qualité des articles de Wikipédia. L’extension en question, WikiTrust, est développée par un chercheur italien, Luca de Alfaro travaillant pour l’université de Californie, Santa-Cruz.

Étant donné que des erreurs se sont introduites dans les différents articles publiés, que ce soit par des blogs très lus ou des médias classiques, il a semblé indispensable de publier un article les rectifiant.

Qu’il y ait des erreurs au sein d’un article d’investigation peut se comprendre, mais la majorité des articles publiés sont de simples reprises d’articles déjà existants. Il est alors, selon moi, très surprenant de trouver des erreurs factuelles.

Afin que les internautes aient l’information la plus correcte possible voici un rapide correctif.

Une des erreurs factuelle de premier ordre, est la mention de la fondation Wikipedia qui va mettre en place cet outil. Il est assez peu probable que ce soit le cas puisque la fondation Wikipedia n’existe pas. Wikimedia Foundation, le vrai nom de la fondation concernée, est une fondation de droit américain qui héberge l’ensemble des projets Wikimedia, dont fait partie Wikipédia. En tant qu’hébergeur, la Wikimedia Foundation a toujours pris la précaution de ne pas s’impliquer dans le fonctionnement éditorial des différents projets.

Tout comme pour la mise en place des FlaggedRevisions, Wikimedia Foundation se contentera de conseiller à la communauté, seule souveraine sur le fonctionnement des projets, de mettre en place une telle extension.

C’est d’ailleurs ce que précise Jay Walsh, Directeur de la Communication de Wikimedia Foundation, dans sa réponse, tronquée, à Wired qu’il nous a transmis :

WikiTrust is one of thousands of extensions available within the MediaWiki library. As with other extensions, including flagged revisions, which has been the subject of quite a bit of attention over the past few weeks, extensions are tested and evaluated by members of the volunteer community before being implemented on any of the Foundation’s projects, including Wikipedia. Many of these extensions are part of ongoing research by outside developers and volunteers who want to look at ways of improving the quality of content on Wikipedia and other wikis using MediaWiki. When WikiTrust makes its way through testing and analysis it may be made available as an optional tool that Wikipedia users can activate through their user settings. That timeframe has still not been set. The Foundation is also looking at introducing a number of visible trust/quality metric tools, which may include tools familiar to many users, including ‘rate this article’ tools on Wikipedia pages. These enhancements would be introduced in the spirit if letting readers and editors better understand which articles, facts, or edits need to be reviewed for quality and accuracy.

Donc repartons sur de bonnes bases.

Même s’il est présenté comme une nouveauté, WikiTrust est en fait en développement depuis début 2007 et Luca De Alfaro l’a présenté durant la Wikimania 2007 à Taipei. Août 2008 correspond à la première version packagée comme une extension de Mediawiki.

Ce projet a pour but, au moyen d’un algorithme, de mettre en exergue, via un code couleur, les parties des articles de Wikipédia estimées comme non-fiable.

WikiTrust calcule en temps réel, ou presque, la fiabilité des contenus et ce grâce à plusieurs critères.

Premier critère : la réputation de l’auteur. Celle-ci est calculée au travers de différents paramètres, par exemple moins les contenus d’un auteur sont modifiés, plus celui-ci est considéré comme fiable. Par contre, les auteurs dont les modifications sont très rapidement supprimées verront leur réputation chuter. De fait, le système fait en sorte que plus un auteur a un comportement productif, meilleure est sa réputation.

La « réputation » du texte est le second critère. Celle-ci est calculée en se basant, notamment, sur la réputation des différents auteurs qui ont participé à son élaboration. Il va de soi que plus un texte reste longtemps en ligne plus celui-ci est estimé comme fiable.

Exemple d'article avec coloration des contenus par WikiTrust

Exemple d'article avec coloration des contenus par WikiTrust

WikiTrust est un travail de recherche universitaire qui pourra devenir très utile pour améliorer les contenus des divers projets Wikimedia mais qui pourra également servir à d’autres projets collaboratifs comme aux FLOSS manuals pour déterminer les parts de revenus de chaque auteur, ou à des projets comme WikiTravel pour ne garder dans les auteurs dont le contenu est présent dans l’article final.

Pour plus d’information vous pouvez consulter le site du projet : http://wikitrust.soe.ucsc.edu/

un commentaire 30/10/2009

15 millions de Français consultent Wikipédia

Cette semaine l’institut Médiamétrie a publié le résultat pour le mois de septembre de son étude mensuelle mesurant l’audience Internet en France. Pour la première fois Wikipédia dépasse les 15 millions de visiteurs uniques soit près d’un internaute français sur deux ayant consulté l’encyclopédie en ligne au moins une fois en septembre, faisant de Wikipédia le 9ème site le plus consulté dans notre pays.

L’étude détaillée de Médiamétrie est disponible ici.

par Thierry Coudray
Categories: Wikipédia, Focus sur
un commentaire 12/10/2009

Critiques sur Wikipédia : de la fiabilité des articles pharmaceutiques

Des titres racoleurs l’ont annoncé : les malades feraient bien de se défier de Wikipédia pour chercher des informations médicales.

Mais est-ce bien cela que l’étude sur laquelle se basent les articles disait ? Le journaliste ayant rédigé ce titre n’a pas du lire la même étude que nous, puisqu’au final le résultat de l’étude est assez différent de celui annoncé par ce titre racoleur : Wikipédia peut nuire à votre sante.

Un tube de pilules renversé sur une table avec des pilules bleues et blanches en sortant.

Photographie par Tom Varco, CC-BY-SA-3.0

L’étude citée compare des articles sur des médicaments prescrits sur ordonnance pris d’une part dans des bases de données destinées aux professionnels de santé, sur Wikipédia d’autre part.

Cette étude n’a relevé aucune erreur factuelle dans les articles de Wikipédia examinés (alors qu’elle en a relevé dans des articles professionnels). En revanche, elle a relevé des omissions sur certains articles : pas d’indications de posologie ou de liste exhaustive d’effets secondaires.

Rappelons que, normalement, un patient, pour obtenir des médicaments sur ordonnance, doit voir un ou plusieurs médecins ainsi qu’un pharmacien, lesquels sont les mieux placés pour donner un avis à un malade. Un ouvrage de référence, même le plus « professionnel », ne peut remplacer un médecin.

C’est ainsi que l’on distingue habituellement les ouvrages destinés au grand public, qui décrivent les symptômes des maladies et les médicaments en termes généraux, mais se gardent bien de donner des indications trop précises de prescription pour les médicaments sur ordonnance, et les ouvrages destinés aux professionnels de santé.

En bref, ce que cette étude montre n’est pas que les patients ne devraient pas consulter Wikipédia, c’est que les médecins et pharmaciens doivent rester abonnés à des bases de données pharmacologiques complètes.

Imaginons maintenant que Wikipédia ait des posologies et des listes réputées complètes de contre-indications. Gageons que dans ce cas, les critiques diraient que c’est un site irresponsable qui encourage à l’auto-médication sauvage !

Une querelle semblable a opposé ceux qui désiraient que Wikipédia ne publie pas d’informations trop détaillées  sur certains tests psychologiques, au motif que ces informations sont normalement réservées aux professionnels, et ceux qui faisaient remarquer que ces informations se trouvent dans des ouvrages accessibles au grand public, que ce soit en librairie ou en bibliothèque.

On constate bien qu’ici, comme dans d’autres domaines, Wikipédia est soumise à des attentes irréconciliables. Si de nombreuses critiques à l’égard de Wikipédia sont parfaitement fondées, notamment celles contre l’écriture décousue de certains articles, il n’en reste pas moins qu’on ne peut attendre qu’un même document propose une documentation nécessaire aux spécialistes tout en cachant certaines choses que le grand public devrait ignorer.  Peut-être le mieux est de supposer que le public est adulte et a un minimum de bon sens ou d’esprit critique, et comprend par exemple qu’on ne s’improvise pas médecin parce qu’on a lu une description de maladie dans une encyclopédie, même la meilleure et la plus exacte.

par David Monniaux
Categories: Wikipédia
,
4 commentaires 11/09/2009

Wikipédia, Obama, les menteurs et la boule de cristal

D’abord, les faits : Joe Wilson, représentant au Congrès des États-Unis d’Amérique a traité publiquement le président Barack Obama de « menteur » lors d’un discours de ce dernier lorsqu’il a affirmé que son plan de couverture santé ne bénéficierait pas aux immigrants illégaux. Il s’agissait là d’un grave manquement à l’étiquette parlementaire.

Cela, personne ne le conteste : l’incident a été filmé, des membres du Congrès des deux partis ont condamné le caractère insultant de ces propos, et Joe Wilson s’est excusé de son manque de civilité. La biographie de Joe Wilson sur Wikipédia se contente de rapporter ces faits.

Cependant, comme nous le rapporte un blog du New York Times, la mention de cette affaire sur Wikipédia a provoqué des débats internes à ce site :

  • Cette interjection mérite-t-elle mention ? Après tout, on ne mentionne pas toutes les bêtises que les gens racontent, quand bien même ils sont membres du Congrès des États-Unis.
  • Sur le fond de la dispute entre MM. Wilson et Obama, qui a raison ? Le plan proposé bénéficierait-il aux immigrés illégaux ?

Le point 1 a été réglé par le fait que les médias américains se sont largement fait l’écho de l’affaire, et donc que celle-ci mérite mention. Le point 2 a été plus délicat, et Wikipédia a finalement choisi de ne rien dire sur le sujet de la dispute, se contentant d’exprimer les points de vue des deux protagonistes et de noter que la section 246 de la loi exclut les immigrés illégaux de certains financements fédéraux.

Certains intervenants du blog reprochent cette pratique à Wikipédia : selon eux, Wikipédia aurait dû prendre parti et dire si oui ou non le plan de santé de M. Obama bénéficierait aux immigrants illégaux. Bien entendu, ils en concluent que « Wikipédia n’est pas fiable » ou qu’« ils ne permettraient pas à leurs étudiants de citer Wikipédia » en raison de cela.

Relevons tout d’abord le manque de cohérence logique entre cause et conséquence. Personne ne conteste que les faits donnés sur Wikipédia sont exacts ­- il ne s’agit donc pas d’un manque de fiabilité. Mais venons-en au fond : Wikipédia aurait-elle dû prendre parti ?

Il serait facile de caricaturer l’attitude de Wikipédia en « une minute pour Churchill, une minute pour Hitler ». Ce serait cependant ignorer la difficulté du sujet. Le projet de loi de réforme de l’assurance maladie aux États-Unis soutenu par Barack Obama fait, dit-on, plus de 1000 pages (je n’ai pas eu le courage de parcourir tous les fichiers et calculer la somme de leurs longueurs). Un paragraphe exclut les immigrés illégaux de certains financements fédéraux — mais sont-ce les seuls avantages que ceux-ci pourraient retirer de la loi ?

Non seulement il y a la complexité du texte, mais aussi son contexte juridique. Ce texte s’insère au milieu d’une multiplicité de lois fédérales et de lois des états fédérés, fort complexes. De plus, les États-Unis sont un pays de « common law », où les juges ont une grande latitude d’interprétation des lois et créent de nouvelles règles ; autrement dit, nous n’aurions sans doute la réponse à cette question qu’après des décisions judiciaires qui interviendraient dans plusieurs années.

Autrement dit, on exige de Wikipédia qu’elle joue le rôle d’une boule de cristal magique.

Le fait que le droit soit binaire (illégal/légal, autorisé/non autorisé…) est une fiction certes utile pour une compréhension initiale, disons cours d’instruction civique pour école primaire, mais qui ne correspond pas à la réalité. Les lois sont souvent obscures, incohérentes, mal écrites, verbeuses ; ce n’est pas moi qui le dit, mais les plus hautes autorités du droit français. Il en est de même du droit américain. Quand vous demandez à un juriste si telle chose est illicite, vous obtenez une réponse, souvent péremptoire ; mais parfois, vous obtenez une réponse différente d’un autre juriste.

Dans ces circonstances, je ne vois pas ce que Wikipédia pourrait faire, à part rappeler les principales « opinions » exprimées par les politiciens qui voteront la loi et les juristes qui l’ont commentée, et l’existence de la section 246.