Umberto Eco, universitaire et romancier italien (auteur du roman Le Nom de la rose) se pose la question, dans un article publié dans L’Espresso, de savoir quand et s’il faut faire confiance à Wikipédia.

Marié sur Wikipédia ?

Dans cet article, Umberto Eco revient sur ce qui fait la force de Wikipédia, le travail collaboratif et le fait que des milliers d’yeux sont braqués sur les pages de l’encyclopédie, prêts à supprimer les erreurs introduites par des contributeurs mal intentionnés ou tout simplement ne disposant pas d’informations à jour ou vérifiables.

Il y aborde aussi les possibles dysfonctionnements du système, notamment le fait que là où le processus communautaire est pratiquement sans faille sur des articles à haut trafic et à grande visibilité, il l’est sans doute moins sur des articles plus confidentiels.

Son analyse se nourrit d’exemples qui le touchent de près, puisqu’il s’est trouvé (de façon erronée) marié à la fille d’un couple de ses amis par la lubie de quelque auteur en mal de fantasmes, qui a inséré cette information dans son article sur la Wikipédia italienne. Il avait auparavant relevé quelques erreurs dans son article, telle l’affirmation qu’il était l’aîné de treize enfants, alors que c’était son père qui l’était.

C’est d’ailleurs pour éviter ce genre d’erreurs que les projets Wikimédia se posent la question d’introduire ou non les « flagged revisions » comme outil de protection des articles.

Il faut croiser l’information, toujours et encore

Ces déboires, bien réels, n’empêchent pas Umberto Eco de faire confiance à Wikipédia… comme devrait le faire tout un chacun, sous certaines conditions.  En tant que chercheur, M. Eco est habitué à croiser ses sources, plusieurs fois si possible, afin de bien saisir les tenants et les aboutissants du sujet qui l’intéresse. Il fait de même avec Wikipédia et donne même quelques astuces pour bien utiliser l’encyclopédie en ligne.

Tout d’abord, toujours chercher ailleurs pour voir dans quelle mesure une information est reprise par des sources indépendantes. Que ce soit dans un magazine, une bibliothèque ou d’autres sites Internet, il importe de pouvoir trouver l’information ailleurs. Cette démarche est cependant vraie pour toute information que l’on souhaite utiliser, qu’elle soit dans Wikipédia ou sur un quelconque autre site web. Ensuite il propose une idée propre à Wikipédia, celle de chercher à comparer les articles sur un même sujet dans les Wikipédia en d’autres langues. Parfois, l’éclairage donné sur un sujet varie selon la culture et la langue. Pour peu que vous parliez espagnol, chinois ou anglais, suivre les liens vers le même article dans d’autres langues peut vous aider à voir les choses de façon différente.

Umberto Eco reconnaît que ces façons de faire, qui sont (ou devraient être) des automatismes chez un universitaire, ne sont pas forcément les premières choses qui viennent à l’esprit des lecteurs quotidiens de Wikipédia. Lui préconise la mise en place d’un « conseil de la surveillance d’Internet » qui  aurait pour mission de surveiller des pages par thème. Cependant, il se rend à l’évidence, surveiller 2 millions de pages retournées par Google sur une recherche sur Napoléon, voire même 552 000 sur un auteur italien moins connu, cela relève de l’utopie.

Alors, quelles solutions ? La question est laissée ouverte par Monsieur Eco, qui se rend compte à quel point trouver la réponse est difficile.

Mon avis est que c’est exactement là une partie de la mission de Wikimédia. Outre assurer l’accès libre à la connaissance libre, nous nous efforçons de développer et diffuser auprès des acteurs de l’éducation notamment, mais aussi du grand public, des outils et de l’information qui permettent de comprendre comment fonctionne un site comme Wikipédia.

Ce fut la nouvelle du jour, Google sort un nouveau moteur de recherche répondant au doux nom de Caffeine. Google a annoncé sur son blog que Caffeine n’allait rien révolutionner, que c’était une simple évolution du moteur actuel et qu’il donnerait des résultats de recherche plus pertinents que la version actuelle.

Depuis de nombreuses années, de nombreux Wikipédiens pensent que Google déclasse les articles de Wikipédia pour certains résultats de recherche. Pour l’instant aucune étude sérieuse sur le sujet n’a été menée pour étayer ces affirmations

Avec la sortie de Caffeine, et de ses résultats plus « pertinents », l’idée a refait surface que Google en profiterait pour modifier le référencement des articles de Wikipédia. C’est ce que j’ai voulu savoir en tirant quelques statistiques rapides.

Tout d’abord je suis bien conscient que les quelques requêtes que j’ai faites ne peuvent pas être représentatives de l’ensemble des requêtes possibles, mais les résultats obtenus sont, à mon sens, suffisamment tranchés pour avoir une bonne idée de l’évolution qu’est Caffeine.

Au final c’est donc une soixantaine de requête qui ont été comparées. Le choix des requêtes s’est fait selon plusieurs critères. Une première série de requêtes a été générée en fonction des articles de Wikipédia les plus lus au mois de juillet. Google adaptant ses résultats à l’actualité, il me semblait intéressant de voir l’impact que l’actualité peut avoir sur les résultats de Caffeine.
Deuxième série, des requêtes « bateaux ». Des noms de pays, de villes ou de personnages connus et sans réelle actualité pour le moment, le but cette fois-ci étant l’opposé de celui de la première série : voir les évolutions du référencement sur des requêtes relativement stables. Dernière série, les acronymes. Le but étant de voir comment Caffeine gère les requêtes pouvant avoir plusieurs significations. J’ai également couplé les deux premiers critères aux acronymes et ai soumis des acronymes ayant une actualité (clubs de foot notamment) et d’autres « bateaux ».

Comparatif statistique des résultats des requêtes de recherche de Google et Caffeine

Comme on peut le voir sur le graphique, les résultats ont peu bougé, et plutôt vers un meilleur référencement des articles Wikipédia, mais rien de transcendant. Vu les évolutions, cela pourrait être mis sur le compte de l’évolution naturelle du référencement des sites. En revanche, il est plus intéressant de constater non pas l’évolution du référencement mais la pertinence des résultats.

Comparatif des résultats Google et Caffeine pour la requête JO

Pour la requête JO, on voit clairement l’évolution. Tout d’abord Wikipédia ressort bien plus tôt dans les résultats de la recherche, mais au-delà d’un référencement meilleur, c’est surtout l’amélioration de la pertinence qui est remarquable. Alors que sur Google la requête JO nous donne pour résultat les articles “Jo-Wilfried Tsonga” et “Jeux olympiques d’été de 1936” Caffeine nous donne des résultats bien plus pertinents avec “Jeux olympiques” et “Journal officiel de la République française“.

De même que pour les acronymes, par exemple pour TFC et OM, Caffeine propose, en plus des pages dédiées aux acronymes, la signification la plus courante (Toulouse Football Club et Olympique de Marseille).

Au final Caffeine ne modifie que légèrement le référencement des sites et quand elle le modifie, c’est souvent pour des résultats plus pertinents.

Cette « étude », qui n’en est pas une, n’est pertinente que par apport à la Wikipédia francophone, pour des recherches en français et localisées sur la France. Mais c’est un bon départ pour se faire une idée des évolutions de Caffeine.

Si vous tombez sur des requêtes aux résultats intéressants, dans un sens comme dans l’autre, n’hésitez pas à m’en faire part.

L’actualité législative française offre une nouvelle occasion de vérifier l’impact relatif de la médiatisation sur les articles de l’encyclopédie Wikipédia.

À ma gauche, la loi Création et Internet ; à ma droite, la loi Hôpital, patients, santé et territoires, qui ont chacune leur article sur la Wikipédia en français.

La loi Création et Internet a connu une histoire mouvementée (notamment avec l’épisode du rejet par l’Assemblée nationale), a suscité de longs débats, largement relayés par les médias, les blogs et le petit monde du Web 2.0 et de la culture. Puis est venue la censure du Conseil constitutionnel, suivie de nouvelles interventions politiques et médiatiques et par la volonté du Gouvernement et du Parlement de voter une nouvelle loi complémentaire. Ajoutons que cette loi, par son objet même, a forcément intéressé les internautes, souvent très au fait des dimensions techniques de la loi, mais aussi des aspects économiques et culturels qu’elle draine.
Résultat, l’article n’est pas parfait, il fait même l’objet d’une controverse de neutralité, signe qu’il subsiste un malaise ; et l’on pourrait objecter que l’article n’est pas complet (les dispositions les moins relayées par les médias n’ont pas été retenues dans l’article), mais du moins il tient la route. Il n’omet aucun épisode de l’adoption de la loi, il aborde les dimensions de droit communautaire, il expose les critiques faites à la loi, il relaye la décision du Conseil constitutionnel. Surtout, avec 233 notes, il remplit les exigences de citation des sources. Pas un article modèle, mais un article tout à fait correct.

La loi Hôpital, patients, santé et territoires a, elle aussi, suscité des débats, mais pas autant ; elle a aussi été relayée par des médias, mais sans doute moins. Elle aussi a connu la censure partielle par le Conseil constitutionnel, mais d’un impact plus limité. Surtout, elle n’a sans doute pas passionné les internautes ; il y avait pourtant des aspects techniques, des dimensions économiques, des enjeux de santé publique et d’aménagement du territoire.
Résultat, cet article-là est quasi en friche. Certes, la genèse du texte, ses principales dispositions et les critiques suscitées sont mentionnées, mais pas avec le même degré de détail, ni surtout avec toutes les mises en perspectives que l’on peut lire sur l’autre loi.
Mais surtout, alors que la loi a été promulguée le 21 juillet et publiée au Journal officiel du 22 juillet, le début de l’article, en ce 9 août, affiche encore : « Le projet de loi « Hôpital, patients, santé et territoire » est un projet en cours de discussion ». Le paragraphe consacré à l’examen du texte n’évoque qu’un des points du débat. On ne sait rien de la fin du processus législatif, ni de la censure du Conseil constitutionnel, ni même, plus grave, que la loi est promulguée. Quant aux notes, on n’en trouve que six. Et là, pas de controverse de neutralité, la page de discussion n’a tout simplement pas été créée.

Il y a sans doute d’autres facteurs à cela : la loi Création et Internet a été promulguée le 12 juin, avant les vacances, alors que l’autre l’a été en pleine fin de mois de juillet, quand certains wikipédiens sont à la plage. Malgré tout, force est de constater qu’il vaut mieux, pour les articles d’actualité, que les médias s’y intéressent de près et que les internautes, et en particulier les wikipédiens se sentent concernés par l’affaire.
C’est aussi quand il y a un débat dans la société et sur Wikipédia que les articles s’améliorent, parce que notamment chacun a à cœur de citer les sources qui appuient ce qu’il veut mettre dans l’article.

Fréquentation de l'article Wikipédia Loi Création et Internet

Fréquentation de l'article Wikipédia Hôpital, patients, santé et territoire

Il est également à noter que les deux articles n’ont pas reçu le même nombre de visites. À peine 207 visiteurs durant le mois de juillet pour l’article sur le projet de loi Hôpital, patients, santé et territoire alors que sur la même période l’article sur le projet de loi Internet et création a reçu 19 915 visites.

Tous les articles de Wikipédia sont égaux, mais certains sont plus égaux que d’autres.

Wikipédia est souvent présenté comme un projet d’amateurs peu enclins à travailler avec des experts. Pourtant, il y a quelques jours nous vous avons fait part des premiers résultats de l’enquête qui tendent à montrer que les contributeurs à Wikipédia sont eux-même des experts.

Il y a quelques années, le projet Citizendium fut lancé par le co-fondateur de Wikipédia, Larry Sanger, afin de revaloriser la place des experts dans la rédaction collaborative d’une encyclopédie. Il écrit, à propos de Wikipédia, dans un des essais fondateurs de Citizendium :

Cette communauté dysfonctionnelle est extrêmement peu engageante pour certains des contributeurs ayant le plus de valeur potentielle, à savoir les académiques.

Ces avis subjectifs retranscris dans des essais se trouvent pourtant confrontés coup sur coup à deux études traitant des relations entre les scientifiques et Wikipédia. La première étude est un sondage lancé par Wikimedia Foundation dans le but de savoir si la communauté scientifique serait favorable à des actions d’incitation à participer à Wikipédia. La seconde est une étude (conduite par l’institut de recherche STATS, l’université George Mason et the Society of Toxicology (SOT)) sur le sentiment d’experts en chimie vis à vis des médias en général.

Dans les deux cas, le sentiment des scientifiques vis à vis de Wikipédia semble être bien loin de la défiance si souvent évoquée par ses détracteurs. Dans la première étude, 91% des scientifiques sondés sont favorables à Wikipédia. Dans la seconde, 45% des experts jugent que Wikipédia présente bien leur domaine, alors que ce pourcentage tombe à 15% pour les médias généralistes.

Voici la traduction du communiqué de la Wikimedia Foundation retranscrivant quelques résultats du premier sondage ainsi que la traduction d’un billet d’Andrew Lih évoquant tout l’intérêt de la seconde étude.

La communauté académique donne ses impressions sur Wikipédia

Erik Möller, Directeur Adjoint de la Wikimedia Foundation

En février, la Wikimeda Foundation lança un sondage avec le support de la Public Library of Science (PLoS, « bibliothèque publique de la science » en francais, NdT) afin d’explorer les dispositions et les croyances de la’ communauté scientifique « libre accès » (Open access en anglais, NdT), à l’égard de Wikipédia. Le mouvement de libre accès promeut la libre dissémination de la connaissance scientifique. PLoS et d’autres journaux scientifiques en libre accès, publient des articles scientifiques sous des licences Creative Commons permissives qui autorisent quiconque à télécharger et à réutiliser leur contenu. L’article de Wikipédia sur le « libre accès », qui pourrait lui-même être amélioré, rentre plus dans les détails.

Chez Wikimédia, nous pensons depuis un moment à des manières de travailler directement avec les scientifiques et les journaux en libre accès. Bien que des scientifiques contribuent déjà à Wikipédia dune manière auto-organisée (un exemple étant le Gene Wiki effort), nous n’avons jamais mené un effort systématique de grande ampleur pour les inviter à participer. Notre sondage exploratoire indique qu’une telle invitation serait accueillie à bras ouverts.

Disposition des scientifiques en faveur du libre accès vis à vis de Wikipédia, en février 2009

Le sondage a été publié sur le site web, le blog, le bulletin et le flux twitter de PLoS, et le lien vers le sondage fut également plus largement transmis, notamment dans le bulletin sur le libre accès de Peter Suber. 1 743 intervenants volontaires ont participé au sondage. Parmi eux, 223 s’identifient comme des auteurs dans les revues de PLoS. Ce sous-ensemble d’auteurs ne diffère pas particulièrement des réponses générales. D’une manière générale, les participants expriment une opinion très favorable (58,98%) et plutôt favorable (32,19%) à propos de Wikipédia, et 87,73% indiquent qu’ils utilisent Wikipédia fréquemment ou occasionnellement lors de leur activité professionnelle.

71,03% des participants soutiennent l’idée d’avoir des hyperliens depuis des publications en libre accès vers Wikipédia, et 91,51% soutiennent les liens de Wikipédia vers des publications en libre accès. 67,93% des participants indiquent soutenir un effort général pour inviter les scientifiques à devenir des contributeurs à Wikipédia, et 24,73% indiquent soutenir des expériences limitées. 81,82% ont répondu qu’ils participeraient à un tel effort pour améliorer Wikipédia, avec approximativement la moitié des participants indiquant qu’ils le feraient uniquement à titre professionnel.

Bien que le sondage ne soit aucunement scientifique (en dépit du sujet étudié, il n’était pas prévu de l’être), il indique que les efforts pour encourager plus de scientifiques à contribuer à Wikipédia seraient accueillis avec enthousiasme et soutien, particulièrement dans la communauté académique du libre accès. Nous avons eu quelques conversations initiales spécifiquement avec la Public Library of Science, et nous attendons avec impatience de les continuer, en gardant spécifiquement un œil sur des approches évolutives de collaborations futures.

Plus d’information :

• Rapport de synthèse des résultats du sondage (PDF)
• Données brutes et anonymes du sondage (format OpenDocument)

Billet « Scholarly community gives feedback regarding Wikipedia » par Erik Moeller publié le 27 avril 2009 sur le blog de la Wikimedia Foundation. Texte sous licence CC-BY-SA 3.0 traduit de l’anglais par Johann Dréo.

Wikipédia l’emporte sur les médias papier ?

Andrew Lih, journaliste et spécialiste de Wikipédia

« Les scientifiques ont plus foi en Wikipédia qu’en les médias nationaux imprimés »

C’est l’une des conclusions d’un récent sondage d’environ 1 000 toxicologues quand ils furent interrogés sur la manière dont les médias d’information couvraient leur spécialité : la présentation au public des risques chimiques. (Le sondage fut conduit par l’institut STATS, le Center for Health and Risk Communication à l’université George Mason, et la société de toxicologie).

Étant donné la fréquente plainte sur le fait que Wikipédia dédaigne les « experts », et que l’information est produite par les gens « de la rue », les résultats sont fascinants quand on regarde les chiffres pour d’autres médias d’information professionnels et « traditionnels ». Le résumé du rapport indique :

WebMD et Wikipédia sont vus comme significativement plus exacts dans leur manière de présenter les risques chimiques qu’aucune autre source médiatique.

• 56% affirment que WebMD présente correctement (accurately portray, NdT) les risques chimiques.
• 45 % affirment que Wikipédia présente correctement les risques chimiques.
• Par contre, pas plus de 15 % n’affirment que les principaux journaux nationaux, magazines d’information et réseaux de télévisions présentent correctement les risques chimiques.
• Plus de 80% affirment que les principaux journaux nationaux, magazines d’information et réseaux de télévisions surestiment les risques chimiques.

[...]

… seuls 15 % décrivent la couverture semblable dans les médias nationaux imprimés (c’est à dire le New York Times, le Washington Post et le Wall Street Journal) comme correcte. Cette tendance perd 6 % pour USA Today et 5 % pour les réseaux d’informations généraux.

À la conférence de presse, au club de presse national [américain], pour la sortie des résultats préliminaires de l’étude, le Dr. S. Robert Lichter, qui a dirigé le sondage, décrivit la conclusion sur Wikipédia comme une accusation envers les médias traditionnels — « il est troublant que l’homme de la rue puisse apparemment faire un meilleur travail que les médias ».

Avis d'experts sur la présentation des risques chimiques par les médias, étude STATS, mai 2009. La figure de gauche présente les médias selon leur score sur une échelle allant de 1 (risque très sous-estimé) à 5 (risque très sur-estimé). Les organismes indiqués en gris italique ne sont pas des médias mais ceux dont les scores sont les plus extrêmes. La figure de droite présente la répartition des réponses des experts dans le cas de Wikipédia.

Je suis en désaccord avec le fait que Wikipédia est simplement le produit de n’importe quelle personne « de la rue », mais c’est un réel tournant dans ce que nous considérons comme faisant autorité et comment une information fiable peut être produite.

Même le meilleur score, WebMD, n’emporte l’approbation que d’une moitié des toxicologues interrogés, ce qui est déjà suffisamment surprenant en soi. Mon commentaire (note : non payé, non rémunéré) tel qu’il apparait dans le rapport :

« Cela me rappelle l’étude de Nature [lien] qui fût menée en décembre 2005, où ils constatèrent qu’en moyenne, Britannica avait 3 erreurs par article, et Wikipédia avait 4 erreurs » affirme Lih par email, « c’est surprenant car Wikipédia a fait bien mieux que prévu, étant donné son processus de travail inconnu et Britannica a fait bien pire. Les gens présumaient un certain niveau d’exactitude du fait de la réputation de Britannica, et elle fut abattu de ce piédestal. Pour moi les résultats de WebMD et de Wikipédia sont ici similaires — ils sont bien plus proches que ce qu’on aurait attendu. Wikipédia faisant mieux, WebMD moins bien. »

Mais peut-être que la partie la plus intéressante n’est pas WebMD, mais que les quotidiens professionnels déçoivent autant les experts. Cela semble renforcer le vieil adage : « Les journalistes font un assez bon travail pour couvrir les choses, excepté sur les sujets où vous vous y connaissez ».

Le commentaire d’Alissa Quart, contributrice au Columbia Journalism Review, est perspicace à propos des raisons pour lesquelles l’approche des médias traditionnels (communiquant sur la science tel un conteur pour les masses) est peut-être systématiquement défectueuse :

« Les journalistes tombent dans la scénarisation, parce que c’est ainsi que nous écrivons. Il y a trois narrations, que nous utilisons, qui peuvent nous rendre formidables mais aussi nous attirer des ennuis — une narration pour plaire à nos rédacteurs en chef, une pour plaire à nos lecteurs, et une qui se penche sur nos sources, car nous nous identifions à elles. Les contributeurs à WebMD et à Wikipédia sont déconnectés de la plupart de ces narrations — peut-être qu’ils essayent de plaire à certains lecteurs, mais ils ne sont pas “le lecteur”. Leur modèle de savoir ne demande pas d’histoires, ou de sentiment, ou de personnage. »

C’est une très bonne observation qui s’emboîte bien avec mes vues sur le rôle des relations publiques et la dangereuse narration des médias conduisant les reportages scientifiques. Quart et moi sommes arrivés à la même conclusion :

En résumé, l’argumentation l’emporte sur l’esthétique. Lih, un ingénieur de formation, est d’accord. Le conflit des narrations « informe également sur les motivations, en ce que la presse traditionnelle sera conduite par les rapports, les relations publiques les encouragent, ainsi que le marché et le désir des rédacteurs en chef (d’une manière hiérarchique) pour demander aux reporters de trouver une histoire au sein des dernières recherches, même si dans le plus large contexte du domaine, cela ne justifie pas tant d’attention. En ce sens, les motivations de Wikipédia sont différentes, en ce que la « foule » aide à modérer et même atténue le type de « nouveautisme » qui est si omniprésent dans la couverture des informations. »

Le résumé complet peut être trouvé sur le site Stats.org, ou vous pouvez consulter le PDF complet.

Billet « Wikipedia trumps print media » publié par Andrew Lih le 22 mai 2009 sur son blog personnel. Traduit de l’anglais par Johann Dréo.

À ses débuts, il fut souvent reproché à Wikipédia d’être rédigée par et pour des amateurs d’informatique. De ce fait, une représentation excessive des sujets techniques était généralement dénoncée comme un biais inadmissible.

D’intéressantes études statistiques, menées par des chercheurs de l’université Carnegie Mellon et du centre de recherche Xerox de Palo Alto permettent aujourd’hui de se faire une idée objective de la couverture thématique de la Wikipédia anglophone en janvier 2008.

Leur méthode s’appuie sur les catégories, ajoutées par les contributeurs : en cherchant le plus court chemin depuis un article jusqu’à l’une des catégories de plus haut niveau, il est possible de comptabiliser combien d’articles y sont rattachés.

La répartition montre une nette prédominance des articles culturels. Les pourcentages suivants sont ceux de janvier 2008, entre parenthèses est donné leur évolution depuis juillet 2006. Il faut également noter que pendant ces deux années, le nombre de pages et de catégories a plus que doublé :

Couverture thématique de la Wikipédia anglophone en janvier 2008.

• Culture et arts : 30% (+210%)
• Biographies et personnes : 15% (+97%)
• Géographie et lieux : 14% (+52%)
• Société et sciences sociales : 12% (+83%)
• Histoire et évènements : 11% (+143%)
• Sciences naturelles et physiques : 9% (+213%)
• Technologie et sciences appliquées : 4% (-6%)
• Religions et systèmes de croyances : 2% (+38%)
• Santé : 2% (+42%)
• Mathématiques et logique : 1% (+146%)
• Philosophie et pensée : 1% (+160%)

Wikipédia est donc l’encyclopédie de la culture et des arts avant tout. Les auteurs mettent en garde contre une interprétation trop rapide de la baisse de la proportion des articles en sciences appliquées.

La même étude s’est également intéressée aux sujets provoquant le plus de conflits, proportionnellement à leur représentation dans l’encyclopédie. Les proportions sont alors toutes différentes :

Répartition thématique des conflits sur la Wikipédia anglophone en janvier 2008.

• Culture et arts : 2%
• Biographies et personnes : 14%
• Géographie et lieux : 2%
• Société et sciences sociales : 7%
• Histoire et évènements : 6%
• Sciences naturelles et physiques: 7%
• Technologie et sciences appliquées : 1%
• Religions et systèmes de croyances : 28%
• Santé : 0%
• Mathématiques et logique : 1%
• Philosophie et pensée : 28%

L’étude de l’équipe d’A. Kittur montre également qu’il est illusoire de chercher à considérer Wikipédia comme un ensemble d’articles homogène, les caractéristiques thématiques variant grandement.

Wikipédia est donc avant tout l’encyclopédie de la culture !

Sources

• Aniket Kittur, Ed H. Chi, and Bongwon Suh, What’s in Wikipedia?: Mapping Topics and Conflict using Socially Annotated Category Structure. In Proceedings of the 27th international Conference on Human Factors in Computing Systems (Boston, MA, USA, April 04 – 09, 2009). CHI ’09. ACM, New York, NY.

• Aniket Kittur, Bongwon Suh, Bryan A. Pendleton, Ed H. Chi, He Says, She Says: Conflict and Coordination in Wikipedia. In Proceedings of the 25th international Conference on Human Factors in Computing Systems (San Jose, CA, USA, April 28 – May 3, 2007), CHI’07. ACM, New York, NY.