Archive

Articles taggués ‘technologie’
Aucun commentaire 10/08/2012

Panne des sites Wikimedia du 6 août

L’ensemble des sites Wikimedia a connu une panne mondiale lundi dernier qui a commencé à environ 13h15 heure française. Les sites étaient de nouveau accessibles, à 15h18 (à l’exception du site pour les mobiles qui n’a été rétabli qu’à 16h35). La panne a donc duré un peu plus de 2 heures, sans accès à Wikipédia et aux autres projets Wikimedia (Wikimedia Commons, Wiktionnaire, Wikisource, etc.).

Les équipes techniques de la Wikimedia Foundation ont détecté une perte de connectivité réseau entre leurs deux centres de données qui hébergent les sites. La panne a été provoquée par une rupture accidentelle, provoquée par un tiers, d’un câble de fibre optique reliant ces deux centres. Ils sont tous deux situés du coté Est des États-Unis, l’un à Ashburn en Virgine et l’autre à Tampa en Floride (la fondation a elle ses bureaux à San Francisco). Le centre de Ashburn assure la majeure partie du trafic mais il doit communiquer avec celui de Tampa, le centre historique, pour tout ce qui concerne les services de backend (les bases de données par exemple). Aussi sont-ils reliés entre eux par deux liaisons distinctes en fibre optique afin d’assurer une redondance. La rupture d’un câble n’aurait donc pas du provoquer cette panne puisque le second câble est justement là pour éviter cela.

Quelques-uns des serveurs Wikimedia…
(Victor Grigas, CC by SA)

Pour assurer aussi cette redondance, la fondation s’était assuré auprès du fournisseur réseau qu’il fournisse deux systèmes indépendants et distincts de multiplexage en longueur d’onde (DWDM) afin que Wikipédia et les autres sites Wikimedia soient toujours accessibles. Chacun de ces DWDM est acheminé par diverses fibres en utilisant les deux entrées du point de présence (POP) du centre de Tampa, rendant le système capable de délivrer deux flux de 10 Gio/s différemment routés tant que le segment métropolitain et le segment longue distance de l’onde nº1 sont sur la même route.

Le fournisseur réseau a effectué le diagnostic initial du trafic Wikimedia et a trouvé l’origine du problème : il se situait dans une section d’un segment de fibre pliée au travers duquel passent les flux Wikimedia. Le dommage sur le câble de fibre optique s’est produit dans ce segment de fibre pliée entraînant la perte de service. Entre temps l’équipe technique de la fondation avait redirigé le trafic vers le centre de Tampa. Bien que les deux liaisons soient ensuite redevenues opérationnelles, le trafic n’a volontairement pas été redirigé vers Ashburn tant que les causes de cette panne de service n’étaient pas précisément connues.

L’enquête qui a suivi a montré que le segment d’accès métropolitain de l’onde nº1 était mal acheminé, du même côté que le segment longue distance de l’onde nº2. La combinaison de la coupure du câble et de ce routage incorrect ont entraîné la perte des deux connexions réseau entre les deux centres de données.

Depuis, la fondation a demandé au fournisseur de vérifier le cheminement du trafic pour s’assurer qu’un tel point unique de défaillance ne subsiste plus sur leur réseau (qu’en cas de défaillance en un point donné, la connexion reste assurée).

(Victor Grigas, CC by SA)

La fondation est également en train de répliquer et de migrer le reste de ses services backend à eqiad (site d’Ashburn), créant ainsi une redondance complète du service entre les deux centres de données. L’objectif est que cela soit achevé au dernier trimestre 2012.

Bien que cette panne se soit produite en plein mois d’août, les réactions en France et à l’étranger tant sur les réseaux sociaux que dans les médias ont montré à tel point Wikipédia était devenu un service usuel pour beaucoup. Wikipédia est consultée chaque mois par plus de 20 millions de visiteurs uniques en France et par près de 470 millions dans le monde.

Le rapport original de la panne (en anglais) se trouve sur wikitech.wikimedia.org/.

Aucun commentaire 14/09/2010

Wikimedia Foundation : informations diverses

Quelques nouvelles fraîches des avancées techniques, de la préparation de la levée de fonds et de l’expansion de la fondation.

Technologie

resourceLoader

Un chargeur de ressources dédié JavaScript/CSS est en cours d’implémentation. Celui ci permettra de ne pas charger les bouts de CSS/JS dont l’utilisateur n’a pas besoin – typiquement, parce qu’il n’utilise pas telle fonctionnalité ou qu’il se connecte depuis un mobile ou un navigateur ne les prenant pas en charge.

Ce nouveau système permettra aussi d’améliorer le temps de chargement des gadgets (special:gadgets). Actuellement, le code de chaque gadget est chargé via une sous-page séparée (ce qui rallonge  le temps de chargement à cause des aller-retour serveur). Le nouveau système fusionnera les morceaux de manière à ce que du point de vue du navigateur, il n’y ait qu’une unique page de CSS et une unique page de JavaScript à charger.

La mise en production de cette fonctionnalité est prévue pour courant octobre 2010.

(Page du projet)

Nouveau datacenter

La Wikimedia Foundation (WMF) stocke actuellement la grande majorité de ses serveurs (et l’ensemble des bases de données des différents projets) dans un unique datacenter. Cette situation est dangereuse, d’autant plus que le datacenter est dans l’un des états des États-Unis subissant le plus d’ouragans chaque année.  La WMF a donc décidé d’en monter un deuxième, d’une capacité équivalente à l’actuelle, afin d’avoir une architecture redondante. Cela permettra aux différents sites (wikipedia, wiktionary, etc.) de rester accessibles même si l’un ou l’autre des datacenters tombe en panne.

Il sera situé dans la zone non-incorporée d’Ashburn, à une cinquantaine de kilomètres au nord-ouest de Washington.

D’après l’agenda actuel, le lieu définitif sera choisi (au plus tard) en octobre 2010, et l’installation de l’infrastructure des serveurs s’étalera sur novembre et décembre 2010.

(Page du projet)

Google Summer of Code

Les 6 projets dont la WMF a profité durant le GSoC 2010 se sont terminés, selon elle, “d’une manière très satisfaisante”. Vous trouverez plus de détails sur cette page.

LiquidThreads

La refonte de l’extension LiquidThreads, qui (supposément) remplacera bientôt les pages de discussion sur les projets de la WMF, avance bien. Vous trouverez des captures d’écran et de plus amples explications sur cette page.

Divers

Levée de fonds

Le fundraising débutera officiellement le 7 novembre 2010 pour se terminer le 15 janvier 2011, date correspondant au 10e anniversaire du lancement de Wikipédia.

Contrairement à l’année 2009 où la campagne s’était appuyée sur les bannières faites par deux entreprises spécialisées, Fenton Communications (article, site) et SeaChange Capital Partners (site), la WMF semble encourager cette fois-ci les contributeurs (notamment les chapitres nationaux tel que Wikimedia France) à imaginer eux-mêmes les bannières qui marcheront le mieux dans leur pays respectif.

Les bannières prévues pour la levée de fonds seront testées sur de petits groupes d’utilisateurs et les jeudis uniquement.

(source, page dédiée sur meta)

Wikimedia Foundation en Inde

La WMF poursuit son plan d’expansion vers les autres continents. L’implantation de la première “succursale” permanente, en Inde, est maintenant prévue pour dans 6 mois environ. Une partie des raisons ayant entrainée le choix de l’Inde sont détaillées dans cet article. Une offre d’emploi pour un “National Program Director” à d’ors et déjà été postée. La personne embauchée sera ensuite chargée de recruter le reste de l’équipe locale.

Il est à supposer que l’emplacement exact de la succursale dépendra de l’endroit où habite cette personne.

Cette entrée de blog est une réécriture par l’auteur de la version qu’il a publiée sur son blog, sous le titre : « Diverses informations wikimédiennes »