anglais
The National library of France (BnF) has been harvesting the French web since 2002 to gather online material relevant to political campains as part of its legal deposit missions. These collections offer a rare opportunity to capture how public debates have unravelled online at a given time. One can find core indicators on the French political life of the past quarter century without having to account for the distortion created by an over-focus on the discourses of the elite. This data has remained hard for scholars to access due to the numerous technical challenges they can raise. To tackle those challenges, a new methodological apparatus has recently been deployed. It relies both on the production of a new dataset through the full text indexing of the electoral collections (from 2002 to 2010, with a running goal to index the following years) and the deployment of open-source software PANDORÆ to interrogate those indexes, extract corpuses, and explore them in a comprehensive manner.This data paper details the steps leading to the production of these archives and describes their potential as research data. We present the method through which seed URLs are chosen ; how crawler robots are used to harvest content ; how ARC and WARC files are used to store the data ; how CDX indexes account for the harvesting process ; how archived content is made browsable ; how WARC indexer creates full text indexes and Solr makes them available ; and how PANDORÆ enables the creation of corpuses from the collection to allow for deeper explorations.
français
Depuis le début des années 2000, la Bibliothèque nationale de France (BnF) collecte au titre du dépôt légal des sélections de sites internet à l’occasion des grandes échéances électorales. Ces collections sont une opportunité de capturer la façon dont les enjeux sociétaux du moment sont débattus en ligne. On y trouve des indicateurs sur la vie politique française des vingt-cinq dernières années sans pour autant être confronté au prisme déformant de la captation des espaces médiatiques par les élites. Ces données sont restées jusqu’à maintenant difficiles d’accès pour les chercheuses et les chercheurs en SHS du fait des nombreux défis techniques qu’elles soulèvent. Pour faire face à cette difficulté, un nouvel appareil méthodologique a récemment été déployé. Il repose d’une part sur la production d’un nouveau jeu de données par l’indexation plein texte des collections des archives électorales (jusqu’en 2010, avec pour objectif de rejoindre à terme le présent), et le déploiement du logiciel open-source PANDORÆ qui permet d’interroger ces index, d’en extraire des corpus, et de les explorer de façon exhaustive.Cet article de données détaille les étapes de constitution des archives du web électoral et de leur potentialisation comme données pour la recherche. Il présente la méthode de sélection d’URL de départs à collecter ; l’usage de robots crawlers pour récupérer les contenus ; la constitution de fichier au format ARC puis WARC pour stocker les données collectées ; la création d’index CDX rendant compte des collectes ; la reconstitution d’une version navigable des contenus archivés ; l’indexation en plein texte via WARC Indexer et la mise à disposition par Solr ; ainsi que la création de sous-corpus et leur exploration via PANDORÆ.