La croissance continue des volumes de données stockés dans les bases de données n’est pas sans poser des problèmes : temps de réponse, difficultés à maintenir les performances, allongement du temps nécessaire pour réaliser les opérations de migration, de sauvegarde, de plan de continuité d’entreprise… Cela alors qu’une grande majorité des données présentes dans les bases de données en production ne sont que peu, voire plus du tout utilisées.

De plus, il n’est pas rare de devoir maintenir des applications obsolètes en production uniquement pour pouvoir accéder aux données, ce qui engendre des coûts importants en termes de maintenance (licence, compétences requises…).

Enfin, de nombreuses données doivent être conservées sur des périodes plus ou moins longues pour des raisons légales et réglementaires, ou pour se protéger contre tout risque juridique, ce qui implique de pouvoir démontrer leur intégrité et leur authenticité. À cet égard, conserver les données dans une base de données en production n’apporte aucune garantie.

Face à cette situation, l’archivage des données contenues dans les bases de données apporte une réelle valeur ajoutée et des éléments de réponse à ces différents défis. Il s’agit d’exporter périodiquement ou ponctuellement les données qui ne sont plus régulièrement utilisées en vue de les mettre en sécurité dans un système d’archivage électronique. La base de données de production est ensuite purgée des éléments archivés.
Cette démarche requiert une compréhension précise des enjeux et des problèmes inhérents à ce type de projet, mais également une méthodologie rigoureuse. Ces éléments seront exposés lors de la présentation, qui sera illustrée à l’aide d’exemples concrets. Nous présenterons les fonctionnalités, les atouts et les faiblesses de quatre solutions existantes sur le marché afin d’en donner au public une image plus concrète.

La croissance continue des volumes de données stockés dans les bases de données n’est pas sans poser des problèmes : temps de réponse, difficultés à maintenir les performances, allongement du temps nécessaire pour réaliser les opérations de migration, de sauvegarde, de plan de continuité d’entreprise… Cela alors qu’une grande majorité des données présentes dans les bases de données en production ne sont que peu, voire plus du tout utilisées.

De plus, il n’est pas rare de devoir maintenir des applications obsolètes en production uniquement pour pouvoir accéder aux données, ce qui engendre des coûts importants en termes de maintenance (licence, compétences requises…).

Enfin, de nombreuses données doivent être conservées sur des périodes plus ou moins longues pour des raisons légales et réglementaires, ou pour se protéger contre tout risque juridique, ce qui implique de pouvoir démontrer leur intégrité et leur authenticité. À cet égard, conserver les données dans une base de données en production n’apporte aucune garantie.

Face à cette situation, l’archivage des données contenues dans les bases de données apporte une réelle valeur ajoutée et des éléments de réponse à ces différents défis. Il s’agit d’exporter périodiquement ou ponctuellement les données qui ne sont plus régulièrement utilisées en vue de les mettre en sécurité dans un système d’archivage électronique. La base de données de production est ensuite purgée des éléments archivés.
Cette démarche requiert une compréhension précise des enjeux et des problèmes inhérents à ce type de projet, mais également une méthodologie rigoureuse. Ces éléments seront exposés lors de la présentation, qui sera illustrée à l’aide d’exemples concrets. Nous présenterons les fonctionnalités, les atouts et les faiblesses de quatre solutions existantes sur le marché afin d’en donner au public une image plus concrète.

Comme le confirment les consultances de terrain, ou encore les résultats des travaux scientifiques ou « marketing », comme ceux de Gartner en 2010, la qualité des données revêt toujours des enjeux stratégiques pour l’egovernment. Par exemple, en Belgique, la DmfA (Déclaration Multifonctionnelle – Multifunctionele Aangifte) permet le prélèvement annuel d’environ 40 milliards d’euros de cotisations et prestations sociales. Or la DmfA est composée de données. On peut en conclure que leur qualité revêt des enjeux fondamentaux en termes de coûts-bénéfices. La question est d’autant plus sensible quand on sait que la législation et les procédures associées à la gestion de ces données sont complexes, évolutives et s’inscrivent dans des organisations hétérogènes. Face à cette réalité, Smals a créé un « data quality competency center » depuis cinq ans environ en vue de réaliser des travaux de consultance destinés à évaluer, à améliorer pratiquement la qualité des bases de données dans le domaine de l’egovernment et à réaliser des études en la matière. Le présent rapport propose plusieurs retours d’expérience originaux issus des travaux du DQ Competency Center. Ceux-ci sont présentés à travers la question des anomalies, ces valeurs déviantes par rapport au modèle attendu d’une base de données et dont on estime que le coût de traitement peut atteindre environ 15 % du revenu des entreprises dans les secteurs privé et public. Le but poursuivi dans cette étude consiste à clarifier la problématique et à présenter des solutions concrètes en vue de diminuer le nombre d’anomalies et d’en faciliter la gestion. Parmi les nouveautés de l’étude, citons les points suivants (chacun étant accompagné d’un modèle organisationnel adapté incluant des rôles métier et techniques) :

• La présentation d’un prototype permettant de suivre l’historique des anomalies et de leur traitement (correction, validation…) : celle-ci a été conçue sur la base de propositions originales du DQ Competency Center. Accompagnée d’un travail d’analyse, elle peut donner le jour à un développement grandeur nature adapté à un cas spécifique. Sur cette base, le rapport montre, à partir de « case studies », comment concevoir des indicateurs de suivi de la qualité des données et comment appliquer des stratégies de gestion en vue de diminuer structurellement le nombre d’anomalies en agissant sur la source de leur émergence.
• La présentation des aspects documentaires indispensables en vue d’accompagner le traitement des anomalies. Notamment, à partir d’une expérience de terrain, l’étude montre comment un système de gestion des connaissances généralisable permet de faciliter la correction des anomalies par les agents de l’administration.
• Un retour d’expérience issu de l’application des Data Quality Tools, acquis par Smals en 2009, à plusieurs bases de données de l’administration fédérale. À partir d’exemples concrets, l’étude montre comment ces outils facilitent la détection semi-automatique d’incohérences formelles et l’accompagnement de leur correction. Elle montre leur apport indéniable par rapport à un développement « home made » et les perspectives d’application.

Comme le confirment les consultances de terrain, ou encore les résultats des travaux scientifiques ou « marketing », comme ceux de Gartner en 2010, la qualité des données revêt toujours des enjeux stratégiques pour l’egovernment. Par exemple, en Belgique, la DmfA (Déclaration Multifonctionnelle – Multifunctionele Aangifte) permet le prélèvement annuel d’environ 40 milliards d’euros de cotisations et prestations sociales. Or, la DmfA est composée de données. On peut en conclure que leur qualité revêt des enjeux fondamentaux en termes de coûts-bénéfices. La question est d’autant plus sensible quand on sait que la législation et les procédures associées à la gestion de ces données sont complexes, évolutives et s’inscrivent dans des organisations hétérogènes. Face à cette réalité, Smals a créé un « data quality competency center » depuis cinq ans environ en vue de réaliser des travaux de consultance destinés à évaluer, à améliorer pratiquement la qualité des bases de données dans le domaine de l’egovernment et à réaliser des études en la matière. Le présent rapport propose plusieurs retours d’expérience originaux issus des travaux du DQ Competency Center. Ceux-ci sont présentés à travers la question des anomalies, ces valeurs déviantes par rapport au modèle attendu d’une base de données et dont on estime que le coût de traitement peut atteindre environ 15 % du revenu des entreprises dans les secteurs privé et public. Le but poursuivi dans cette étude consiste à clarifier la problématique et à présenter des solutions concrètes en vue de diminuer le nombre d’anomalies et d’en faciliter la gestion. Parmi les nouveautés de l’étude, citons les points suivants (chacun étant accompagné d’un modèle organisationnel adapté incluant des rôles métier et techniques) :

• La présentation d’un prototype permettant de suivre l’historique des anomalies et de leur traitement (correction, validation…) : celle-ci a été conçue sur la base de propositions originales du DQ Competency Center. Accompagnée d’un travail d’analyse, elle peut donner le jour à un développement grandeur nature adapté à un cas spécifique. Sur cette base, le rapport montre, à partir de « case studies », comment concevoir des indicateurs de suivi de la qualité des données et comment appliquer des stratégies de gestion en vue de diminuer structurellement le nombre d’anomalies en agissant sur la source de leur émergence.
• La présentation des aspects documentaires indispensables en vue d’accompagner le traitement des anomalies. Notamment, à partir d’une expérience de terrain, l’étude montre comment un système de gestion des connaissances généralisable permet de faciliter la correction des anomalies par les agents de l’administration.
• Un retour d’expérience issu de l’application des Data Quality Tools, acquis par Smals en 2009, à plusieurs bases de données de l’administration fédérale. À partir d’exemples concrets, l’étude montre comment ces outils facilitent la détection semi-automatique d’incohérences formelles et l’accompagnement de leur correction. Elle montre leur apport indéniable par rapport à un développement « home made » et les perspectives d’application.

L’utilisation croissante des technologies de l’information et de la communication a fait de la préservation à long terme de l’information numérique un enjeu crucial pour les entreprises et les institutions (quantité croissante d’informations numériques, réglementations imposant leur conservation sur des durées relativement longues, enjeux financiers importants, nombreux types d’informations – dans certains cas très complexes – à préserver).

N’étant par nature pas auto-explicative, l’information numérique naît de l’interaction entre une séquence de bits et des éléments hardware et software, la rendant dès lors soumise à l’évolution hétérogène de ces différentes composantes. Le problème est que l’ère du numérique dans laquelle nous sommes entrés est marquée par une évolution impressionnante des technologies (les unes remplaçant les autres).

Incluse dans l’archivage, la préservation consiste à maintenir les objets archivés en état, c’est-à-dire accessibles et compréhensibles par ses utilisateurs. Du fait de la fragilité inhérente de l’information numérique, sa préservation nécessite d’appliquer de manière continue tout au long du cyle de vie de l’information des stratégies techniques et conceptuelles qui ne sont efficaces que si elles sont encadrées par une organisation financée durablement.

Au niveau de l’organisation, un préalable indispensable est un engagement fort de la direction eu égard aux budgets et compétences qui devront être rassemblés. Tout projet de ce type doit commencer par une étude du modèle conceptuel Open Archival Information System (OAIS) devenu progressivement une norme incontournable dans le domaine et normalisée en 2003 par l’ISO. Permettant de saisir la problématique de manière globale (du point de vue fonctionnel et au niveau des informations à rassembler), il constitue un excellent guide pour la mise en œuvre de projets d’archivage à long terme. Pour être préservée, l’information numérique doit être maintenue dans un système qualifié de fiable sur les plans de l’organisation, de la gestion et des stratégies techniques et conceptuelles mises en œuvre. Divers modèles d’audit (dont le plus élaboré est DRAMBORA) existent et offrent une aide efficace pour évaluer la capacité d’un système à préserver l’information.

Le modèle OAIS n’offrant qu’un modèle conceptuel, il reviendra à chaque organisation de traduire cette organisation en différents services, chacun assumant une partie des tâches et des responsabilités.

Une fois ce cadre organisationnel élaboré, l’organisme souhaitant préserver ces informations doit recourir à diverses stratégies techniques et conceptuelles, appliquées de manière continue. Étant donné qu’il n’existe aucune solution globale et unique, nous insistons sur l’importance de combiner ces stratégies.

Les stratégies techniques et conceptuelles opérationnelles actuellement et complémentaires sont :

• la gestion des supports de stockage, incluant le choix des supports, leur contrôle régulier et leur remplacement ;
• la gestion des formats, comprenant le choix de formats qualifiés de pérennes, leur validation et le recours à des format viewers ;
• la migration régulière des données vers des nouveaux formats ou des architectures matérielles et logicielles plus récentes, en veillant à la compatibilité ascendante des logiciels et en prenant soin de documenter rigoureusement le processus de migration ;
• le recours aux métadonnées, base indispensable de toute autre stratégie. À cet égard, les standards développés ces dernières années (dont METS et PREMIS) offrent une aide indéniable.

Chacune de ces stratégies permet de préserver une ou plusieurs couches (physique, binaire, logique et sémantique) de l’information numérique.

Deux autres stratégies sont parfois présentées. L’encapsulation est intéressante mais encore peu mise en oeuvre aujourd’hui. L’émulation est utilisée aujourd’hui au niveau des supports de stockage. Au niveau logiciel, elle n’est clairement pas opérationnelle à l’heure actuelle.

Le coût de la préservation demeure un problème complexe à gérer, d’autant plus que ce coût n’est que difficilement chiffrable. Dès lors, en vue de le diminuer, diverses stratégies de mutualisation peuvent être mises en œuvre.

File Format Identification and Validation Tool

L’informatisation de notre société et la dématérialisation de l’information qui accompagne son développement actuel ont entraîné la gestion de quantités de données sous forme numérique. Ces informations, issues d’applications diverses, sont souvent hétérogènes dans leur format, de sorte que leurs échanges posent des problèmes importants pouvant profondément modifier la qualité des données.
Le problème est connu depuis de nombreuses années. Cependant, l’interconnexion des réseaux et des applications gérant des données similaires et devant de plus en plus interagir le rendent davantage stratégique aujourd’hui que par le passé. Cette situation rend ainsi problématique la multiplicité des solutions apportées et des formats utilisés et constitue un frein à un traitement optimal des données tout au long de la chaîne de traitement informationnel (stockage, indexation, recherche), tel que l’identification d’un travailleur présent dans une déclaration par comparaison avec les données situées dans d’autres bases de données de la sécurité sociale.

Le problème est aussi bien technique que conceptuel. Il faut bien entendu tenir compte des formats de codage disponibles et de leur support, tant au niveau du software que du hardware. Par ailleurs, beaucoup de formats disposent de nombreuses variantes nationales, généralement incompatibles sans conversion de l’information. Certains formats étant moins riches que d’autres, il est parfois nécessaire d’appauvrir l’information, par exemple en supprimant les caractères accentués et spéciaux. Cependant, les approches généralement locales du problème et de sa résolution ont entraîné, au sein des applications, l’apparition de nombreux formats et processus de conversions différents sans que les contraintes techniques ne le justifient à chaque fois.

A certains de ces problèmes, Unicode peut apporter des réponses mais il ne constitue en rien la solution parfaite et unique. Cependant, la richesse relative de l’information qu’il permet, sa compatibilité avec d’autres normes plus anciennes et largement répandues, ainsi que sa souplesse dans certaines manipulations de chaîne en font une évolution inévitable qu’il est nécessaire d’appréhender.

Afin de résoudre ces difficultés, il convient d’adopter une approche plus globale du traitement de l’information en définissant une politique de codage (afin d’en éviter la multiplicité et par là les conversions nécessaires) et une politique de conversion (pour gérer la qualité de l’information de manière cohérente) appliquées à l’ensemble des données.
Par ailleurs, dans le cadre de la préservation à long terme de l’information numérique, l’adoption de formats standards et ouverts, ainsi qu’une rationalisation de leur nombre est généralement considéré comme un pré requis. Outre cela, préserver la qualité de l’information, y compris en choisissant des formats permettant une compatibilité ascendante comme Unicode, permet d’en faciliter la conservation et la compréhension pour les futurs utilisateurs, tout en appréhendant mieux les changements technologiques.