Deze presentatie vat de infosessie ‘Streamlining Analytics’ samen, gepresenteerd in juni 2013. Streamlining Analytics bespreekt drie barrières die het introduceren van analytics in bestaande organisaties bemoeilijken: (1) een trage en complexe architectuur, (2) een niet-optimale aanpak van dataquality-problemen en (3) een atypisch projectkader waarbinnen analyticsprojecten uitgevoerd worden. Voor elk van deze barrières reiken we mogelijke oplossingen aan. Zo bespreken we manieren om een complexe data-architectuur te vereenvoudigen en methodes om dataquality-aspecten te behandelen binnen analyticsprojecten. Voorts behandelen we ook project frameworks die het mogelijk maken om de nodige resources en tijd van typische analyticstaken beter in te schatten.

Cette présentation résume la séance d’info ‘Streamlining Analytics’, présentée en juin 2013 et traitant de trois obstacles qui compliquent l’introduction de l’analytique dans des organisations existantes : (1) une architecture lente et complexe, (2) une approche non optimale des problèmes de qualité des données et (3) un cadre de projet atypique dans lequel sont exécutés les projets d’analytique. Pour chacun de ces obstacles, nous procurons des solutions possibles. Nous abordons ainsi des moyens de simplifier une architecture de données complexe et des méthodes pour traiter les aspects de qualité des données dans les projets d’analytique. De même, nous présentons des cadres de projet permettant de mieux estimer les ressources et le temps nécessaires pour des tâches d’analytique typiques.

Deze researchnote vat de infosessie ‘Streamlining Analytics’ samen, gepresenteerd in juni 2013. Streamlining Analytics bespreekt drie barrières die het introduceren van analytics in bestaande organisaties bemoeilijken: (1) een trage en complexe architectuur, (2) een niet-optimale aanpak van dataquality-problemen en (3) een atypisch projectkader waarbinnen analyticsprojecten uitgevoerd worden. Voor elk van deze barrières reiken we mogelijke oplossingen aan. Zo bespreken we manieren om een complexe data-architectuur te vereenvoudigen en methodes om dataquality-aspecten te behandelen binnen analyticsprojecten. Voorts behandelen we ook project frameworks die het mogelijk maken om de nodige resources en tijd van typische analyticstaken beter in te schatten.

Cette Research Note résume la séance d’info ‘Streamlining Analytics’, présentée en juin 2013 et traitant de trois obstacles qui compliquent l’introduction de l’analytique dans des organisations existantes : (1) une architecture lente et complexe, (2) une approche non optimale des problèmes de qualité des données et (3) un cadre de projet atypique dans lequel sont exécutés les projets d’analytique. Pour chacun de ces obstacles, nous procurons des solutions possibles. Nous abordons ainsi des moyens de simplifier une architecture de données complexe et des méthodes pour traiter les aspects de qualité des données dans les projets d’analytique. De même, nous présentons des cadres de projet permettant de mieux estimer les ressources et le temps nécessaires pour des tâches d’analytique typiques.

Comme le confirment les consultances de terrain, ou encore les résultats des travaux scientifiques ou « marketing », comme ceux de Gartner en 2010, la qualité des données revêt toujours des enjeux stratégiques pour l’egovernment. Par exemple, en Belgique, la DmfA (Déclaration Multifonctionnelle – Multifunctionele Aangifte) permet le prélèvement annuel d’environ 40 milliards d’euros de cotisations et prestations sociales. Or la DmfA est composée de données. On peut en conclure que leur qualité revêt des enjeux fondamentaux en termes de coûts-bénéfices. La question est d’autant plus sensible quand on sait que la législation et les procédures associées à la gestion de ces données sont complexes, évolutives et s’inscrivent dans des organisations hétérogènes. Face à cette réalité, Smals a créé un « data quality competency center » depuis cinq ans environ en vue de réaliser des travaux de consultance destinés à évaluer, à améliorer pratiquement la qualité des bases de données dans le domaine de l’egovernment et à réaliser des études en la matière. Le présent rapport propose plusieurs retours d’expérience originaux issus des travaux du DQ Competency Center. Ceux-ci sont présentés à travers la question des anomalies, ces valeurs déviantes par rapport au modèle attendu d’une base de données et dont on estime que le coût de traitement peut atteindre environ 15 % du revenu des entreprises dans les secteurs privé et public. Le but poursuivi dans cette étude consiste à clarifier la problématique et à présenter des solutions concrètes en vue de diminuer le nombre d’anomalies et d’en faciliter la gestion. Parmi les nouveautés de l’étude, citons les points suivants (chacun étant accompagné d’un modèle organisationnel adapté incluant des rôles métier et techniques) :

• La présentation d’un prototype permettant de suivre l’historique des anomalies et de leur traitement (correction, validation…) : celle-ci a été conçue sur la base de propositions originales du DQ Competency Center. Accompagnée d’un travail d’analyse, elle peut donner le jour à un développement grandeur nature adapté à un cas spécifique. Sur cette base, le rapport montre, à partir de « case studies », comment concevoir des indicateurs de suivi de la qualité des données et comment appliquer des stratégies de gestion en vue de diminuer structurellement le nombre d’anomalies en agissant sur la source de leur émergence.
• La présentation des aspects documentaires indispensables en vue d’accompagner le traitement des anomalies. Notamment, à partir d’une expérience de terrain, l’étude montre comment un système de gestion des connaissances généralisable permet de faciliter la correction des anomalies par les agents de l’administration.
• Un retour d’expérience issu de l’application des Data Quality Tools, acquis par Smals en 2009, à plusieurs bases de données de l’administration fédérale. À partir d’exemples concrets, l’étude montre comment ces outils facilitent la détection semi-automatique d’incohérences formelles et l’accompagnement de leur correction. Elle montre leur apport indéniable par rapport à un développement « home made » et les perspectives d’application.

Comme le confirment les consultances de terrain, ou encore les résultats des travaux scientifiques ou « marketing », comme ceux de Gartner en 2010, la qualité des données revêt toujours des enjeux stratégiques pour l’egovernment. Par exemple, en Belgique, la DmfA (Déclaration Multifonctionnelle – Multifunctionele Aangifte) permet le prélèvement annuel d’environ 40 milliards d’euros de cotisations et prestations sociales. Or, la DmfA est composée de données. On peut en conclure que leur qualité revêt des enjeux fondamentaux en termes de coûts-bénéfices. La question est d’autant plus sensible quand on sait que la législation et les procédures associées à la gestion de ces données sont complexes, évolutives et s’inscrivent dans des organisations hétérogènes. Face à cette réalité, Smals a créé un « data quality competency center » depuis cinq ans environ en vue de réaliser des travaux de consultance destinés à évaluer, à améliorer pratiquement la qualité des bases de données dans le domaine de l’egovernment et à réaliser des études en la matière. Le présent rapport propose plusieurs retours d’expérience originaux issus des travaux du DQ Competency Center. Ceux-ci sont présentés à travers la question des anomalies, ces valeurs déviantes par rapport au modèle attendu d’une base de données et dont on estime que le coût de traitement peut atteindre environ 15 % du revenu des entreprises dans les secteurs privé et public. Le but poursuivi dans cette étude consiste à clarifier la problématique et à présenter des solutions concrètes en vue de diminuer le nombre d’anomalies et d’en faciliter la gestion. Parmi les nouveautés de l’étude, citons les points suivants (chacun étant accompagné d’un modèle organisationnel adapté incluant des rôles métier et techniques) :

• La présentation d’un prototype permettant de suivre l’historique des anomalies et de leur traitement (correction, validation…) : celle-ci a été conçue sur la base de propositions originales du DQ Competency Center. Accompagnée d’un travail d’analyse, elle peut donner le jour à un développement grandeur nature adapté à un cas spécifique. Sur cette base, le rapport montre, à partir de « case studies », comment concevoir des indicateurs de suivi de la qualité des données et comment appliquer des stratégies de gestion en vue de diminuer structurellement le nombre d’anomalies en agissant sur la source de leur émergence.
• La présentation des aspects documentaires indispensables en vue d’accompagner le traitement des anomalies. Notamment, à partir d’une expérience de terrain, l’étude montre comment un système de gestion des connaissances généralisable permet de faciliter la correction des anomalies par les agents de l’administration.
• Un retour d’expérience issu de l’application des Data Quality Tools, acquis par Smals en 2009, à plusieurs bases de données de l’administration fédérale. À partir d’exemples concrets, l’étude montre comment ces outils facilitent la détection semi-automatique d’incohérences formelles et l’accompagnement de leur correction. Elle montre leur apport indéniable par rapport à un développement « home made » et les perspectives d’application.

La qualité des données représente pour beaucoup d’organisations un défi de taille. Elle est considérée par les bureaux d’analystes Gartner et Butler Group comme un point critique pour le succès des initiatives SOA, la mise en place de systèmes de Business Intelligence, de Customer-Relationship Management, entre autres. Mais surtout, comme l’a souligné le premier deliverable consacré à cette thématique (« Data Quality : Best Practices »), la qualité de l’information est stratégique car elle désigne l’adéquation relative des données aux objectifs qui leur ont été assignés. De fait, au sein des administrations, des données inadéquates ou non pertinentes peuvent entraîner des effets extrêmement négatifs sur les plans financiers ou « business ». Ces effets peuvent toucher le traitement des dossiers des citoyens, les décisions stratégiques du management, les initiatives de données entre administrations, ou encore la construction de sources authentiques, pour ne citer que quelques exemples.
Comme l’a montré l’étude « Data quality : Best practices », il est primordial d’agir, de manière continue, à la source des concepts et flux d’information alimentant un système d’information. En effet, si l’on se contente de corriger les données inadéquates, sans traiter les causes, on se trouve face à un travail aussi inutile qu’infini. Un système d’information est un fleuve et un travail exclusif de correction des valeurs inadéquates n’endigue pas l’arrivée régulière de nouvelles données non pertinentes. Toutefois, en complément de cette approche, il peut être crucial de disposer d’outils intervenant au sein des bases de données pour deux raisons. D’une part, il faut pouvoir traiter le passé : données inadéquates (doubles, incohérences) déjà incluses dans les bases de données. D’autre part, le traitement à la source ne garantit pas dans l’absolu l’absence de saisie de valeurs inadéquates (émergence de doubles suite à des erreurs orthographiques, par exemple).

Dans ce contexte, un marché d’outils dédiés à l’analyse et à l’amélioration de la qualité des bases de données s’est fortement développé depuis plusieurs années. Il a d’ailleurs été reconnu comme un marché à part entière par Gartner, qui lui a consacré un premier « Magic Quadrant » en avril 2006. Ce rapport détaille l’offre actuelle en la matière : « profiling » (audit formel d’une base de données), « standardisation » des données et « matching » (détection de doublons et d’incohérences au sein d’une ou plusieurs sources). Sur la base d’un case study relatif à une base de données administrative « grandeur nature », il montre les avantages des « data quality tools » par rapport à un développement « in house » : qu’il s’agisse du temps de développement, de la richesse algorithmique (quantité de règles réutilisables) ou encore, du recours à des bases de connaissances multilingues régulièrement mises à jour (concernant les adresses, par exemple). En conclusion, ces outils, qui offrent également un traitement plus souple et rapide en cas de « change request », paraissent indispensables pour toute organisation au sein de laquelle la qualité de l’information est considérée comme un facteur crucial.