Recordlinkage est une librairie Python permettant le « matching » (lier des enregistrements entre deux tables Pandas, librairie de manipulation et d’analyse de données) ou le « dédoublonnage » (détecter des doublons au sein d’une table Pandas).

Recordlinkage is een Python-bibliotheek die het mogelijk maakt om records tussen twee Pandas-tabellen (bibliotheek voor gegevensmanipulatie en -analyse) te matchen (koppelen) of te ontdubbelen (dubbele records in een Pandas-tabel opsporen).

Vandy Berten démystifie le “dark web” ou “web clandestin” au cours de son webinaire. Il explique pourquoi le navigateur Tor a été créé et ses avantages pour la protection de la vie privée par rapport à un navigateur classique.

Grâce à de nombreux exemples concrets, vous découvrez comment il permet de naviguer sur le dark web et quel type de contenu vous y trouvez. Vous comprenez aussi que le dark web pose un certain nombre de menaces pour le secteur public, comme pour la société en général, mais qu’il offre également l’opportunité à certaines institutions de suivre des secteurs absents du web classique.

La session est animée en français, avec des slides anglais. Aucune connaissance spécifique n’est requise : les aspects techniques sont expliqués suffisamment pour permettre à chacun de suivre.

• Slides
• Recording

Vandy Berten ontrafelt het mysterie van het “dark web” of “ondergrondse web” tijdens zijn webinar. Hij licht toe waarom de Tor-browser is ontwikkeld en welke voordelen deze browser biedt op het vlak van privacybescherming in vergelijking met een klassieke browser.

Aan de hand van talrijke concrete voorbeelden ontdek je hoe het dark web werkt en wat voor soort inhoud je er kunt vinden. Je leert ook dat het dark web een aantal bedreigingen vormt voor de publieke sector en de samenleving in het algemeen, maar dat het bepaalde instellingen ook de kans biedt om sectoren te volgen die niet op het klassieke web aanwezig zijn.

De sessie verloopt in het Frans, met Engelstalige slides. Er is geen specifieke kennis vereist: de technische aspecten worden voldoende uitgelegd zodat iedereen kan volgen.

Slides de la présentation effectuée à FOSS4G 2025 (https://www.foss4g.be/)

Géocoder (standardiser + localiser) un grand volume d’adresses avec un outil commercial américain est un problème dans beaucoup de situations. D’une part parce que cela nécessite d’envoyer ses adresses en dehors de l’Europe, d’autre part parce que le résultat ne sera pas conforme à BeSt Address, le standard administratif de BOSA pour les adresses en Belgique. Avec bePelias, une version améliorée du géocodeur open-source Pelias adapté aux données de BeSt Address, nous proposons une solution on-premise de géocodage, ayant des performances comparables aux grandes solutions commerciales.

Graphlytic est une plateforme offrant une interface graphique conviviale connectée à une base
de données orientée graphes (comme Neo4j ou Memgraph). Elle permet de rechercher des
données (attributs des nœuds ou relations), grâce à des recherches « full text », de les explorer,
en navigant de nœud en nœud, ou en exécutant des requêtes, en Cypher ou Gremlin.

Graphlytic is een platform dat een gebruiksvriendelijke grafische interface biedt verbonden met een graph georiënteerde database (zoals Neo4j of Memgraph). Hiermee kan je zoeken naar gegevens (knooppuntattributen of -relaties), dankzij “full text”-zoekopdrachten en ze verkennen door van knooppunt naar knooppunt te navigeren of door query’s uit te voeren in Cypher of Gremlin.

Comment placer une adresse sur une carte grâce au géocodage ?

Le géocodage est l’opération qui permet, à partir d’une adresse postale, de la standardiser et d’en obtenir les coordonnées géographiques. Nous verrons que cette opération, que nous réalisons inconsciemment tous les jours dans notre GPS ou en cherchant une adresse sur Google Maps ou autre outil cartographique, nécessite en fait une machinerie complexe. Pour en exploiter les capacités au maximum, une certaine compréhension sera nécessaire.

Durant ce webinaire, essentiellement pratique, nous répondrons à un certain nombre de questions. Qu’est-ce que le géocodage ? À quoi sert-il ? Comment s’en servir et quels sont les outils permettant de le faire ? Quels sont les avantages et inconvénients des différentes solutions, qu’elles soient commerciales ou open source, on-premise, authentiques, et comment peut-on comparer deux outils ? Nous comparerons plusieurs solutions disponibles sur le marché (commerciales ou libres), ainsi que plusieurs améliorations de solutions existantes, dont NominatimWrapper, un outil développé par Smals Research, qui est basé sur le projet collaboratif open-source OpenStreetMap.

Ce webinaire fait suite au webinaire “GIS Analytics : Quel potentiel pour les données géographiques ?” du 5 mai 2022. Il n’est cependant pas un prérequis. Aucun prérequis n’est par ailleurs nécessaire pour suivre le webinaire.

• • Slides
  • Recording

Hoe plaats je een adres op een kaart met behulp van geocodering?
Geocodering is de handeling die toelaat om een postadres te standaardiseren en om er de geografische coördinaten van te verkrijgen. We zullen zien dat deze handeling, die we elke dag onbewust uitvoeren in onze gps of bij het zoeken naar een adres op Google Maps of in een andere mappingstool, eigenlijk een complex proces vereist. Om de mogelijkheden ervan optimaal te benutten, is een zekere mate van begrip nodig.

Tijdens dit voornamelijk praktische webinar beantwoorden we een aantal vragen. Wat is geocodering? Waartoe dient het? Hoe kan het worden gebruikt en met welke tools? Wat zijn de voor- en nadelen van de verschillende oplossingen, commercieel of opensource, on-premise of authentiek, en hoe kunnen we twee tools met elkaar vergelijken? We zullen verschillende bestaande oplossingen vergelijken (zowel commercieel als opensource), evenals verschillende verbeteringen van bestaande oplossingen, waaronder NominatimWrapper, een tool ontwikkeld door Smals Research op basis van het opensource samenwerkingsproject OpenStreetMap.

Dit webinar volgt op het webinar “GIS Analytics: Welk potentieel voor geografische gegevens?” van 5 mei 2022. Deelname aan het vorige webinar is echter geen vereiste. Er zijn ook geen vereisten om het webinar te volgen.

Toutes les institutions possèdent, parfois sans réellement le savoir, des informations géographiques : adresses de citoyens, institutions, localisation d’un chantier, nom de villes/communes ou code postal… Par ailleurs, une mine d’information est disponible en ligne, souvent en open source, permettant d’obtenir les contours d’entités administratives, d’obtenir la localisation de commerces ou administrations.

Il est dès lors souvent utile de pouvoir manipuler des objets géographiques : un point (localisation d’un chantier, d’une observation, d’un incident…), une ligne (un itinéraire, une route…) ou un polygone (frontière d’une commune, contour d’un chantier ou d’un bâtiment). En dehors de simples points (couples de coordonnées), les bases de données classiques comme PostgreSQL ou Oracle ne permettent pas de représenter et de manipuler ces objets efficacement.

Dans ce webinaire, nous examinerons comment PostGIS, une extension de PostgreSQL, permet de gérer des objets spatiaux (ou géographiques) et d’étendre largement les possibilités d’analyse, de croisement, d’enrichissement ou de représentation des données.

Nous y verrons les concepts de jointure spatiale (jointure de tables sur base d’informations géographiques), d’agrégation, d’indexation ou encore de chargement de données. Ces concepts, très puissants, sont fondamentaux pour la manipulation de données géographiques.

• Slides
• Recording

Alle instellingen beschikken, soms zonder het echt te weten, over geografische informatie: adressen van burgers, instellingen, locatie van een werf, namen van steden/gemeenten of postcodes… Bovendien is een schat aan informatie online beschikbaar, vaak in open broncode, waardoor het mogelijk is de contouren van administratieve entiteiten te verkrijgen, de locatie van winkels of administraties te achterhalen.

Het is dus vaak nuttig om geografische objecten te kunnen manipuleren: een punt (locatie van een werf, een waarneming, een incident, enz.), een lijn (een route, een weg, enz.) of een veelhoek (grens van een gemeente, omtrek van een werf of een gebouw). Afgezien van eenvoudige punten (paren van coördinaten), laten klassieke databanken zoals PostgreSQL of Oracle niet toe deze objecten efficiënt weer te geven en te manipuleren.

In dit webinar zullen we onderzoeken hoe PostGIS, een uitbreiding van PostgreSQL, kan omgaan met deze ruimtelijke (of geografische) objecten en de mogelijkheden voor gegevensanalyse, kruisverwijzingen, verrijking of weergave sterk kan uitbreiden.

Daarbij zullen concepten zoals “spatial join” (samenvoeging van tabellen op basis van geografische informatie), aggregatie, indexering en het laden van gegevens besproken worden. Deze concepten zijn zeer krachtig en fundamenteel voor de manipulatie van geografische gegevens.

Slides van de webinar voor Smals Academy op 05/05/2022

GIS Analytics – Quel potentiel pour les données géographiques ?

Peut-on, depuis tout point en Belgique, atteindre une maternité ou un service d’urgence dans un délai d’une demi-heure, même en heure de pointe ? Quel impact aura la fermeture d’un service en termes de service à la population ? Peut-on aider à encoder correctement une adresse ? Un indicateur socio-économique a-t-il une composante géographique ?

Toutes les institutions possèdent, parfois sans réellement le savoir,des informations géographiques : adresses de citoyens, institutions, nom de villes/communes ou code postal… Par ailleurs, une mine d’information est disponible en ligne, souvent en open source, permettant d’afficher un fond de carte, d’obtenir les contours d’entités administratives, de calculer des distances, d’obtenir la localisation de commerces ou administrations…

Ces informations géographiques (internes ou externes) ne sont pas toujours exploitées au maximum de leurs possibilités. Elles ont pourtant un énorme potentiel dans de nombreux secteurs : lutte contre la fraude, optimisation des tournées ou de l’affectation d’inspecteurs, placement d’entités comme des hôpitaux ou CPAS, analyse d’impact quant à la fermeture ou au déplacement de services, etc.

Le but de ce webinaire est d’expliquer les principaux concepts de l’analytique spatiale (ou GIS analytics) et leurs possibilités.  À cet effet, les questions suivantes seront abordées et illustrées avec des données réelles du secteur public :

– Comment traduire une adresse en coordonnées géogaphiques ?
– Comment stocker et interroger des données géographiques ?
– Comment mesurer la dépendance géographique d’un indicateur socio-économique ?
– Quelles sont les possibilités de l’analytique géographique ?

• • Slides
  • Recording

GIS Analytics – Welk potentieel voor geografische gegevens?

Is het mogelijk om vanuit om het even welk punt in België binnen een half uur een kraamkliniek of een spoeddienst te bereiken, zelfs tijdens de spits? Welke gevolgen zal de sluiting van een dienst hebben voor de dienstverlening aan de bevolking? Kunnen wij helpen een adres correct in te voeren? Heeft een sociaal-economische indicator een geografische component?

Alle instellingen beschikken, soms zonder het echt te weten, over geografische informatie: adressen van burgers, instellingen, namen van steden/gemeenten of postcodes… Bovendien is een schat aan informatie online beschikbaar, vaak in open broncode, waardoor het mogelijk is een achtergrondkaart weer te geven, de contouren van administratieve entiteiten te verkrijgen, afstanden te berekenen, de locatie van winkels of administraties te achterhalen…

Deze geografische informatie (intern of extern) wordt niet altijd ten volle benut.  Ze heeft echter een enorm potentieel in talrijke sectoren: fraudebestrijding, optimalisering (rondes/toewijzing van inspecteurs, plaatsing van entiteiten zoals ziekenhuizen, OCMW’s…), impactanalyse (sluiting/verplaatsing van diensten…), gegevenskwaliteit (opschoning of hulp bij adrescodering), visualisering, statistieken…

Het doel van dit webinar is om de belangrijkste concepten van spatial analytics (of GIS analytics) en de mogelijkheden ervan uit te leggen. Daartoe zullen de volgende vragen worden behandeld en geïllustreerd met reële gegevens uit de overheidssector:

– Hoe vertaal je een adres naar geografische coördinaten?
– Hoe geografische gegevens opslaan en bevragen?
– Hoe de geografische afhankelijkheid van een sociaal-economische indicator meten?
– Wat zijn de mogelijkheden van geografische analytics?

PostGIS – contraction de « PostgreSQL » et « Geographical Information System » – est  une extension de PostgreSQL qui ajoute, d’une part, des nouveaux types de données spatiales (point, lignes, polygones…), d’autre part une série de nouvelles opérations (spatiales) sur ces objets : comparaison, agrégation, combinaison, mesure ou gestion de « projection ».

PostGIS – een samentrekking van “PostgreSQL” en “Geographical Information System” – is een uitbreiding van PostgreSQL die enerzijds nieuwe soorten ruimtelijke gegevens toevoegt (punten, lijnen, polygonen, enz.), en anderzijds een reeks nieuwe (ruimtelijke) bewerkingen op deze objecten: vergelijking, aggregatie, combinatie, meting of “projectie” beheer.

Présentation donnée lors du webinaire “Webscraping – by Smals Research” du 30/06/2020.

Le Web scraping/crawling/harvesting est un technique d’extraction de contenu sur des sites web, au moyen de scripts/programmes, dans le but de son utilisation dans un autre contexte.  L’utilisation de web scraping est très large, avec relativement peu de contraintes.

Dans sa présentation, Vandy Berten (Smals Research) présente plusieurs aspects techniques du web scraping, montre au travers d’un exemple concret comment les données collectées pourront être exploitées, et aborde également sommairement les contraintes non techniques (légales et éthiques).

• Slides
• Recording

Web scraping/crawling/harvesting is een techniek om inhoud van websites te extraheren, met behulp van scripts/programma’s, met als doel deze in een andere context te gebruiken.  Het gebruik van web scraping is zeer breed, met relatief weinig beperkingen.

Vandy Berten (Smals Research) toont in zijn presentatie verschillende technische aspecten van web scraping, laat aan de hand van een concreet voorbeeld zien hoe de verzamelde gegevens kunnen worden geëxploiteerd en  gaat kort in op de niet-technische (juridische en ethische) beperkingen.

Scrapy est un framework écrit en (et pour) Python permettant de faire du web-crawling (ou web-scraping), c’est-à-dire de l’extraction automatique de contenu à partir de pages web. Une grande partie du travail du web-crawling est gérée automatiquement par le framework. Pour des cas simples mais réalistes, le code (Python) à écrire peut se limiter à quelques lignes de code. Nous recommandons cet outil.

Scrapy is een framework geschreven in (en voor) Python dat het mogelijk maakt om web-crawling (of web-scraping) toe te passen, d.w.z. het automatisch extraheren van inhoud van webpagina’s. Een grote deel van het web-crawling werk wordt automatisch beheerd door het framework. Voor eenvoudige maar realistische cases kan de te schrijven code (Python) worden beperkt tot een paar regels code. Wij bevelen deze tool aan.

Jupyter Notebook, projet Open Source issu de IPython, est une application web destiné à offrir un environnement interactif dans plusieurs dizaines de langages de programmation (dont, à l’origine, Julia, Python et R, d’où le nom JuPyteR), particulièrement adapté à l’analyse de données (data science).

Contrairement à la programmation traditionnelle (séquentielle), où on exécute un programme en démarrant toujours du même point d’entrée, puis en suivant le flux d’exécution défini par le programme, un « notebook » est un ensemble de blocs de code que l’on peut exécuter dans l’ordre désiré. L’ensemble de ces blocs partageront un contexte (appelé « kernel »), qui contiendra toutes les données.

Jupyter Notebook, een Open Source project van IPhyton, is een webtoepassing die een interactieve omgeving aanbiedt voor enkele tientallen programmeertalen (waaronder Julia, Phyton en R: vandaar de naam JuPyteR). Ze is speciaal aangepast om aan gegevensanalyse te doen (data science).

In Jupyter werkt men via “notebooks”. Deze bevatten een verzameling van codeblokken die men kan uitvoeren in een volgorde naar voorkeur. Al deze blokken zullen een zogenaamde “kernel” delen, welke een context is die alle te analyseren gegevens bevat. Dit in tegenstelling tot bij traditioneel (sequentiëel) programmeren, waar een programma altijd vanuit eenzelfde startpunt wordt uitgevoerd en men vervolgens de uitvoering volgt zoals ze werd vastgelegd door het programma.

Slides presented at Devoxx 2017.

Graphs are everywhere: When it comes to representing relationships between entities, there is no better mathematical model so far. Classical “SQL” databases perform very poorly in modeling complex relationships, both in terms of response time and in writing (queries) time. Graph database have been designed to tackle those limitations and excel in many domains, such as fraud detection, recommendation systems, social networks, MDM… After having introduced the basic concepts of graph databases, this presentation shares our experience in fraud detection in the Belgian social security sector, using graph databases.

Video of the presentation: https://www.youtube.com/watch?v=5u4hyNOh0Tc

iGraph est une librairie de manipulation de graphes (ou réseaux), structures de données permettant de représenter des relations entre des entités. Elle est écrite en C, et disponible pour C/C++, Python, R et Mathematica. iGraph est très populaire dans la communauté scientifique et des datascientists, et dispose d’un grand nombre de fonctionnalités.

iGraph is een library om grafen (of netwerken) te manipuleren. Dit zijn gegevensstructuren waarmee relaties tussen entiteiten voorgesteld kunnen worden. Deze library werd in C geschreven en is beschikbaar voor C/C++, Python, R en Mathematica. iGraph is zeer populair in de wetenschappelijke gemeenschap en bij datascientists en beschikt over een groot aantal functionaliteiten.

Détecter la fraude ; minimiser l’impact qu’aura une modification d’un package Java ou le changement de configuration d’un serveur ; optimiser la charge d’un cluster ; faire une suggestion intelligente d’achat à un client… toutes ces actions, a priori très différentes les unes des autres, ont un point commun : les méthodes de graph analytics, ou social network analytics excellent à les résoudre de façon efficace et aisément modélisable.

Nous pouvons voir le monde dans lequel nous vivons comme étant constitué d’entités (des personnes, des entreprises, des objets, des concepts, des documents…), mais surtout des relations entre ces entités : deux personnes sont amies ; une personne travaille pour une entreprise ; une entreprise sous-traite à une autre entreprise ; un document réfère un autre document. Beaucoup de techniques d’analyse ou de gestion de données placent les entités au centre, et se servent de moyens détournés pour représenter les relations (comme par exemple des attributs ou des join tables pour les bases de données relationnelles).

Les techniques de graph analytics ou social network analytics, placent les relations au centre de la réflexion et ouvrent de ce fait une voie pour toute une nouvelle gamme d’analyses ou de gestion des données.

Dans une première partie, nous commencerons la présentation par voir ce qu’un graphe (ou un réseau), constitué de nœuds (représentant les entités) et d’arcs (représentant les relations) peut modéliser, au travers de quelques exemples concrets.
Nous verrons ensuite comment un réseau peut être caractérisé, au travers de différentes métriques, issues tant du monde mathématique que de la sociologie ou des médias sociaux.
Nous présenterons par la suite les techniques et outils permettant de visualiser un réseau, tant pour le présenter que pour en affiner sa compréhension.

La seconde partie de la session sera consacrée d’abord aux techniques de manipulation de réseau utilisées par les data scientists, soit dans les environnements traditionnels de R ou Python, soit dans le monde Big Data avec Hadoop.
Pour finir, les bases de données orientées graphes, permettant d’interroger un réseau au moyen de requêtes, seront présentées, en détaillant leurs avantages et inconvénients par rapport aux bases de données relationnelles.

Tout au long de la présentation, des exemples concrets, tant dans le secteur de la lutte contre la fraude sociale que dans d’autres domaines (ICT, analyse historique…), seront donnés pour illustrer les différents concepts. Des outils, pour la plupart Open Source ou gratuits, seront présentés.

Fraude opsporen, de impact voorspellen van wijzigingen in java-packages of serverconfiguraties, de belasting van een cluster optimaliseren, een intelligente aankoopsuggestie doen bij een potentiële klant, … al deze acties lijken op het eerste zicht erg verschillend van elkaar, maar hebben één punt gemeen: ze kunnen heel goed ondersteund worden met graph analytics of social network analytics.

We kunnen de wereld waarin we leven zien als bestaande uit entiteiten (van personen, ondernemingen, objecten, concepten, documenten, …), en – belangrijker en talrijker – uit relaties tussen deze entiteiten: twee personen zijn vrienden, een persoon werkt voor een onderneming, een onderneming besteedt uit aan een andere onderneming, een document verwijst naar een ander document. Veel analysetechnieken en oplossingen voor gegevensbeheer plaatsen evenwel de entiteiten centraal en gebruiken omwegen om de relaties voor te stellen (zoals attributen of join tables bij relationele databanksystemen).

De graph analytics technieken, of social network analytics, plaatsen de relaties centraal en bieden zo een volledig nieuw gamma van analysemogelijkheden en gegevensbeheer.

In een eerste deel van de sessie belichten we eerst het voorstellingsvermogen van grafen, netwerken bestaande uit knopen (entiteiten ) en bogen (relaties), aan de hand van concrete voorbeelden.
Vervolgens bespreken we hoe een netwerk kan gekenmerkt worden met behulp van verschillende metrieken, afkomstig uit de wiskundige en sociologische wereld, meer recent ook uit de sfeer van de sociale media.
We stellen ook technieken en tools voor waarmee een netwerk kan gevisualiseerd worden, en tonen hoe dit ons inzicht in het voorgestelde verbetert.

Het tweede deel van de sessie zal gewijd worden aan de technieken voor netwerkmanipulatie zoals gebruikt door data scientists hetzij in de traditionele omgevingen van R of Phyton, hetzij in de wereld van Big Data met Hadoop.
Tot slot zullen de graph databases voorgesteld worden, die toelaten om netwerken te onderzoeken: criteria op te leggen en te filteren aan de hand van queries. De voor-en nadelen ten opzichte van relationele databanken worden gedetailleerd besproken.

De presentatie is doorspekt met concrete voorbeelden uit verschillende domeinen: zowel de strijd tegen de sociale fraude als ICT-beheer, historische analyse, e.a. komen aan bod om de verschillende concepten te illustreren. Er is ook aandacht voor tools, de meeste Open Source of gratis.

Neo4J est un système de gestion de base de données orienté « graphe ». Dans un tel système, les données sont composées d’une part de nœuds (ou entités), d’autre part de relations entre deux nœuds. Les nœuds et relations peuvent avoir des labels (Person, Company…), et des propriétés (name: « MyName », price: 1.20…).

Neo4J is een systeem voor databasebeheer dat “graph” georiënteerd is. In een dergelijk systeem bestaan de gegevens enerzijds uit nodes (of entiteiten) en anderzijds uit relaties tussen twee nodes. Nodes en relaties kunnen labels (Person, Company, …) en eigenschappen (name: “MyName”, price: 1.20…) bezitten.

Qlik Sense est une version allégée et gratuite de l’outil Qlik View, permettant de faire de l’exploration visuelle de données, sans avoir besoin de connaissances techniques poussées, mais uniquement avec une bonne connaissance des données.

Qlik Sense is een lichtere en gratis versie van de tool Qlik View waarmee aan visuele data-exploratie kan worden gedaan zonder dat daar een geavanceerde, technische kennis voor nodig is. Enkel een goede kennis van gegevens is nodig.

Toutes les sociétés et institutions publiques manipulent aujourd’hui des quantités considérables de données. Leur quantité et leur variabilité sont telles qu’on ne peut plus raisonnablement se contenter de les importer dans Excel pour en réaliser ensuite quelques graphiques. Leur diversité fait qu’on ne sait souvent pas à l’avance ce que l’on cherche, comment sont liées les données ou quel type de visualisation est le plus adéquat. Leur complexité implique qu’il faut posséder des connaissances métier très pointues et que l’exploration des données doit pouvoir se faire interactivement, sans connaissances IT avancées.

Le cerveau humain, s’il est « alimenté » correctement, a des capacités cognitives extraordinaires, qui sont loin d’être égalées par les plus puissants des ordinateurs. L’intuition, la capacité à remarquer des choses sans les regarder, à établir le lien entre ce que l’on observe et un phénomène vaguement similaire aperçu dans un autre contexte, font de notre cerveau un allié des machines, complémentaire et sans égal ; on peut le mettre à profit en utilisant au mieux les techniques modernes de visualisation de données.

Par ailleurs, communiquer des informations efficacement, de façon à transmettre un message précis, requiert un certain savoir-faire. En comprenant mieux le type de données auquel on a affaire, en maîtrisant plus précisément la façon dont le cerveau analyse ce qu’il voit, en pouvant mesurer objectivement la qualité d’un graphique, on sera capable d’élaborer une visualisation la plus performante possible. On comprendra également qu’un graphique peut suggérer exactement le contraire de ce que les données signifient réellement, ce qui permettra de mieux s’armer contre toute tentative de manipulation.

Durant l’exposé, nous commencerons par présenter des notions fondamentales : qu’est-ce qu’une mesure ? Qu’est-ce qu’une dimension ? En quoi une température est-elle fondamentalement différente d’une durée ? Pourquoi un graphique en barres offre-t-il une perception plus précise qu’un graphique circulaire ? Nous étudierons ensuite différents types de graphiques, tant classiques (histogrammes, graphiques circulaires, graphiques en ligne…) que moins classiques (Sankey, Chord, Parallel Coordinates, Small Multiples…), pour en comprendre les avantages et inconvénients, voir quand ils sont adaptés ou non. On s’intéressera ensuite au cas particulier des données géographiques et des difficultés liées au géocodage, pour ensuite s’intéresser au domaine relativement récent du « Visual Analytics ».

Alle bedrijven en overheidsinstellingen verwerken vandaag de dag aanzienlijke hoeveelheden data. De hoeveelheid en variabiliteit van deze data laten ons niet meer toe om ze enkel in Excel te importeren om er daarna enkele grafieken van te maken. Door hun diversiteit weten we vaak niet op voorhand wat we zoeken, hoe de data met elkaar verbonden zijn of welk type visualisatie het meest geschikt is. Omdat ze zo ingewikkeld zijn, hebben we zeer gerichte vakkennis nodig en moet de exploratie van de data interactief kunnen gebeuren, zonder gevorderde IT-kennis.

Als het menselijk brein zich correct “voedt”, heeft het buitengewone cognitieve vaardigheden, die nog lang niet geëvenaard kunnen worden door de meest krachtige pc’s. Intuïtie is de vaardigheid om dingen op te merken zonder ze te bekijken, om de link te leggen tussen wat we zien en een enigszins erop gelijkend fenomeen dat we ooit in een andere context gezien hebben. Dit alles maakt van ons brein een complementaire en niet te overtreffen bondgenoot van machines; we kunnen het ten volle benutten door de moderne technieken voor datavisualisatie zo goed mogelijk te gebruiken.

Data efficiënt communiceren, zodat een precieze boodschap doorgegeven wordt, vereist een zekere knowhow. Door het soort data waarmee we te maken hebben beter te begrijpen, door de manier waarop het brein analyseert wat het ziet preciezer te beheersen, door de kwaliteit van een grafiek objectief te kunnen meten, zullen we in staat zijn om de meest performant mogelijke visualisatie te ontwikkelen. We zullen ook begrijpen dat een grafiek net het omgekeerde kan suggereren van wat de data werkelijk betekenen, waardoor men zich beter zal kunnen wapenen tegen pogingen tot manipulatie.

De uiteenzetting zal aanvangen met een voorstelling van de basisbegrippen: wat is een maatregel, een dimensie, wat is het fundamentele verschil tussen een temperatuur en een periode, waarom is een staafgrafiek duidelijker waarneembaar dan een taartgrafiek. Vervolgens bestuderen we de verschillende soorten grafieken, zowel de klassieke (histogram, taartgrafiek, online, …) als de minder klassieke (Sankey, Chord, Parallel Coordinates, Small Multiples, …) om de voor- en nadelen ervan te begrijpen, om te kijken wanneer ze geschikt zijn en wanneer niet. Daarna bekijken we het speciale geval van de geografische data en de moeilijkheden die bij geocode komen kijken, om tot slot over te gaan tot een relatief recent domein, namelijk “Visual Analytics”.

Annexe au blog  http://website.smalsrech.be/comparer-des-geocodeurs/

Nécessite Qlik Sense : http://www.qlik.com/products/qlik-sense/desktop

Placer le fichier dans C:Users<USER NAME>DocumentsQlikSenseApps

Ce document décrit de quelle façon deux médias sociaux (Facebook et Twitter) pourraient servir d’alternative à une adresse e-mail comme canal de communication entre les autorités et les citoyens. Nous décrivons pour ces deux outils comment il est possible d’envoyer de façon automatisée un message privé à un utilisateur qui s’est au préalable authentifié et a lié de façon sécurisée son compte Facebook ou Twitter à une « e-box ».

Dans le cas de Facebook, nous utilisons une « application Facebook », permettant d’envoyer des notifications à l’utilisateur. Dans le cas de Twitter, nous utilisons une « application Twitter », permettant d’envoyer, au nom d’un compte officiel, un « direct message » à un citoyen.

Quelques détails techniques seront donnés, mais pas suffisamment pour pouvoir réaliser l’ensemble d’une telle application, dont nous
avons développé un prototype fonctionnel. Il sera nécessaire de consulter la documentation technique spécifique au réseau social visé, afin de développer une application complète.

Après une introduction à portée générale, nous rentrerons, tant pour Facebook que pour Twitter, dans un niveau de détails s’adressant à des développeurs ou des lecteurs à profil technique.

Dit document beschrijft op welke manier twee sociale media (Facebook en Twitter) een alternatief zouden kunnen vormen voor een e-mailadres als communicatiekanaal tussen de overheid en de burgers. We beschrijven voor deze twee tools hoe men automatisch een privébericht kan sturen naar een gebruiker die zich vooraf geauthenticeerd heeft en die zijn Facebook- en Twitteraccount veilig gekoppeld heeft aan een “e-box”.

In het geval van Facebook gebruiken we een “Facebook-applicatie” waarmee we meldingen kunnen versturen naar de gebruiker. In het geval van Twitter gebruiken we een “Twitter-applicatie” waarmee we, in de naam van een officieel account, een “rechtstreeks bericht” sturen naar een burger.

Er zullen een aantal technische details gegeven worden, maar niet genoeg om zo’n applicatie, waarvan we een functioneel prototype ontwikkeld hebben, volledig te kunnen realiseren. U zal de technische documentatie voor elk sociaal netwerk moeten raadplegen om een volledige applicatie te kunnen ontwikkelen.

Na een algemene inleiding zullen we, zowel voor Facebook als voor Twitter, meer details geven waarbij we ons richten tot de ontwikkelaars of lezers met een technisch profiel.

Le présent document a pour but de sensibiliser le lecteur à la quantité considérable d’information que l’on peut trouver à son propos sur les réseaux sociaux, en particulier sur Facebook. Nous verrons que ce qu’on peut trouver va bien au-delà de ce que les utilisateurs indiquent de leur plein gré.

Des techniques de network analytics permettront de déduire beaucoup de choses à propos d’une « cible », telles que les différents groupes sociaux auxquels elle appartient ou le degré de proximité avec ses amis.

Des méthodes d’inférence peuvent se baser sur les informations publiées par ses amis pour identifier parmi les groupes sociaux ceux correspondant au travail, au parcours scolaire, à la famille, aux loisirs…

En utilisant des outils de web crawling, il sera possible de reconstituer une grande partie du réseau d’amis de quelqu’un, même s’il a choisi de ne pas publier sa liste d’amis ou de masquer ses photos.

Nous verrons par ailleurs que le même genre de technique permettra de comprendre les relations entre les différents membres d’un groupe ou les fans d’une page Facebook.

Dit document heeft als doel de lezer te sensibiliseren voor de aanzienlijke hoeveelheid informatie die men over hem kan terugvinden op de sociale netwerken, in het bijzonder op Facebook. We zullen zien dat men veel meer kan terugvinden dan wat de gebruikers zelf hebben aangegeven.

Met “network analytics”-technieken kan veel afgeleid worden over een “doelwit”, zoals de verschillende sociale groepen waar hij deel van uitmaakt of hoe close hij is met zijn vrienden.

Inferentie-methodes kunnen gebaseerd zijn op de gegevens gepubliceerd door zijn vrienden om de sociale groepen te identificeren die overeenstemmen met werk, school, familie, hobby’s, …

Door “web crawling”-tools te gebruiken, zal het mogelijk zijn om een groot deel van het vriendennetwerk van een persoon opnieuw samen te stellen, zelf als hij ervoor gekozen heeft om zijn vriendenlijst niet te publiceren of om zijn foto’s te verbergen.

We zullen overigens zien dat dezelfde soort techniek ervoor kan zorgen dat we de relaties tussen de verschillende groepsleden of de fans van een Facebookpagina beter kunnen begrijpen.

Le présent document peut être vu comme un catalogue d’informations diverses collectées durant notre étude sur les médias sociaux : outils, définitions, articles de presse ou scientifique, réflexion… Il n’a pas vocation à être lu d’un bout à l’autre de façon linéaire, ni à être diffusé largement. Il s’agit parfois plus de notes rapides qu’une analyse détaillées.

La première partie reprend un certain nombre de définitions et de statistiques à propos de l’utilisation de médias sociaux en Belgique ou dans le monde. Nous y incluons également un rapide survol des institutions présentes sur les médias sociaux.
La deuxième partie introduit diverses lectures et références utiles à toute organisation voulant débuter dans les médias sociaux. Nous présenterons ensuite dans la troisième partie une série d’outils de gestion quotidienne, puis nous intéresserons à des techniques permettant de comprendre un réseau ou de suivre ce qui se dit sur les médias sociaux.

Dans une dernière partie, nous reprendrons divers articles collectés à propos de sujets très vastes : détection de fraude, gestion des catastrophes, lutte contre le terrorisme…

Ce rapport est un support pour les slides ayant servi à la session d’information « Social Media & eGovernment » des 21 et 23 octobre 2014 (http://website.smalsrech.be/publications/document/?docid=119).

Dit document kan gezien worden als een catalogus met verschillend gegevens verzameld tijdens onze studie over sociale media: tools, definities, persartikels, wetenschappelijke artikels, bedenkingen, … Het is niet de bedoeling dat het document in een stuk gelezen wordt of dat het wijd verspreid wordt. Het gaat soms eerder om vlugge nota’s dan een gedetailleerde analyse.
Het eerste deel herneemt een bepaald aantal definities en statistieken over het gebruik van sociale media in België of in de wereld. We overlopen ook vlug de instellingen die aanwezig zijn op de sociale media.

Het tweede deel biedt verschillende lectuur en referenties aan die nuttig zijn voor elke organisatie die wil starten op de sociale media. We stellen vervolgens in het derde deel een reeks tools voor dagelijks beheer voor, daarna bekijken we de technieken waarmee we een netwerk kunnen begrijpen of kunnen volgen wat er gezegd wordt op de sociale netwerken.

In een laatste deel zullen we verschillende artikels hernemen die we verzameld hebben over zeer uitgebreide onderwerpen: fraudedetectie, beheer van catastrofes, strijd tegen het terrorisme, …

Dit verslag dienst als ondersteuning bij de slides voor de informatiesessie “Social Media & eGovernment” van 21 en 23 oktober 2014 (http://website.smalsrech.be/publications/document/?docid=119).

Dans la société de communication dans laquelle nous vivons aujourd’hui, les médias sociaux sont devenus incontournables. Le citoyen qui autrefois s’exprimait en famille ou entre amis le fait maintenant sur Twitter ou Facebook. Une mine d’or pour les organismes qui veulent savoir ce que la population pense et dit à leur propos, qui veulent détecter au plus tôt un mouvement de grogne, une rumeur naissante ou une menace, de façon à pouvoir réagir rapidement de façon appropriée.

Durant la session, nous nous intéresserons à trois cas très concrets, basés sur nos clients ou d’autres institutions, à la suite de nombreux contacts que nous avons eus durant notre étude. Nous commencerons par voir ce que la page Facebook d’un organisme, où les citoyens postent des messages et/ou les commentent, peut nous apprendre. Quels sont les sujets de discussion ? Peut-on identifier des moments de tension ? Les citoyens sont-ils critiques ? Qui sont les citoyens qui s’expriment ?

Dans un second temps, nous nous concentrerons sur Twitter et verrons comment on peut identifier les « hot topics », en général mais aussi sur des sujets particuliers, par exemple à propos d’un organisme ou d’un projet. Comment peut-on collecter l’information et la traiter ? Peut-on identifier des pics de discussion ? De quoi parle-t-on ?

Notre troisième partie sera consacrée au « network analytics », c’est-à-dire l’étude des réseaux (un réseau d’amis Facebook, la structure des réactions sur une page Facebook, les « followers » sur Twitter…). Nous verrons qu’à partir d’un ensemble d’informations publiques, il est possible de reconstituer une grande quantité d’information qui semblait cachée. Nous partirons d’un compte Facebook qui semble bien protégé, et verrons qu’énormément d’information peut malgré tout être extraite.

Durant l’exposé, nous présenterons quelques outils, mais nous nous focaliserons sur les différentes techniques utilisées par ces outils, et les illustrerons abondamment.

In onze hedendaagse communicatiemaatschappij kunnen we niet om sociale media heen. De burger die zich anders bij familie of vrienden uitdrukte, doet dit nu op Twitter of Facebook. Een goudmijn voor de organisaties die willen weten wat de bevolking van hun denkt en over hun zegt, die gemopper, een nieuw gerucht of een bedreiging zo vroeg mogelijk willen opsporen zodat ze vlug en gepast kunnen reageren.

In deze sessie bekijken we drie zeer concrete gevallen die gebaseerd zijn op onze klanten of op andere instellingen als een gevolg van de vele contacten die we hadden tijdens onze studie. We zullen beginnen met na te gaan wat een Facebook-pagina van een organisatie met berichten en/of opmerkingen van burgers ons kan leren. Wat zijn de discussie-onderwerpen? Kunnen we spanningsmomenten identificeren? Zijn de burgers kritisch? Wie zijn de burgers die zich uitdrukken?

Daarna concentreren we ons op Twitter en we zullen kijken hoe we “hot topics” in het algemeen, maar ook specifieke onderwerpen kunnen identificeren, bijvoorbeeld over een organisatie of een project. Hoe kunnen we de informatie verzamelen en verwerken? Kunnen we discussie-pieken identificeren? Waarover praat men?

Het derde deel zal besteed worden aan “network analytics”, dit wil zeggen de studie van de netwerken (een vriendennetwerk op Facebook, de structuur van de reacties op een Facebook-pagina, de “followers” op Twitter, …). We zullen zien dat het mogelijk is om een grote hoeveelheid, schijnbaar verborgen, informatie opnieuw samen te stellen uit een verzameling publieke informatie. We zullen vertrekken van een Facebook-account dat goed beschermd lijkt te zijn en zullen zien dat ondanks deze bescherming er toch enorm veel informatie kan uitgehaald worden.

Tijdens de presentatie zullen we enkele tools voorstellen. We zullen ons echter focussen op de verschillende technieken gebruikt door deze tools en ze erna uitvoerig illustreren.

Gephi est un outil de visualisation, de manipulation et d’analyse de toutes sortes de graphes ou réseaux. Il s’agit d’un outil puissant, facile à maîtriser, utilisant un format d’entrée pouvant être produit sans difficulté. Il sera précieux pour toute personne voulant analyser une structure complexe d’entités reliées entre elles (réseau social, lien entre des pages web, réseau informatique, organigramme, dépendance entre des concepts…). Il produit par ailleurs des graphiques esthétiques et largement paramétrables, dans divers formats.

Gephi is een tool om allerlei grafieken en netwerken te visualiseren, te bewerken en te gebruiken. Deze krachtige en gebruiksvriendelijke tool gebruikt een inputformaat dat zonder problemen geproduceerd kan worden. Gephi is nuttig voor iedereen die een complexe structuur van onderling verbonden entiteiten wilt analyseren (sociaal netwerk, verband tussen webpagina’s, informaticanetwerk, organigram, afhankelijkheid tussen concepten…). Bovendien genereert de tool mooie, erg configureerbare grafieken in verschillende formaten.

Avec la dématérialisation de l’information et la mise en place croissante de synergies entre administrations, employeurs, entreprises et citoyens, la qualité des adresses e-mail devient stratégique. En effet, une bonne gestion de celles-ci peut, dans le cadre de l’egovernment, contribuer à l’amélioration des services rendus et à la réduction des coûts.

C’est le cas par exemple lorsque les adresses e-mail sont utilisées en vue de l’envoi de notifications, dans le cadre des recommandés électroniques. Si les adresses e-mail sont incorrectes, les notifications des envois recommandés doivent s’effectuer par voie postale. Dans certains cas, les coûts cumulés sur 5 ans peuvent atteindre plusieurs millions d’euros. À ces éléments s’ajoutent les gains indirects associés : respect de la législation, service rendu au citoyen et crédibilité…
Dans de nombreux pays, (Danemark, Suède, Norvège, Canada, …), le recours à l’adresse e-mail se généralise au sein de l’egovernment. En 2012, le ROI sur 15 ans d’une telle approche est estimé en Norvège à environ 250 millions d’euros. Les adresses e-mail se caractérisent toutefois par un cumul d’incertitudes : volatilité des usages, dynamique des noms de domaines, syntaxes non standards… En vue d’en assurer la maîtrise, le document présente :
– Les éléments syntaxiques, de validation (tests d’existence) et de « data matching »;
– Un ensemble de bonnes pratiques et une organisation en vue de maintenir la qualité d’une vaste source d’adresses e-mail dans le temps.
Cette étude repose sur plus de dix ans d’expérience au sein de la « Data Quality Cell » de la section « recherche » de Smals, sur un ensemble de tests pratiques et sur un prototype concret et original

Avec la dématérialisation de l’information et la mise en place croissante de synergies entre administrations, employeurs, entreprises et citoyens, la qualité des adresses e-mail devient stratégique. En effet, une bonne gestion de celles-ci peut, dans le cadre de l’egovernment, contribuer à l’amélioration des services rendus et à la réduction des coûts.

C’est le cas lorsque les adresses e-mail sont utilisées en vue de l’envoi de notifications, même après authentification, dans le cadre des recommandés électroniques, par exemple. Si les adresses e-mail sont incorrectes, les notifications des envois recommandés doivent s’effectuer par voie postale, après traitement éventuel des cas erronés. Cela peut accroître les coûts cumulés sur 5 ans de plusieurs millions d’euros, selon la taille de la base de données. À ces éléments s’ajoutent les gains indirects associés (qui sont mentionnés également dans le secteur privé et « marketing ») : respect de la législation, service rendu au citoyen et crédibilité dans les campagnes de communication.

Dans de nombreux pays, (Danemark, Suède, Norvège, Canada, …), le recours à l’adresse e-mail authentifiée dans le cadre des échanges entre administrations et citoyens se généralise au sein de l’egovernment. En 2012, le ROI sur 15 ans d’une telle approche est estimé en Norvège à environ 250 millions d’euros. Largement utilisées de nos jours et pour un certain temps encore, les adresses e-mail se caractérisent toutefois par un cumul d’incertitudes : qu’il s’agisse de la volatilité des usages, de la dynamique des noms de domaines ou de la présence de syntaxes non standards.

En vue d’en assurer la maîtrise, l’exposé présentera :

• Les éléments syntaxiques, de validation (tests d’existence) et de « data matching » applicables en batch et « on line », selon les cas ;
• Un ensemble de bonnes pratiques et une organisation en vue de maintenir la qualité d’une vaste source d’adresses e-mail dans le temps.