Automatiser la correction et le contrôle des référentiels de données

 Cet article est le 3e et dernier volet de notre série Data Management – une mise à jour s’impose. Nous présentons à présent comment les technologies Data et l’IA aident à maintenir le contenu des référentiels de données. Pour cela, nous présentons le fonctionnement de notre outil de remédiation et de réconciliation automatique WeeRemediate.

Pourquoi est-il nécessaire de corriger régulièrement les référentiels et comment remédier de façon pérenne leur contenu ?

Les données de référence sont considérées comme des entités relativement statiques. Mais une entreprise a un cycle de vie : elle se créé, elle fusionne, se sépare ou simplement disparait. Il en va de même pour un fonds, une action, etc.. Ces changements ne sont pas fréquents et aucun mécanisme n’est prévu pour suivre ces événements. La méthode classique pour gérer cela est d’effectuer une revue périodique sur chacune d’entre elle.

Cette revue est confrontée aux problématiques suivantes :

Modélisation des données

Les modèles de données des référentiels sont prévus pour des besoins spécifiques (Risk / Legal / KYC / Distribution) et ne correspondent pas à la granularité rencontrée sur les marchés. Exemple : entité légale (LEI) vs part de fonds (ISIN). Aucune plateforme ne propose ce type rapprochement entre code ISIN et LEI.

Absence de codification externe dans les référentiels existants

Les référentiels ont été créés pour des besoins d’identification interne. Si l’usage des codes internes (parfois nombreux) est bien respecté, la plupart des systèmes ne dispose pas des codes externes. La granularité des données n’étant pas identique, ils sont très souvent attribués à la mauvaise valeur. Il est donc obligatoire de contrôler les entités avec les caractéristiques officielles.

Problème de nomenclature

Les noms des valeurs sont modifiés pour respecter les règles de nomenclature du groupe. Il est alors difficile voire impossible de faire le rapprochement en utilisant les noms stockés dans les systèmes.

Hétérogénéité des codifications

Il n’existe pas une codification de référence sur les marchés. Il est donc obligatoire de stocker et de manipuler de multiples références : références réglementaires (LEI), références internes ou des plateformes d’échange (ex: DTCC Omgeo, Markit IHS, Morning Star Id, BBG ID …) Et bien sur les nombreux identifiants marchés : Ticker, ISIN, CUSIP, Sedol, …

Il est évident qu’un algorithme est la seule solution efficace pour traiter cette accumulation de problèmes. Il est très difficile de corriger manuellement un stock de valeurs tandis qu’un programme peut le faire simplement avec un très haut niveau de confiance.

Comment WeeRemediate corrige les données et assure le contrôle qualité ?

On utilise plusieurs méthodes de rapprochement fonctionnellement différentes sur les codes et les noms pour trouver la correspondance entre différentes sources de données. Cela permet de mesurer la qualité de la réconciliation et d’augmenter la confiance dans le résultat obtenu. Le Fuzzy Matching est par exemple employé pour rapprocher les noms légaux avec les nomenclatures internes.

D’un point de vue intégration, WeeRemediate s’adapte très facilement en utilisant les extractions qui lui sont mises à disposition ou en allant récupérer directement dans les bases de données des référentiels nécessaires. Il n’impose pas de structure de données, la transformation étant réalisée par l’outil.

L’outil peut se reposer sur de multiples référentiels de codes externes comme internes. Nous pouvons connecter des jeux de données locaux constitués par les équipes opérationnelles (Sales / Middle / Back) dans le cadre de leurs fonctions.

Les contrôles qualités sont effectués à plusieurs étapes : au moment de la collecte, au sein de l’algorithme, lors de la réconciliation et post-intégration. Des tests de format et de cohérence sont réalisés à chaque étape. 

Cela permet une solution plus robuste, qui va être toujours plus pertinente à mesure que le temps passe.

Une fois cette première réconciliation réalisée, on va pouvoir :

• Augmenter le niveau de confiance dans les données grâce à un contrôle régulier.
• En élargissant la couverture des références externes associés à une valeur, on va pouvoir associer de nouvelles informations, produire de nouvelles analyses et créer de la valeur sur la base des données que l’entreprise possède déjà.

Le Data Management Augmenté au service de la qualité des données

Avec la crise de COVID-19, le « statuquo » sur les référentiels valeurs n’est plus tolérable. Les problèmes doivent être adressés au plus vite car ils impactent aussi bien les opérations, les risques que le pilotage de l’activité et rendent inopérant toute tentative de transformation Digital. C’est aussi une opportunité pour initier une démarche d’opérationnalisation de l’IA et d’amélioration de la gouvernance de la data pour une approche plus offensive et robuste.

Avec des outils s’appuyant sur l’IA comme WeeRemediate, il est possible d’augmenter les capacités des Data Manager, Risk et Middle Officer pour adresser de manière efficace et robuste les problèmes de qualité de données. Pour cela, il faut prendre en compte les craintes des responsables métier à mettre en place ce type d’outil via des sessions de démystification et de sensibilisation sur l’usage avancé de la donnée.

Pourquoi est-il nécessaire de corriger régulièrement les référentiels et comment remédier de façon pérenne leur contenu ?

Les données de référence sont considérées comme des entités relativement statiques. Mais une entreprise a un cycle de vie : elle se créé, elle fusionne, se sépare ou simplement disparait. Il en va de même pour un fonds, une action, etc.. Ces changements ne sont pas fréquents et aucun mécanisme n’est prévu pour suivre ces événements. La méthode classique pour gérer cela est d’effectuer une revue périodique sur chacune d’entre elle.

Cette revue est confrontée aux problématiques suivantes :

Modélisation des données

Les modèles de données des référentiels sont prévus pour des besoins spécifiques (Risk / Legal / KYC / Distribution) et ne correspondent pas à la granularité rencontrée sur les marchés. Exemple : entité légale (LEI) vs part de fonds (ISIN). Aucune plateforme ne propose ce type rapprochement entre code ISIN et LEI.

Absence de codification externe dans les référentiels existants

Les référentiels ont été créés pour des besoins d’identification interne. Si l’usage des codes internes (parfois nombreux) est bien respecté, la plupart des systèmes ne dispose pas des codes externes. La granularité des données n’étant pas identique, ils sont très souvent attribués à la mauvaise valeur. Il est donc obligatoire de contrôler les entités avec les caractéristiques officielles.

Problème de nomenclature

Les noms des valeurs sont modifiés pour respecter les règles de nomenclature du groupe. Il est alors difficile voire impossible de faire le rapprochement en utilisant les noms stockés dans les systèmes.

Hétérogénéité des codifications

Il n’existe pas une codification de référence sur les marchés. Il est donc obligatoire de stocker et de manipuler de multiples références : références réglementaires (LEI), références internes ou des plateformes d’échange (ex: DTCC Omgeo, Markit IHS, Morning Star Id, BBG ID …) Et bien sur les nombreux identifiants marchés : Ticker, ISIN, CUSIP, Sedol, …

Il est évident qu’un algorithme est la seule solution efficace pour traiter cette accumulation de problèmes. Il est très difficile de corriger manuellement un stock de valeurs tandis qu’un programme peut le faire simplement avec un très haut niveau de confiance.

Comment WeeRemediate corrige les données et assure le contrôle qualité ?

On utilise plusieurs méthodes de rapprochement fonctionnellement différentes sur les codes et les noms pour trouver la correspondance entre différentes sources de données. Cela permet de mesurer la qualité de la réconciliation et d’augmenter la confiance dans le résultat obtenu. Le Fuzzy Matching est par exemple employé pour rapprocher les noms légaux avec les nomenclatures internes.

D’un point de vue intégration, WeeRemediate s’adapte très facilement en utilisant les extractions qui lui sont mises à disposition ou en allant récupérer directement dans les bases de données des référentiels nécessaires. Il n’impose pas de structure de données, la transformation étant réalisée par l’outil.

L’outil peut se reposer sur de multiples référentiels de codes externes comme internes. Nous pouvons connecter des jeux de données locaux constitués par les équipes opérationnelles (Sales / Middle / Back) dans le cadre de leurs fonctions.

Les contrôles qualités sont effectués à plusieurs étapes : au moment de la collecte, au sein de l’algorithme, lors de la réconciliation et post-intégration. Des tests de format et de cohérence sont réalisés à chaque étape. 

Cela permet une solution plus robuste, qui va être toujours plus pertinente à mesure que le temps passe.

Une fois cette première réconciliation réalisée, on va pouvoir :

• Augmenter le niveau de confiance dans les données grâce à un contrôle régulier.
• En élargissant la couverture des références externes associés à une valeur, on va pouvoir associer de nouvelles informations, produire de nouvelles analyses et créer de la valeur sur la base des données que l’entreprise possède déjà.

Le Data Management Augmenté au service de la qualité des données

Avec la crise de COVID-19, le « statuquo » sur les référentiels valeurs n’est plus tolérable. Les problèmes doivent être adressés au plus vite car ils impactent aussi bien les opérations, les risques que le pilotage de l’activité et rendent inopérant toute tentative de transformation Digital. C’est aussi une opportunité pour initier une démarche d’opérationnalisation de l’IA et d’amélioration de la gouvernance de la data pour une approche plus offensive et robuste.

Avec des outils s’appuyant sur l’IA comme WeeRemediate, il est possible d’augmenter les capacités des Data Manager, Risk et Middle Officer pour adresser de manière efficace et robuste les problèmes de qualité de données. Pour cela, il faut prendre en compte les craintes des responsables métier à mettre en place ce type d’outil via des sessions de démystification et de sensibilisation sur l’usage avancé de la donnée.