Icon

BIAPAY_​workflow13

DATA WAREHOUSE

Les données transactionnelles sont scindées en 5 tables distinctes pour epouser le schema de table choisi : STAR SCHEMA

Pour se faiire, nous aurons 4 tables de dimension(dim_merchant, dim_client, dim_pos, dim_account) et 1 table de fait(fact_transaction).

LPRS

Ce module du système transforme le fichier json contenant les logs de transactions en format structuré qui sera rendu disponible pour l'OFRM.

De plus, il stocke les données structurées dans une table de DWH tel que reçu a travers le fichier json.

La phase de feauture engineering sera entamée juste après. Cette étape concerne la création de nouvelles colonnes qui serons des dérivés des colonnes deja existantes.

OFRM

Ce module du système joint les sous-scores en trois score globaux qui seront consolidés en un seul score, GLOBAL RISK SCORE. Ensuite, un étiquetage de chaque transaction est fait après obtention du GLOBAL RISK SCORE en 4 groupe possible: LOW, MEDIUM, HIGH et CRITICAL qui catégorise le risque que chaque transaction représente.

De plus, un encodage de variables ainsi qu'une normalisation(Z-score) des variables numériques sont effectués afin de rendre le jeu de données pour l'algorithme non-supervisé choisi(HDBSCAN).

DB Writer
Validate
Python Script (legacy)
DB Writer
Test
Python Script (legacy)
Math Formula
DB Connector
DB Writer
DB Connector
Rule Engine
DB Writer
DB Connector
DB Connector
DB Writer
Les données sont converties en en format structuré.
JSON to Table
Certaines colonnes par souci de conformité sont renommées.
Column Renamer
Exclusion des duplicatas de transactions dans le système est effectué.
Duplicate Row Filter
DB Query Reader
Column Filter
DB Connector
Constant Value Column Appender
Column Filter
Joiner
POS RISK SCOREChaque point de vente impliqué dans une transaction voit ses information utilisée dans cette transaction noté sur une échelle de 0-100
Python Script (legacy)
Constant Value Column Appender
Constant Value Column Appender
DB Connector
MERCHANT RISK SCOREChaque marchand impliqué dans une transaction voit ses information utilisée dans cette transaction noté sur une échelle de 0-100
Python Script (legacy)
TRANSACTION RISK SCOREChaque transaction voit ses information utilisée dans cette transaction noté sur une échelle de 0-100
Python Script (legacy)
DB Writer
JSON Reader
Table Partitioner
Concatenate
DB Connector
GLOBAL SUSPICION SCORECe score combine les trois scores précédents pour donner une notation globale de la transaction.
Python Script (legacy)
Column Filter
DB Writer
dim_client
Column Filter
DB Connector
Python Script (legacy)
Column Auto Type Cast
Duplicate Row Filter
Vu la différence de magnitude entre les valeurs numériques des colonnes, celles-ci sont normalisées afin de ramener toutes les variables sur une échelle similaire et éviter qu’une colonne domine les autres dans les calculs de l’algorithme.
Normalizer
dim_pos
Column Filter
Table Partitioner
Python Script (legacy)
dim_merchant
Column Filter
DB Connector
DB Query Reader
Duplicate Row Filter
Les colonnes catégoriques sont transformées en plusieurs colonnes numériques où chaque catégorie devient une colonne contenant des valeurs 0 ou 1 selon sa présence ou son absence.
One to Many
DB Query Reader
Duplicate Row Filter
fact_transaction
Column Filter
Duplicate Row Filter
dim_account
Column Filter

Nodes

Extensions

Links