Nos solutions > Logiciel de validation automatique de données

Présentation

Les données acquises sur le terrain par les superviseurs du marché dans les domaines de l'eau, de l'air… nécessitent un mécanisme de qualification des données avant d’être utilisées dans des bilans, rapports et autres supports de communication.

Le logiciel de traitement automatique des données agrège et valide les données à partir de règles configurables par un outil graphique.

Les données d'acquisition sont dites 'brutes'.
Les données brutes de l'acquisition du terrain ne sont jamais modifiées. Il est donc possible à tout moment de repartir de la valeur brute pour refaire une validation.

Les données sont dites 'validées' une fois qu'elles sont traitées par le moteur de validation.

Un état de qualification est associé à chaque valeur :

Réponse VISUEL CONCEPT

Technologies utilisées : le moteur de validation est écrit en Python. Il est facilement extensible par des plugins spécifiques pour ajouter des règles de validation.

Les règles d'agrégation automatique sont les suivantes :

Calcul différentiel du débit cumulé

Cette règle se base sur les données brutes uniquement et effectue successivement les traitements suivants : - Correction des valeurs si y(k) < y(k-1) en fonction de la valeur maximum du compteur configurée,
- Ré-échantillonnage par interpolation linéaire des valeurs selon le pas de temps configuré,
- Calcul de la différence entre 2 valeurs pour chaque pas de temps.

Moyenne périodique

Cette règle se base sur des données soit validées soit brutes d'une mesure et effectue les traitements suivants :
Calcul d'une moyenne selon un pas temporel fixe en fonction des données de la mesure d'origine. La valeur moyennée sur la plage temporelle correspondant au pas de sortie est déterminée à partir des données exploitables uniquement si la règle se base sur les données validées, autrement à partir des données brutes.

Fixe l'état de qualification « Invalidé » en fonction d'un pourcentage de données non exploitables (critère appliqué séparément à chaque mesure).

Calcul d'une valeur à partir de plusieurs mesures

Cette règle se base sur des données soit validées soit brutes d'une mesure et effectue les traitements suivants:
- Ré-échantillonnage pour chaque mesure par interpolation linéaire des valeurs selon le pas de temps configuré. Les trous de données ou les données non valides sont corrigés par interpolation linéaire,
- Calcul des valeurs en fonction d'une formule,
- Fonctions mathématiques disponibles (sin, cos, tan,sqrt, log, +, - , *, / , ^),
- y(k) étant l'échantillon pour le pas de temps configuré.

- Fixe l'état de qualification «Invalidé» en fonction d'un pourcentage de données non exploitables (critère appliqué séparément à chaque mesure).

Calcul d'une valeur à partir d'un abaque

Cette règle se base sur un fichier abaque au format csv décrivant pour un couple de variables d'entrées hauteur et vitesse, un débit de sortie. La hauteur est exprimée en m, la vitesse en m/s, le débit en m3/s.

Exemples de configurateur graphique :