190 likes | 321 Views
ENGIMA. Présentation DE EGNIMA. Présentation de Enigma. Enigma Historique Technologie ETL : Extract - Transform - Load Principe de fonctionnement Logiciel libre Architecture Routeur Tâches Modules (actions) Enchaînement des modules Lexique Référentiel
E N D
Présentation de Enigma • Enigma • Historique • Technologie • ETL : Extract-Transform-Load • Principe de fonctionnement • Logiciel libre • Architecture • Routeur • Tâches • Modules (actions) • Enchaînement des modules • Lexique • Référentiel • Définition du référentiel
Présentation de Enigma • Enigma> Historique • 2002 : Premier concept mis en œuvre pour le Guichet Unique de Boulogne sur mer • ~ 8 ans • 2007 : Repris par Portail Pro , Egnima version 2.0 • Extension des possibilités de transformations • Remise à jour du code source • … 2010 : amélioration constante • version 3.3
Présentation de Enigma • Enigma> Technologie • Microsoft Windows • Dot.Net ( à partir Windows XP / Windows Server 2008) • Langage VB.net (reprise du code source) • Installation simplifiée (programme encapsulé) • Léger ( < 50 Mo) • Desktop & Serveur • Configuration graphique
Présentation de Enigma • Enigma> ETL : Extract-Transform-Load • ETL : Extract-Transform-Load • Wikipedia : • « Extract-Transform-Load » est connu sous le terme ETL, ou Extracto-Chargeur, (ou parfois : datapumping). Il s'agit d'une technologie informatique intergicielle (comprendre middleware) permettant d'effectuer des synchronisations massives d'information d'une base de donnéesvers une autre. Selon le contexte, on traduira par « alimentation », « extraction », « transformation », « constitution » ou « conversion », souvent combinés.
Présentation de Enigma • Enigma > Principe de fonctionnement • ETL Enigma, concepts : • Obtenir les données informatiques • Transformer les données • Transmettre les données transformés • Intégrer les données transformés • Automatiser • Planifier • Traducteur programmable de données informatiques
Présentation de Enigma • Enigma > Libération du code • Code en cours de libération sous GPLv2 • Le logiciel est disponible (Libre & Gratuit) • Le code source est disponible et modifiable/extensible • Mise en place d’une communauté
Présentation de Enigma • Enigma • Historique • Technologie • ETL : Extract-Transform-Load • Principe de fonctionnement • Logiciel libre • Architecture • Routeur • Tâches • Modules (actions) • Enchaînement des modules • Lexique • Référentiel • Définition du référentiel
Présentation de Enigma • Architecture > Routeur • Enigma 2 états : • Arrêt : aucune activité, configuration possible • Marche : exécution du routeur • Routeur : moteur d’exécution • Ordonnanceur • Exécute les tâches à intervalle régulier • Récupération et affichage des erreurs • Mono-tâche
Présentation de Enigma • Architecture > Tâches • Automatisation d’un ensemble de transformations de données informatiques • Groupe : Premier niveau (ex : référentiel BOMBARIDER) • Groupement de tâches sur une même thématique • ~répertoire/classeur • Tâche : Second niveau (ex : Injection échéanciers standards) • Réalise un enchaînement d’actions (module) dans un ordre précis • Boucle d’exécution sur un intervalle de temps paramétré • Module : troisième niveau (ex : Connexion au serveur du portail) • Réalise une action provenant d’une bibliothèque • Paramétrage
Présentation de Enigma • Architecture > Les modules (= plugins) • Bibliothèque : • Transmettre / Intégrer • Exécution de commande arbitraire (DOS) • Connexion Bases de données (Mysql, Oracle, SqlServer) • Extraction Bases de données (au format XML) • Lecture/Ecriture fichiers (Local, FTP, HTTP(s)) • Mails (Envoi/Réception) • Transformation • CSV vers XML • EDI vers XML, XML vers EDI • Transformation XML • Typologie : • Modules d’entrée, modules de sortie, modules de transformation • XML : • Format d’échange entre les modules • Outil graphique de mapping incorporé dans Enigma
Présentation de Enigma • Architecture > Enchaînement des modules • Principe de cascade • Un module transmet les fichiers transformés au suivant • tâche : intégration mail • Modules d’entrée • Ex: réception d’un mail, lecture de la pièce jointe CSV • Module de transformation • Ex : transformation du fichier CSV en XML (bdd) • Modules de sortie • Ex : insertion dans une base de données à partir du XML BDD Module Mail Module CSV vers XML Module Insertion Base de données
Présentation de Enigma • Architecture > Exploitation basée sur le module • Gestion des erreurs • Un module ne passe au suivant que s’il y au moins un fichier à transmettre • Les actions des modules sont tracées et stockées (LOG) • Intégrité des données lors des traitements est géré par dot.net • Les types d’erreur possibles sont répertoriés • En cas d’erreur il y a possibilité de continuer et/ou de transmettre par mail l’erreur (Module ReportLog)
Présentation de Enigma • Architecture > Lexique • Module • Traitement informatique (plugin, sous programme…) • Tâche • Ensemble de modules • Groupe (plusieurs possible) • Ensemble de tâches pour un usage particulier • ex : référentiel BT • Bibliothèque de modules • Ensemble disponible de modules sur étagère
Présentation de Enigma • Enigma • Historique • Technologie • ETL : Extract-Transform-Load • Principe de fonctionnement • Logiciel libre • Architecture • Routeur • Tâches • Les modules (actions) • Enchaînement des modules • Lexique • Référentiel • Définition du référentiel
Présentation de Enigma • Référentiel Bombardier > Définition • Groupe de tâches prédéfinis • livré dans la version Enigma BOMBARDIER • Tâches préparés et préconfigurés • Paramétrage manuel sur les accès • Adaptable avec la bibliothèque de modules livrée avec l’application
Présentation de Enigma • Référentiel Bombardier > Messages Standards • 7 messages mis à disposition par BT • Ex : ECHESTD/H en csv • Configuration manuel Suprailnet Connexion HTTP Sauvegarde réseau • Excel • Préconfiguré: • Url : suprailnet • Type de fichier : ECHESTD/H • Manuel: • Login • Password • Intervalle de vérification Transformation XML • ERP Commande DOS (Intégration XML • Ou Intégration Base de données
Présentation de Enigma • Référentiel Bombardier > BL • Source ERP Conversion vers XML Transformation XML vers XML/BL ERP Lecture fichier #1 • Vérification par intervalle d’un fichier • Exportation BL Exportation Suprailnet • Rejet / Acceptation • Source Suprailnet Lecture fichier sur Suprailnet Transformation XML vers XML/BL Suprailnet Vérification #1 • Génération BL • Vérification par intervalle d’un fichier importation (module ?) #2 Dépôt du fichier dans un répertoire d’importation