Outil ETL MapForce

Extrait, transforme, charger tous les formats de données populaires

Définition ETL graphique
Convertir entre des formats de données populaires
Fonctions de transformation de données pour manipuler les données
Outils ETL pour bases de données

Outil ETL pour EDI
Outil ETL de texte et de fichier plat
Extracteur de données PDF
Automatiser l'exécution de mappage ETL

Logiciels ETL d'entreprise

Les outils ETL (Extract-Transform-Load) proposent un mécanisme pour extraire les données depuis les sources externes, les transformant en un format de données standardisé, et en le chargeant dans une cible finale ou un référentiel.

Grâce à la prise en charge des formats de données les plus courants en entreprise (XML, JSON, PDF, bases de données, fichiers plats, EDI, Protobuf, etc.), MapForce est un outil extrêmement efficace, léger et ajustable pour ETL. MapForce offre une interface de mappage ETL directe et visuelle qui vous permet de charger toute structure prise en charge en toute facilité et d’utiliser la fonction glisser-déposer pour connecter des nœuds et ajouter des fonctions et filtres de transformation de données, ou d’utiliser le générateur de fonction visuelle pour des projets ETL complexes.

Outils ETL de mappage de données puissant dans MapForce

Pour compléter son interface visuelle, les outil ETL MapForce peuvent être automatisés par le biais du MapForce Server haute performance.

Transformation et traitement de données ETL

MapForce vous permet d’associer des structures de données en toute facilité en utilisant la fonction de mappage de données ETL par glisser-déposer.

Des filtres et fonctions de traitement de données avancées peuvent être ajoutées par le biais d'une bibliothèque de fonctions intégrée, et vous pouvez utiliser le générateur de fonction visuelle pour combiner plusieurs opérations inline et/ou opérations récursives dans des projets ETL plus complexes ou d'intégration de données. Vous pouvez même enregistrer des fonctions à utiliser dans d'autres projets de mappage.

MapForce prend aussi en charge des scénarios ETL avancés impliquant des schémas d'entrée et de sortie variés, des fichiers de source et/ou de cible variés ou des transformations de données multi-pass avancées.

Entrée et sortie de fichier directes (data streaming)

La prise en charge du streaming de données permet de donner un coup de fouet à la performance de vos projets ETL, avec la possibilité de streamer les entrées depuis des fichiers XML, CSV et FLF de toute taille et des bases de données relationnelles, puis de streamer la sortie avec des fichiers XML, CSV et FLF de la même taille ou de les insérer dans une base de données.

Ces fonctions intégrées signifient que MapForce peut facilement traiter des ensembles de données volumineuses et des projets ETL, la seule limite est l'espace disponible sur le disque dur de votre appareil local ou sur réseau.

Afin d'activer cette fonction, il suffit de sélectionner l'icône BUILTIN depuis la barre d'outils dans le panneau de design de MapForce.

Grâce à la prise en charge de l'insertion de base de données bulk et au streaming de données direct, MapForce Server convient parfaitement à une exécution des mappages de données ETL.

Outils de mappage ETL graphiques

L'interface MapForce facilite l'intégration des données généralement requise dans les projets ETL avec une interface graphique qui comprend de nombreuses options d'intégration des données pour la gestion, la visualisation, la manipulation et l'exécution de mappages individuels et de projets de mappages complexes. Utiliser le panneau de design pour définir graphiquement les composants de mappage, ajouter des fonctions et des filtres pour la manipulation de données, et glisser les connecteurs pour transformer entre les formats de source et de cible.

Définir les règles de transformation de manière graphique en utilisant le logiciel MapForce ETL

Le panneau de design est doté de fonctions conviviales qui vous aident à travailler, identifier et redéfinir même les mappages des données les plus complexes. Par exemple, cliquer sur un nom d'item pour le sélectionner automatiquement afin de le connecter à un autre item. Des pop-up peuvent apparaître en faisant passer la souris au-dessus de certaines parties des connexions de mappage où vous pouvez consulter des informations supplémentaires comme le mappage d'item(s) ou de types de données cibles.

Les connexions sont déplacées par simple glisser-déposer sur la cible désirée et les connecteurs doubles (provenant de la même source vers une autre cible) peuvent être créés en glissant une connexion tout en maintenant la clé CTRL appuyée. Activer l'icône Autoconnecter les items enfant pour connecter automatiquement tous les items enfant du même nom sous l'item parent.

Le logiciel MapForce ETL prend en charge plusieurs entrées et sorties et vous pouvez combiner des types de données complètement différents.

MapForce contient une bibliothèque bien remplie de fonctions de traitement des données afin d'effectuer pratiquement toutes les conversions de données exigées par le projet d'intégration, et une fenêtre d'aperçu vous permet de visualiser tout un projet de mappage de données et de zoomer dans des zones spécifiques selon vos besoins ainsi que d'indiquer la position dans le mappage lorsque vous vous déplacez dans le panneau de design. Naviguez dans les projets de mappage les plus complexes avec aise.

Convertir les formats de données

Dans les applications ETL, les nouvelles informations destinées à l'importation arrivent souvent dans un format de données incompatible avec l'archivage existant. MapForce offre une puissance et une flexibilité incomparable pour les conversions et transformations avancés. Il s'agit de l'outil ETL idéal pour les projets d'intégration de données globale et inter-entreprises. Vous pouvez facilement intégrer des données depuis des fichiers multiples dans des formats différents.

Avec une prise en charge de l'automatisation de l'intégration des données, MapForce est un produit middleware idéal pour la connexion des applications distribuées pour toute entreprise locale, tout flux de travail à base web, ou même une architecture sur Cloud.

Trois formats de données sont inclus dans le mappage ETL illustré ci-dessous. Le fichier source principal est une feuille de calcul Excel et l'archivage de sortie finale est une base de données. Néanmoins, les enregistrements dans la colonne de base de données SharesAndLeaves sont stockées en tant qu'un objet JSON. L'outil ETL MapForce construit immédiatement l'objet JSON et l'inclut dans l'instruction d'insert de base de données générée, comme marqué dans l'aperçu de sortie en bas à droite de la capture d'écran.

Utiliser des outils ETL MapForce pour transformer et charger des données

Mappages de données réutilisables

Qu'il s'agisse d’un XML, JSON ou d'un schéma de base de données ; d’un fichier de configuration EDI ; d’un modèle PDF ; ou de la taxonomie XBRL, MapForce intègre les données sur la base sur des structures de données quel que soit l'instance de contenu sous-jacent. Cela signifie que vous pouvez réutiliser les mappages de données malgré les changements des données commerciales.

Automatiser ETL

MapForce peut générer des fichiers d'exécution par MapForce Server ou un code d'intégration des données sans royalties en Java, C#, ou C++ pour les retraitements automatisés des projets ETL. Cela vous permet d'implémenter des opérations d'intégration/migration de données programmées ou déclenchées par événement pour une inclusion dans toutes les applications de rapports, e-commerce ou sur base SOAP. Les opérations d'intégration de données MapForce peuvent aussi être automatisées par le biais d'une intégration de données API, or ActiveX control.

Manipulation des données

Les projets ETL des données requièrent une manipulation des données pour transformer des données d’entrée avant qu’ils soient consommés par le système cible. MapForce fournit un constructeur de fonctions visuelles intuitif, des fonctions de traitement des données évolutives avec des librairies intégrées, des filtres et des conditions, etc. pour une manipulation des données aisée et l'intégration des formats disparates.

Rentable

MapForce ne dépend pas de l'assemblage d'une collection d'adaptateurs ou d'autres ajouts à acheter séparément. Les utilisateurs gardent le contrôle du design et de l'implémentation de l'intégration des données et des transformations de tous les types de données, y compris de toute combinaison de données XML, JSON, base de données, fichier texte, EDI, Excel, XBRL et/ou service Web.

Fonctions de transformation des données

Dans tout scénario ETL, les données entrantes doivent être harmonisées avec les standards établis de l'archivage. Selon les caractéristiques pertinentes, les items comme les styles de nom, les formats de date et de temps, la précision décimale, la devise, la température et les mesures et d'autres facteurs devront être convertis. MapForce propose une vaste bibliothèque de fonctions de traitement des données et de conversion pour filtrer et manipuler les données conformément aux besoins exigés par votre projet de mappage ETL. Pour économiser du temps et garder le travail que vous avez déjà effectué et testé, vous pouvez même importer du code de conversion de données existantes ou un fichier XSLT 1.0 ou 2.0 à utiliser en tant que bibliothèque de fonction. MapForce comprend également un générateur de fonction visuel unique pour définir et réutiliser les fonctions personnalisées qui combinent plusieurs opérations.

MapForce peut gérer les scénarios de conversion les plus avancés, vous permettant de définir des règles basées sur des conditions, une logique booléenne, des opérations de chaîne, des calculs mathématiques, des instructions SQL et SQL/XML, ou toute autre fonction définie par l'utilisateur. Vous pouvez même utiliser un service Web existant pour consulter ou traiter les données dans tout mappage.

Conversion des données MapForce :

Des fonctions de traitement des données convertissent les données immédiatement
Calculs mathématiques
Conversion booléennes, données, heure, nombre ou chaîne
Parsage de chaîne programmatique et dateHeure
Nœud, séquence, edifact et fonctions bd spécialisés
Prend en charge les filtres, les conditions, les paramètres et les variables
Fonctions de base de données dans SQL ou SQL/XML

Bibliothèque de fonctions

Un grand nombre des fonctions intégrées comme concat, add, multiply, etc., prennent en charge un nombre illimité de paramètres, permettant de procéder à des manipulations mathématiques en toute simplicité et de combiner plusieurs paramètres. Des fonctions de regroupement vous permettent d'effectuer des calculs sur des groupes de données, y compris count, sum, min, average, join-string, etc. Des fonctions de conversion permettent de parser des types de données complexes.

Des fonctions dans la bibliothèque principale sont généralisées et ne sont pas spécifiques à un type de sortie. En utilisant ces fonctions de base, vous pouvez créer un code de conversion de données XSLT 1.0/2.0, XQuery, Java, C++ ou C# en sélectionnant le/les langue/s que vous souhaitez.

Variables intermédiaires

Les variables intermédiaires sont un type de composant spécial qui stocke un résultat de mappage intermédiaire pour un traitement ultérieur et qui peuvent être utilisées pour résoudre des problèmes de mappage avancés. Une variable intermédiaire est équivalente à une fonction définie par l'utilisateur régulière (non-inline), et est un composant structurel sans un fichier d'instance.

Filtres et Conditions

Insérer les filtres et les conditions dans un mappage pour sélectionner des données depuis la source basée sur des conditions booléennes.

La condition if-else dans MapForce est équivalente à une instruction switch dans de nombreuses langues de programmation, vous permettant de contrôler facilement le flux des données dans vos projets de mappage en faisant correspondre une valeur à un critère sélectionné.

Paramètres de transformation

MapForce prend en charge les paramètres d'entrée de transformation, permettant aux paramètres extérieurs de toucher les transformations de mappage. Les paramètres d'entrée de transformation peuvent être passés à la fonction de mappage principale créée par le générateur de code MapForce dans Java, C#, ou C++.

Outils ETL de base de données

Les outils ETL de base de données MapForce comprennent une prise en charge pour le mappage de bases de données, y compris le mappage de données de base de données entre tout type de combinaison de XML, JSON, PDF, CSV, EDI, Excel, Protobuf, XBRL, services web et même d'autres formats de base de données.

Lorsque vous chargez une structure de base de données dans la fenêtre de design, MapForce interprète automatiquement le schéma de base de données, vous permet de choisir des tables et modes de base de données disponibles et reconnait des relations de table.

Transformer des données de bases de données en utilisant le mappage ETL MapForce

Une fois que vous avez chargé tous les modèles de contenu nécessaires pour votre mappage de base de données ETL, terminez le mappage en glissant les lignes de connexion entre les structures de source et de cible.

Fonctions de mappage de base de données :

Requêtes de base de données sur toutes les bases de données principales
Mapper des données depuis tout type de base de données pris en charge vers tout autre type de données
Spécifier les paramètres clés de base de données
Définir les actions de table de base de données
Requête directe dans les bases de données
Se connecter à et mapper XML dans les champs de base de données
Trier les composants d'entrée de base de données

MapForce prend en charge toutes les principales bases de données relationnelles et NoSQL populaires, vous permettant de créer des designs de mappage de base de données graphiques entre des sources de données de base de données, des fonctions et filtres de traitement de données et d'autres structures de données de tout type.

Bases de données relationnelles prises en charge pour ETL :

Firebird 2.5, 3, 4
IBM DB2 for iSeries^® v6.1, 7.1, 7.2, 7.3, 7.4
IBM DB2^® 8, 9.1, 9.5, 9.7, 10.1, 10.5, 11.5, 11.5.7
Informix^® 11.70, 12.10, 14.10
MariaDB 10, 10.3, 10.4, 10.5, 10.6.5, 10.9.2, 10.11, 11.2, 11.4
Microsoft Access™ 2003, 2007, 2010, 2013, 2019
Microsoft^® Azure SQL
Microsoft^® SQL Server^® 2005-2022
MySQL^® 5, 5.1, 5.5, 5.6, 5.7, 8, 8.0.25, 8.0.28, 8.2, 8.3, 8.4
Oracle^® 9i, 10g, 11g, 12c, 18, 19
PostgreSQL 8, 9, 10, 11, 12, 13, 14, 15, 16
Progress OpenEdge 11.6
SQLite 3.x
Sybase^® ASE 15, 16
Teradata 16

Bases de données NoSQL prises en charge pour ETL :

MongoDB
CouchDB

Filtrer et traiter les données de base de données

De nombreux mappage de base de données ETL nécessitent la manipulation de données entre la source et la cible sur la base de conditions booléennes ou d'instructions SQL et SQL/XML. Vous devrez éventuellement effectuer des comparaisons logiques, des calculs mathématiques ou des opérations de strings, contrôler les données de base de données d'une valeur particulière et procéder à d'autres modifications des données. Dans la capture d'écran ci-dessus, les fonctions de traitement des données apparaissent comme des cadres entre les lignes reliant le modèle de données source et cible.

Les fonctions de traitement des données vous permettent d'effectuer des mappages de base de données avancés très rapidement pour une multitude d'exigences de transformations concrètes Vous pouvez, par exemple, construire des mappages de base de données qui utilisent des messages XML ou EDI pour extraire des lignes de base de données sur la base de critères de filtre depuis les éléments XML ou EDI.

Conversion de base de données instantanée

Une fois que votre mappage a été défini, le moteur intégré de MapForce vous permet de consulter et d'enregistrer les résultats en un clic.

Les mappages vers une base de données produisent une sortie sous la forme de scripts SQL (par ex., instructions SELECT, INSERT, UPDATE et DELETE) qui sont exécutés par rapport à votre base de données cible directement depuis MapForce MapForce Serveur ou par le biais de MapForce Server.

Outils ETL pour EDI

Le standard EDI est un format dominant pour l'échange de données d'e-commerce, conférant aux entreprises une méthode rapide et précise d'échange de données de transaction. EDI a précédé d'autres technologies intégrées comme ERP, CRM, et nombre d'autres technologies permettant la chaîne d'approvisionnement, faisant du mappage de données et de la transformation une composante importante lorsque les messages EDI sont la source de données pour une application ETL.

MapForce est un outil graphique EDI ETL avec une prise en charge native de tous les formats de données métier majeurs en utilisation aujourd’hui, y compris XML, les bases de données JSON, fichiers plats, Excel, les services Web, ainsi que EDIFACT, X12, HL7, NCPDP SCRIPT, IDoc, et des documents informatisés PADIS EDI.

Projet ETL transformant l’EDI dans un format de base de données

MapForce simplifie l’intégration de données en vous permettant de définir visuellement les mappages pour ETL entre UN/EDIFACT, ANSI X12, HIPAA X12, Health Level 7 (HL7), NCPDP SCRIPT, SAP IDoc, IATA PADIS, ou TRADACOMS et XML, les bases de données, CSV, Excel, et autres systèmes EDI, ainsi que les opérations de services Web. Ces outils ETL pour EDI permettent à votre organisation de récolter les bénéfices d'un échange d'informations électronique sans augmenter les coûts ou la complexité de votre infrastructure d'application.

Traiter plusieurs types de message EDI

MapForce vous permet de définir un seul mappage pour accommoder les fichiers EDI qui contiennent des types de message multiples. Le support est fourni pour les fichiers EDI contenant des types de message multiples soit dans la source ou dans la cible de votre projet de mappage de données, permettant une flexibilité optimale pour les mappages EDI.

Accusé de réception de message

Dans le standard EDI X12, le message d'accusé de réception 997 relaye le statut d'un interchange à l'arrivée - confirmant la réception d'une transaction, d'erreurs de transaction, etc.

MapForce peut être configuré très aisément pour créer automatiquement un mappage depuis vos messages d'entrée X12 vers les accusés de réception 997, vous aidant à définir des liens d'échange à l'intérieur et à l'extérieur de votre réseau de partenariat.

Valider une sortie EDI

MapForce vous permet de confirmer la précision de la sortie EDI depuis vos mappages par la validation de tous les composants source et cible EDI, et de la sortie de mappage. Cela vous aide à assurer que seuls des messages EDI valides sont traités.

Outil ETL de texte et de fichier plat

Les données de legacy contenues dans les fichiers texte existants peuvent être extraits et mis à jour pour être consistants avec un archivage ETL existant. MapForce contient FlexText, l'unique outil de parsage et de conversion de fichiers de texte comme des rapports de texte de mainframe, les fichiers logs basés sur texte et d'autres types de fichiers de texte legacy dans les designs de mappage. Avec son interface visuelle, FlexText vous permet d'insérer un fichier de texte existant et extrait les portions que vous souhaitez convertir dans l'interface de mappage de MapForce.

FlexText produit un modèle qui est ensuite chargé dans MapForce, où les nœuds de texte individuels peuvent être convertis en toute combinaison de données XML, PDF, EDI, XBRL, fichier plat, Excel, JSON, Protocol Buffers et/ou données de service Web. En enregistrant la configuration que vous créez dans FlexText, vous pouvez réutiliser le même modèle pour convertir des fichiers texte multiples dans des mappages divers.

FlexText vous permet de créer des règles pour les modèles de conversion de fichiers de texte pour les mappages ETL. Lorsque vous ouvrez un fichier de texte dans l'interface FlexText, le fichier est affiché dans deux blocs. Le bloc racine représente le fichier original, alors que le bloc d'opération (à droite) représente les données du fichier en temps réel alors que vous extrayez les données que vous nécessitez.

Le résultat de chaque opération que vous effectuez est visible en temps réel, ainsi, vous pouvez voir immédiatement si vous avez obtenu le résultat désiré.

Les fichiers de texte legacy peuvent contenir des données utiles dans des formats CSV (valeurs séparées par des virgules) ou FLF (champ de longueur fixe) dans un fichier plat plus complexe. FlexText vous permet d'extraire directement de telles données à l'aide des opérations CSV et FLF. Après l'application d'opérations Split et autres, vous pouvez stocker les champs CSV ou FLF formatés restants en configurant les noms de champs, les longueurs, etc.

Extraire les données pertinentes

FlexText vous permet d'isoler les données auxquelles vous souhaiter accéder en supprimant les textes, caractères et espaces blanc non pertinents avec les commandes split. Chaque split présente vos données dans deux blocs : l'un contient les données que vous avez écartées et l'autre affiche la vue modifiée de votre fichier converti. Vous pouvez immédiatement voir le résultat de chaque opération que vous effectuez.

Node, Ignore, Switch et Expressions régulières

FlexText prend en charge les opérations Node et Ignore pour une plus grande flexibilité dans la création de l'arborescence d'information. Une opération Ignore marque un bloc de texte comme non pertinent pour des fins de conversion et instruit MapForce de l'ignorer. L'opération Node crée un nouveau nœud dans l'arborescence d'information dans MapForce de manière à ce que vous puissiez représenter la nature hiérarchique de vos données de texte correctement lorsque vous en avez besoin.

L'opération Switch vous permet de définir des conditions multiples pour un seul bloc de texte. Les données contenues dans le fichier de texte sont uniquement passées dans le conteneur associé pour une utilisation dans votre conversion MapForce si elle rencontre une condition définie.

Prise en charge FlexText pour les expressions régulières Par exemple, un fichier d'entrée pourrait être un rapport généré par le système avec des nombres et des codes de lettre dans la marge gauche qui indiquent les types d'enregistrement dans lesquels une séquence de cinq chiffres suivis d'un “O” indiquent le début d'une nouvelle section pour un emplacement de bureau.

Automatiser l'exécution d'outil ETL avec MapForce Server

Altova MapForce Server contient le moteur de transformation de données intégré développé pour MapForce et fonctionne dans les environnements de serveur. MapForce Server réalise des transformations de données pour toutes les combinaisons de XML, base de données, EDI, XBRL, fichier plat, Excel, Protobuf et/ou services web à l'aide des mappages de données prétraités et optimisés stockés dans les fichiers d'exécution basés sur des mappages de données définis dans MapForce Server. MapForce Server révolutionne la transformation de données avec des capacités de serveur permettant un traitement parallèle et un multi-threading, une fusion bulk SQL, prise en charge multi-plateforme, etc.

Le pré-traitement permet d'accélérer la performance et de réduire l'empreinte mémoire pour la plupart des mappages de données. MapForce Server fonctionne sous la gestion de FlowForce Server, dans une configuration individuelle exécutée depuis une ligne de commande ou par programmation via un API.

Une fois qu'un mappage ETL MapForce a été conçu et testé, il peut être exécuté par MapForce Server pour automatiser les processus à transformations répétitives.

MapForce Server est un outil puissant pour automatiser ETL

MapForce pré-traite et optimise les mappages de données ETL, les stocke dans des fichiers d'exécution MapForce Server pour une exécution par ligne de commande par MapForce Server, et les charge dans les tâches FlowForce Server.

Lorsque MapForce Server fonctionne sous la gestion de FlowForce Server, les mappages de données sont exécutés en tant qu'étapes de tâche de FlowForce Server, sur la base de déclencheurs définis en tant que partie intégrante de la tâche de FlowForce Server. Par exemple, un nouveau document d'instance XML atterrit dans un répertoire qui déclenche une tâche à plusieurs étapes FlowForce Server qui validera tout d'abord le fichier avec RaptorXML+XBRL Server, puis exécutera MapForce Server pour extraire certaines données depuis XML et l'insèrera dans une base de données d'archivage ETL.

Télécharger

Télécharger une version d'essai gratuite des outils ETL dans MapForce !

Mises à jour

Les clients existants peuvent télécharger les mises à jour de la dernière version ici.

Acheter

MapForce maintenant.