MapForce ETL-Tools

ETL-Software für Unternehmen

ETL (Extract-Transform-Load)-Tools dienen zum Extrahieren von Daten aus externen Quellen, zum Transformieren dieser Daten in ein normalisiertes Datenformat und zum anschließenden Laden der Daten in eine Zieldatei oder ein Speichersystem.

Dank seiner Unterstützung für die gebräuchlichen Unternehmensdatenformate (XML, JSON, PDF, Datenbanken, Flat Files, EDI, Protobuf, usw.) ist MapForce ein extrem effektives, schlankes und skalierbares ETL-Tool. Über die übersichtliche visuelle ETL-Mapping-Benutzeroberfläche können Sie beliebige unterstützte Mapping-Strukturen laden und Nodes anschließend mit Hilfe von Drag-and-Drop verbinden, Datentransformationsfunktionen und Filter hinzufügen oder mit Hilfe des visuellen Function Builder komplexere ETL-Projekte erstellen.

Ergänzend zur visuellen Benutzeroberfläche bietet MapForce Server die Möglichkeit, ETL-Konvertierungen zu automatisieren.

Mittels ETL-Datenmapping-Funktionen können Sie in MapForce Ihre ETL-Datenstrukturen ganz einfach mittels Drag and Drop miteinander verknüpfen.

Über eine integrierte Funktionsbibliothek können Datenverarbeitungsfilter und Funktionen hinzugefügt werden und mit Hilfe des visuellen Function Builder können mehrere Inline- und/oder rekursive Operationen zu komplexeren ETL- oder Datenintegrationsprojekten kombiniert werden oder sogar für die Verwendung in anderen Mapping-Projekten gespeichert werden.

MapForce unterstützt auch komplexe ETL-Szenarios mit mehreren Input- und Output-Schemas, mehreren Quell- und/oder Zieldateien oder komplexen Datentransformationen in mehreren Schritten.

Durch die Unterstützung von Datenstreaming und die Möglichkeit, Input aus beliebig großen XML-, CSV- und FLF-Dateien sowie relationalen Datenbanken zu streamen und auch die Ausgabe in ebenso große XML-, CSV- und FLF-Dateien zu streamen oder in eine Datenbank einzufügen, lässt sich die Performance Ihrer ETL-Projekte immens steigern.

Durch diese integrierte Funktion kann MapForce nun auch extrem große Ausgabedateien problemlos verarbeiten. Die einzige Einschränkung bildet nur mehr der verfügbare Arbeitsspeicher auf Ihrem Rechner.

Um diese Funktion zu aktivieren, klicken Sie einfach in der Symbolleiste im MapForce Design-Fenster auf die Schaltfläche BUILTIN.

Dank der Unterstützung für Bulk-Einfügungen in Datenbanken sowie direktes Daten-Streaming eignet sich MapForce Server auch ideal für die Ausführung von ETL-Datenmappings.

Konvertierung von Datenformaten

In ETL-Applikationen werden neue Informationen für den Datenimport oft in einem Format bereitgestellt, das mit dem vorhandenen Datenspeicherformat nicht kompatibel ist. MapForce bietet nie dagewesene flexible Funktionalitäten für komplexe Konvertierungen und Transformationen und ist somit das ideale ETL-Tool für globale und firmeninterne Datenintegrationsprojekte. Daten aus mehreren Dateien in unterschiedlichen Formaten können einfach integriert werden.

Dank der Funktionalitäten zum Automatisieren der Datenintegration ist MapForce das ideale Middleware-Produkt, um verteilte Applikationen in jeder beliebigen Unternehmensarchitektur, jeder webbasierten oder Cloud-Architektur miteinander zu verbinden.

Im unten gezeigten ETL-Mapping werden drei Datenformate inkludiert. Die Hauptquelldatei ist ein Excel-Arbeitsblatt und der endgültige Ausgabedatenspeicher ist eine Datenbank. Datensätze in der Datenbankspalte "'SharesAndLeaves" sind jedoch als JSON-Objekte gespeichert. Das MapForce ETL-Tool konstruiert das JSON-Objekt on-the-fly und inkludiert es in die generierte INSERT-Anweisung für die Datenbank, wie in der Ausgabevorschau rechts unten in der Abbildung ersichtlich.

Ob es sich nun um ein XML-, JSON- oder Datenbankschema, eine EDI-Konfigurationsdatei, PDF-Vorlage oder eine XBRL-Taxonomie handelt, MapForce integriert auf Datenstrukturen basierende Daten unabhängig von den zugrunde liegenden Instanzdateien. Das heißt, Sie können Datenmappings immer wieder verwenden, wenn sich Ihre Geschäftsdaten ändern.

MapForce kann MapForce-Ausführungsdateien für MapForce Server oder lizenzgebührenfreien Java- C#- oder C++-Datenintegrationscode für die automatisierte erneute Verarbeitung von ETL-Projekten generieren. Dies ermöglicht die Implementierung geplanter oder durch ein Ereignis ausgelöster Datenintegrations- / -migrationsoperationen, die in jede Berichts-, e-Commerce oder SOA-basierte Applikation integriert werden können. MapForce-Datenintegrationsoperationen können auch über eine Datenintegrations-API oder ein ActiveX Control automatisiert werden.

Bei ETL-Projekten müssen Input-Daten oft zuerst transformiert werden, bevor sie von der Zielkomponente verwendet werden können. Zum Bearbeiten von Daten und Integrieren unterschiedlicher Formate bietet MapForce einen intuitiven visuellen Function Builder, komplett skalierbare Datenverarbeitungsfunktionen mit vordefinierten Bibliotheken, Filter und Bedingungen und mehr.

Für MapForce werden keine Adapter oder andere zusätzlich zu erwerbende Add-ons benötigt. Der Benutzer hat die vollständige Kontrolle über das Design, die Implementierung der Datenintegration und die Transformation aller Datentypen, einschließlich jeder Kombination von XML-, JSON-, Datenbank-, Textdatei-, EDI-, Excel-, XBRL- und/oder Webservice-Daten.

ETL-Datenbank-Tools

Die MapForce Datenbank ETL-Tools bieten umfangreiche Unterstützung für Datenbankmappings, darunter das Mappen von Datenbankdaten zwischen jeder Kombination von XML, JSON, PDF, CSV, EDI, Excel, Protobuf, XBRL, Webservices, und sogar anderen Datenbankformaten.

Beim Laden einer Datenbankstruktur im Design-Fenster interpretiert MapForce automatisch das Datenbankschema, stellt Ihnen die verfügbaren Tabellen und Ansichten zur Auswahl und erkennt die Tabellenbeziehungen.

Nach dem Laden aller Inhaltsmodelle für Ihr ETL-Datenbankmapping ziehen Sie einfach Verbindungslinien zwischen der Quell- und der Zielstruktur, um das Mapping fertig zu stellen.

Datenbank-Mapping-Funktionen:

MapForce unterstützt alle gängigen relationalen Datenbanken sowie beliebte NoSQL-Datenbanken und ermöglicht die Erstellung grafischer Mappings zwischen Datenbankquelldaten, Datenverarbeitungsfunktionen und Filtern und anderen Datenstrukturen der verschiedensten Art.

Unterstützte relationale Datenbanken für ETL:

Unterstützte NoSQL-Datenbanken für ETL:

Oft müssen Daten bei ETL-Datenbank-Mappings zwischen Quell- und Zielkomponente auf Basis von Booleschen Bedingungen oder SQL- und SQL/XML-Anweisungen bearbeitet werden. Es können logische Vergleiche, mathematische Berechnungen, String-Operationen oder andere Datenmodifikationsprozesse durchgeführt werden. In der Abbildung oben werden in den Kästchen zwischen den Linien, die das Quell- und das Zieldatenmodell verbinden, Datenverarbeitungsfunktionen angezeigt.

Mit Hilfe von Datenverarbeitungsfunktionen können Sie on-the-fly komplexe Datenbank-Mappings für die verschiedensten Transformationsanforderungen durchführen. So können Sie z.B. Datenbank-Mappings erstellen, die XML oder EDI-Nachrichten verwenden, um Datenbankzeilen auf Basis von Filterkriterien aus den XML- oder EDI-Elementen zu extrahieren.

Nachdem Sie Ihr Mapping definiert haben, können Sie die Ergebnisse mit Hilfe des integrierten MapForce-Prozessors mit einem Klick anzeigen und speichern.

Werden Daten auf eine Datenbank gemappt, wird ein Resultat in Form von SQL-Skripts erzeugt (z.B. SELECT, INSERT, UPDATE und DELETE-Anweisungen), die direkt von MapForce oder MapForce Server aus an der Zieldatenbank ausgeführt werden können.

Text- und Flat File ETL-Tool

Altdatenbestände aus vorhandenen Textdateien können extrahiert und aktualisiert werden, sodass sie mit einem vorhandenen ETL-Datenspeicher verwendet werden können. MapForce enthält FlexText, das einzigartige Tool zum Parsen und Konvertieren von Textdateien, wie z.B. Mainframe-Textberichten, textbasierten Log-Dateien und anderen älteren Textformaten. Über die grafische Oberfläche von FlexText können Sie eine bestehende Textdatei einfügen und die Bereiche der Datei, die Sie für das Mapping verwenden wollen, extrahieren.

FlexText erzeugt eine Vorlage, die anschließend in MapForce geladen wird, wo die einzelnen Text-Nodes in jede beliebige Kombination von XML-, Datenbank-, PDF-, EDI-, XBRL-, Flat File-, Excel-, JSON-, Protocol Buffers- und Webservice-Daten konvertiert werden können. Durch Speichern der in FlexText erstellten Konfiguration können Sie anhand derselben Vorlage mehrere Textdateien in verschiedenen Mappings konvertieren.

Mit FlexText können Sie Regeln für Textdatei-Konvertierungsvorlagen für das ETL-Mapping erstellen. Wenn Sie eine Textdatei in der FlexText-Benutzeroberfläche öffnen, wird die Datei in zwei Blöcken angezeigt. Der Root-Block repräsentiert die ursprüngliche Datei, während im Operation-Block rechts davon in Echtzeit die extrahierten Daten der Datei angezeigt werden.

Das Ergebnis der einzelnen Operationen wird in Echtzeit visualisiert, sodass Sie sofort sehen, ob das gewünschte Resultat erzielt wurde.

Oft enthalten Legacy-Textdateien innerhalb einer komplexeren Flat File-Datei nützliche Daten im CSV (Comma Separated Value) oder FLF (Fixed Length Field)-Format. Mit FlexText können diese Daten mittels CSV- und FLF-Operationen extrahiert werden. Nach Anwendung von "Trennen" und anderen Operationen können Sie die restlichen CSV- oder FLF-Felder durch Definition der Feldnamen, Längen usw. speichern.

FlexText gestattet Ihnen, die benötigten Daten durch Entfernung von nicht relevantem Text, Zeichen und Whitespaces mit Hilfe des Befehls "Trennen" zu isolieren. Bei jeder Trennung werden die Daten in zwei neuen Blöcken angezeigt: einem, der die herausgetrennten Daten enthält und einem, in dem die konvertierte Datei angezeigt wird. Auf diese Art sehen Sie sofort das Ergebnis jeder an der Datei durchgeführten Operation.

Zur flexiblen Gestaltung der Datenstruktur unterstützt FlexText die Operationen "Node" und "Ignorieren". Mit der Option "Ignorieren" wird ein Textblock als irrelevant für Konvertierungszwecke markiert, sodass er in MapForce ignoriert wird. Mit der Operation "Node" wird in MapForce ein neuer Node in der Baumstruktur erstellt, um die hierarchische Struktur der Textdaten bei Bedarf darstellen zu können.

Mit der Operation "Aufteilen" können Sie mehrere Bedingungen für einen einzigen Textblock definieren. Die Daten in der Textdatei werden nur dann an den damit verknüpften Container übergeben, wenn eine definierte Bedingung zutrifft.

FlexText unterstützt auch Regular Expressions. So könnte z.B. als Input-Datei ein vom System generierter Bericht mit Zahlen- und Buchstabencodes am linken Rand verwendet werden. Diese Codes kennzeichnen Datensatztypen, bei denen eine Sequenz von fünf Ziffern, gefolgt von “O”, den Anfang eines Abschnitts für einen neuen Bürostandort markiert.