エンタープライズ ETL ツール

エンタープライズ ETL ソフトウェア

ETL (Extract/Transform/Load) ツールでは外部のソースからデータを抽出し、一般的なデータ形式に変換を行ったあと、ターゲットとなるリポジトリへデータをロードするメカニズムが提供されます。

広く普及しているエンタープライズ データ フォーマット (XML、JSON、データベース、フラット ファイル、EDI、Protobuf など) へのサポートすることで、 MapForce は非常に効果的で軽量、スケーラブルな ETL ツールです。MapForce は、サポートされる構造を簡単にロードし、ドラッグアンドドロップ機能を使用してノードを接続し、データ処理関数を追加し、複雑な ETL プロジェクトのために視覚的な式ビルダーを使用することのできる、単刀直入で視覚的な ETL マッピングインターフェイスをオファーします。

視覚的なインターフェイスを補足するために MapForce ETL ツールをハイパフォーマンスの MapForce Server を介して自動化することができます。

ドラッグアンドドロップ ETL データマッピング機能を使用して MapForce により簡単にデータ構造を関連付けることができます。

高度なデータ処理フィルターと関数に内蔵の関数ライブラリより追加することができ、視覚的な式ビルダーを使用して、複数のインライン および/または再帰的な操作を更に複雑な ETL またはデータ統合プロジェクトで使用することができ、また、他のマッピングプロジェクトでの使用のために関数を保存することもできます。

MapForce はまた、複数の入力と出力、複数のソースおよび、または、ターゲットファイル、または、高度なマルチパスデータ変換を含む高度な ETL シナリオもポートします。

データストリーミングへのサポートは大きな XML、CSV、および FLF ファイルから任意で入力をストリームし、また、同様に大きな XML、CSV、および FLF ファイルの出力をストリームし、データベースに入力する機能を与えることにより ETL プロジェクトにパフォーマンスを向上します。

内蔵の関数は、MapForce が簡単に大きなデータセットと ローカルマシンで使用することのできるディスクスペースにより制約されている、または、ネットワーク上からアクセスすることのできる、ETL プロジェクトを処理します。

この機能を有効化するには、 MapForce デザインペイン内のツールバーから BUILTIN アイコンを選択するだけです。

バルクデータベース挿入および直接的なデータストリーミングのサポート共に、MapForce Server は ETL データマッピングの実行に理想的です。

データ書式の変換

ETL アプリケーション内では、 インポートのための新規の情報は、通常、既存のレポジトリと互換性を持つデータ書式で受信されます。MapForce には他に類を見ない高度なデータ マッピングと変換を行うパワーや柔軟性が備わっており、企業内部からグローバルなスケールまで、データ統合プロジェクトにおける効率的な ETL ツールなツールとなります。書式の異なる複数のファイルから簡単にデータを統合することができます。

データ統合作業を自動化する機能も備えた MapForce は、ローカルのエンタープライズ、Web ベースのワークフロー、またはクラウドアーキテクチャアプリケーションを結びつけるための理想的なミドルウェアソフトウェアとなります。

下に表示される通り3種類のデータ書式が ETL マッピング内に含まれています。メインのソースファイルは Excel スプレッドシートで、最終の出力レポジトリはデータベースです。しかしながら、 SharesAndLeaves データベースの列内のレコードは、 JSON オブジェクトとして保管されます。MapForce ETL ツールは、 JSON オブジェクト をすぐに構築し、スクリーンショットの右下の出力プレビュー内でハイライトされているとおり、生成されたデータベース挿入ステートメントに含みます。

それが XML、JSON、データベース スキーマ、EDI 構成ファイル、または XBRL タクソノミであれ、MapForce は元となるコンテンツのインスタンスに関わりなく、データ構造に従ったデータの統合を行ないます。これはビジネスデータが変更された際にも一度作成したデータマッピングを何度でも再利用することができるということを意味します。

MapForce は、MapForce Serverによる ETL プロジェクトの自動化された処理のために Java、C#、または C++ で書かれた実行可能ファイルを生成することができます。この方法によりレポート作成や電子商取引、または SOA をベースにしたアプリケーションのための定期的なデータ統合/移動オペレーションを実装することが可能です。データ統合 API または ActiveX コントロールにより、MapForce データ統合オペレーションも自動化することができます。

ETL プロジェクトでは、ターゲットシステムにより処理される前に入力データを変換するデータ操作を必要とします。MapForce では直感的な関数ビルダーが用意されており、内蔵の関数やフィルター、条件などにより、スケールする データ処理関数 を作成し、データの操作や異なるフォーマットの統合を簡単に行うことが可能になります。

MapForce は、アダプターや他の有価のアドオンに頼りません。ユーザーは、デザイン、データ統合の実装、 XML、 JSON、データベース、テキストファイル、EDI、Excel、XBRL および/または Web サービスを含む組み合わせのデータ型の変換を完全に管理することができます。

データベース ETL ツール

MapForce データベース ETL ツールには XML、JSON、CSV、EDI、Excel、 Protobuf、XBRL、Web サービス、および他のデータベースフォーマットのあらゆる組み合わせを含むデータベースのマッピングを含む データベースマッピングのためにパワフルなサポートが含まれています。

デザイン ウィンドウ内でデータベース構造をロードした際、MapForce は自動的にデータベース スキーマを読み取り、利用可能なデータベース テーブルやビューを選択後、テーブル間のリレーションシップを認識することができます。

データベース ETL マッピングのために必要なコンテンツ モデルすべてをロードしたら、ソースとターゲット構造間に接続線をドラッグすることでマッピングを完成させます。

MapForce では、すべてのメジャーなリレーショナル データベースがサポートされており、データベースソース データ、データ処理関数とフィルター、その他の各種データ構造間に対して、グラフィカルなデータベース マッピング デザインを作成することが可能になります。

ETL のためにサポートされるデータベース:

データベース マッピング機能:

多くのデータベース ETL マッピングでは、Boolean 条件や SQL、SQL/XML ステートメントをベースにしたソースとターゲット間のデータ操作が要求されます。更に論理的な比較や数学的な計算、文字列処理、データベース内にある特定の値をチェックしたり、データに対して何らかの処理を加える必要が生じることもあります。上のスクリーンショットでは、データ処理関数がソースとターゲット データモデル間を繋ぐライン上にあるボックスとして表示されています。

データ処理関数を使うことで、現実社会で必要とされる変換処理に対応した高度なデータベース マッピングを簡単に行うことができます。例えば、XML または EDI 要素から与えられた条件に従って、データベースの行を抽出するデータベース マッピングを作成することができます。

データ マッピングが定義されると、内蔵の MapForce エンジンにより、1 クリックでマッピングの結果の閲覧と保存を行うことができます。

データベースへのマッピングでは、(SELECT、INSERT、UPDATE、DELETE ステートメントなどを使用した) SQL スクリプト形式の出力により、 MapForce または via MapForc Server 内部にてターゲット データベースに対するスクリプトを実行する前に編集を行うこともできます。

テキストとフラット ファイルの ETL ツール

既存のテキストファイルに含まれているレガシーデータを抽出し、既存の ETL レポジトリと一貫性を持つように更新することができます。MapForce にはメインフレームのテキストレポートやテキスト形式のログファイル、その他のレガシーなテキスト ファイルをマッピング デザインで扱うためのユニークな FlexText ユーティリティが含まれています。視覚的なインターフェイスを備えた FlexText を使用することで、既存のテキスト ファイルを挿入、または MapForce インターフェイスにて変換する箇所のテキストを抽出することができます。

FlexText により作成されたテンプレートを MapForce へロードすることで、個々のテキストノードをデータベース、 EDI、XBRL、フラットファイル、 Excel、JSON、プロトコルバッファー、Web サービス 、そして Web サービスデータや、それらの組み合わせに変換することができます。FlexText にて作成した構成を保存することで、異なるマッピングにおけるテキスト ファイルにて同じテンプレートを再利用することができます。

FlexText では ETL マッピングのためのテキスト ファイル変換テンプレートのルールを作成することができます。テキスト ファイルを FlexText インターフェイスで開くと、ファイルが 2 つのブロックにて表示されます。ルートブロックにはオリジナルのファイルが表示され、右側に表示されるオペレーションブロックには、抽出されたファイルのデータがリアルタイムで表示されます。

作成されたオペレーションの結果は、すべてリアルタイムで表示されるため、必要な結果が得られたかどうかを直ちに確認することができます。

レガシーなテキスト ファイルには、複雑なフラット ファイル内部に有用なデータが CSV (Comma-Separated Values) や FLF (固定長フィールド) 形式で収められている場合もあります。FlexText では CSV や FLF オペレーションにより、このようなデータを直接抽出することができます。分割などのオペレーションを行った後に、残された CSV や FLF フィールドに対して名前付けや長さの指定を行います。

FlexText の分割コマンドを使うことで、必要なデータとそうではないテキスト、文字、そして空白を分離させることができます。分割によりデータは新しい 2 つのブロックに表示されます: 1 つには分割により取り除かれたデータが、そしてもう 1 つには変換後に修正されたファイルのビューが表示されます。各オペレーションの実行結果を直ちに確認することができます。

FlexText ではノードならびに無視オペレーションがサポートされており、情報ツリー構築のさらなる柔軟性を提供しています。無視オペレーションを使うことで、そのテキスト ブロックは意味のないものとしてマークされ、MapForce では表示されないようになります。ノードオペレーションにより MapForce 内の情報ツリーに新しいノードを作成し、必要に応じてテキスト データの階層構造を正しく表示することができます。

スイッチオペレーションを使えば 1 つのテキスト ブロックに対して複数の条件を定義することができます。定義された条件を満たす場合のみ、テキストファイル内のデータは、 MapForce 変換内で使用される関連したコンテナーにパスされます。

FlexText による正規表現のためのサポート例えば、入力ファイルが、システムにより生成された数字と文字コードが左余白内にあるレポートである場合、レコードの型は、 「O」 の後に5つの数字にから構成されるシーケンスは、オフィスのための新しい箇所を示しています。