Herramientas ETL en MapForce

Software ETL profesional

Las herramientas ETL (extracción, transformación y carga) permiten extraer datos de fuentes externas, transformarlos a un formato de datos normalizado y cargarlos después en el objeto o repositorio de destino.

MapForce es compatible con los principales formatos de datos ( XML, XML, JSON, PDF, BD, archivos planos, EDI, Protobuf, etc.), por lo que es una herramienta ETL increíblemente efectiva, ligera y ampliable. MapForce ofrece una sencilla interfaz de asignación ETL en la que puede cargar estructuras compatibles con facilidad y conectar nodos o agregar filtros y funciones de transformación mediante operaciones de arrastrar y colocar. También incluye un generador visual de funciones para proyectos ETL más complejos.

MapForce completa su interfaz visual con sus herramientas ETL, que se pueden integrar perfectamente con el servidor de alto rendimiento MapForce Server.

Las funciones arrastrar y colocar para asignaciones ETL de MapForce permiten asociar estructuras de datos con toda facilidad.

Con su biblioteca integrada de funciones puede agregar avanzados filtros y funciones de procesamiento de datos. Con el generador visual de funciones puede combinar varias operaciones recursivas y operaciones inline en proyectos ETL o de integración de datos más complejos e incluso guardar funciones para poder usarlas más tarde en otros proyectos de asignación de datos.

MapForce también admite el uso de múltiples esquemas de entrada y salida, múltiples archivos de origen y destino y avanzadas transformaciones de datos en varias pasadas.

Al ser compatible con transmisiones de secuencias de datos, MapForce contribuirá a potenciar el rendimiento de sus proyectos ETL porque permite transmitir datos de entrada desde archivos XML, CSV y FLF y bases de datos relacionales de gran tamaño y transmitir datos de salida a archivos XML, CSV y FLF igual de grandes o insertarlos en una base de datos.

Esta característica integrada hace que MapForce pueda procesar enormes conjuntos de datos y proyectos ETL con facilidad y que la única limitación sea la cantidad de espacio libre en el disco de su equipo o en la red.

Para activar esta característica, basta con seleccionar el icono BUILTIN situado en la barra de herramientas del panel de diseño de MapForce.

Con sus funciones de inserción masiva y transmisión de secuencias de datos, MapForce Server es perfecto para ejecutar asignaciones de datos ETL.

Conversión de formatos de datos

En aplicaciones ETL, a menudo el formato de los datos que se quieren importar es incompatible con el del repositorio de destino. MapForce ofrece una potencia y flexibilidad incomparables gracias a sus avanzadas funciones de conversión y transformación de datos. Por ello es una eficiente herramienta para todo tipo de proyectos de integración de datos. Podrá integrar datos de diferentes archivos en diferentes formatos con facilidad.

Gracias a sus funciones adicionales para la automatización de integraciones de datos, MapForce es un producto intermedio ideal para conectar aplicaciones distribuidas en cualquier arquitectura empresarial, ya sea web o en la nube.

La asignación ETL de la imagen siguiente incluye tres formatos de datos. El archivo principal de origen es una hoja de cálculo de Excel y el repositorio de salida final es una base de datos. Sin embargo, los registros de la columna SharesAndLeaves de la base de datos están almacenados como un objeto JSON. La herramienta ETL MapForce construye el objeto JSON de forma instantánea y lo incluye al generar la instrucción insert de la base de datos como se resalta en la vista previa de la salida en la parte inferior derecha de la captura de pantalla.

Independientemente del contenido subyacente, MapForce integra datos basados en estructuras de datos, ya sea un esquema XML, JSON o de base de datos, una plantilla PDF, un archivo de configuración EDI o una taxonomía XBRL, por ejemplo. Esto significa que podrá reutilizar las asignaciones de datos a medida que cambian sus datos comerciales.

MapForce puede generar archivos de ejecución para MapForce Server o código de integración de datos libre de derechos de autor en Java, C# o C++ para procesar proyectos ETL de forma automatizada. Gracias a ello puede implementar operaciones de integración o migración de datos programadas o desencadenadas por eventos e incluirlas en aplicaciones de elaboración de informes, comercio electrónico o basadas en SOA. Las operaciones de integración de datos de MapForce también se pueden automatizar a través de una API de integración de datos o con un control ActiveX.

En los proyectos ETL suele ser necesario manipular datos para transformar los datos de entrada antes de que el sistema de destino los consuma. MapForce ofrece un intuitivo generador visual de funciones, bibliotecas integradas de funciones de procesamiento de datos, filtros y condiciones, y muchas otras características que le ayudarán a manipular datos e integrar formatos diferentes.

Con MapForce no se necesitan adaptadores ni otros complementos. El usuario tiene total control sobre el proceso de diseño e implementación de la integración de datos de transformación de todo tipo de datos, ya sean datos XML, JSON, de BD, archivos de texto, Excel, EDI, XBRL o servicios web.

Herramientas ETL para BD

Las herramientas ETL para BD de MapForce ofrecen potentes funciones para realizar asignaciones de BD, lo que incluye asignaciones entre datos de BD y cualquier combinación de datos XML, XML, JSON, PDF, CSV, EDI, Excel, Protobuf, XBRL, servicios web e incluso otros formatos de BD.

Cuando cargue una estructura de BD en la ventana de diseño, MapForce interpreta automáticamente el esquema de la BD, le permite seleccionar tablas y vistas de la BD y reconoce las relaciones entre las tablas.

Cuando termine de cargar todos los modelos de contenido necesarios para su asignación ETL de datos de BD, conecte las estructuras de origen y destino mediante líneas de conexión.

Características de la asignación de datos de BD:

MapForce es compatible con las principales bases de datos relacionales y también con bases de datos NoSQL de uso común, lo que le permite crear diseños gráficos de asignación de datos de BD entre datos de origen de BD, filtros y funciones de procesamiento de datos y otras estructuras de datos.

Bases de datos relacionales compatibles con ETL:

Bases de datos NoSQL compatibles con ETL:

En muchas asignaciones ETL de datos de BD es necesario manipular los datos en base a condiciones booleanas o instrucciones SQL y SQL/XML. Quizás necesite realizar comparaciones lógicas, cálculos matemáticos y operaciones de cadena, buscar datos de la BD con un valor determinado y realizar muchas otras modificaciones en los datos. En la imagen anterior, puede ver que las funciones de procesamiento de datos aparecen en forma de recuadros entre las líneas de conexión que unen los modelos de contenido de origen y destino.

Las funciones de procesamiento permiten realizar avanzadas asignaciones de datos de BD para satisfacer los diferentes requisitos del proyecto. Por ejemplo, puede construir asignaciones de datos de BD que utilicen datos XML o mensajes EDI para extraer filas de la BD utilizando criterios de filtro basados en los elementos XML o EDI.

Una vez termine de definir la asignación, puede obtener una vista previa de los resultados con un solo clic y guardarlos en un archivo gracias al motor integrado de MapForce.

Las asignaciones cuyo componente de destino es una BD dan lugar a scripts SQL (p. ej. instrucciones SELECT, INSERT, UPDATE y DELETE) que se ejecutan en la BD de destino directamente desde MapForce.

Herramienta ETL para asignación de texto y archivos planos

Las fuentes de datos heredadas se pueden extraer de archivos de texto y actualizar para que sean coherentes con repositorios ETL ya existentes. MapForce incluye la herramienta FlexText. Esta utilidad única sirve para analizar y convertir archivos de texto, como informes de texto, archivos de registro y otros archivos de texto heredados, en diseños de asignación de datos. Gracias a su sencilla interfaz visual, puede insertar un archivo de texto y extraer las partes del archivo que desee convertir utilizando MapForce.

FlexText produce una plantilla que luego se carga en MapForce y en la que los nodos individuales de texto se pueden convertir en cualquier combinación de datos XML, BD, PDF, EDI, XBRL, archivos planos, Excel, JSON, Protocol Buffers y servicios web. Si guarda la configuración creada en FlexText, podrá volver a usar la misma plantilla para convertir varios archivos de texto en varias asignaciones.

FlexText permite crear reglas para plantillas de conversión de archivos de texto para asignaciones ETL. En FlexText los archivos se representan en dos bloques. El bloque raíz representa el archivo original, mientras que el bloque de operación (situado a la derecha) muestra los datos del archivo en tiempo real mientras extrae los datos que necesita.

El resultado de cada operación realizada puede verse en tiempo real, para que pueda ver inmediatamente si obtuvo el resultado deseado o no.

A menudo los archivos de texto heredados contienen datos útiles en formato CSV (valores separados por comas) o formato FLF (campo de longitud fija) incrustados en un archivo plano más complejo. Con FlexText puede extraer dichos datos utilizando las operaciones CSV y FLF. Tras aplicar la operación "División" o cualquier otra operación, puede almacenar los campos CSV o FLF restantes, configurando su nombre, longitud, etc.

FlexText permite aislar los datos a los que necesita tener acceso mediante la eliminación de texto no relevante, caracteres y espacios en blanco. Para ello puede usar diferentes comandos de división. Cada división representa los datos en dos nuevos bloques: uno que contiene los datos que separó y otro la vista modificada del archivo convertido. De este modo puede ver inmediatamente el resultado de cada operación que realice.

En FlexText puede usar las operaciones "Nodo" y "Omitir" para manipular los datos con mayor flexibilidad. La operación "Omitir" marca un bloque de texto como irrelevante a efectos de la conversión y envía a MapForce la instrucción de omitirlo. La operación "Nodo" crea un nodo nuevo en el árbol de información en MapForce para que pueda representar la naturaleza jerárquica de sus datos de texto cuando lo necesite.

La operación "Conmutador" permite definir varias condiciones para un solo bloque de texto. Los datos del archivo de texto se pasan al contenedor asociado para poder usarlos en la conversión de MapForce solo si se cumple la condición definida.

En FlexText también puede trabajar con expresiones regulares. Por ejemplo, imagine que el archivo de entrada es un informe con códigos alfanuméricos que indican los tipos de registro y donde una secuencia de cinco dígitos seguida de la letra "O" indica el comienzo de una nueva sección para una oficina de la compañía.