Asignación de datos de BD y ETL

Herramientas de asignación de BD

MapForce es una herramienta ETL y de integración de datos que ofrece potentes funciones para realizar conversiones de BD. Puede hacer conversiones entre datos de BD y datos XML, JSON, PDF, CSV y otros archivos planos, EDI, Excel (OOXML), protobuf, XBRL, servicios web e incluso otros formatos de BD.

Cuando cargue una estructura de BD en la ventana de diseño, MapForce interpreta automáticamente el esquema de la BD, le permite seleccionar tablas y vistas de la BD y reconoce las relaciones entre las tablas. Así podrá ver visualmente la estructura de la base de datos.

Cuando termine de cargar todos los modelos de contenido necesarios para su asignación de datos de BD, conecte las estructuras de origen y destino mediante líneas de conexión.

Bases de datos relacionales compatibles:

Bases de datos NoSQL compatibles:

MapForce es compatible con las principales bases de datos relacionales y también con bases de datos NoSQL de uso común, lo que le permite crear diseños gráficos de asignación de datos de BD entre datos de origen de BD, filtros y funciones de procesamiento de datos y otras estructuras de datos. Esto facilita la migración de bases de datos, como MySQL a PostgreSQL, así como otras innumerables posibilidades, incluidas las transformaciones de datos uno-a-muchos y las transformaciones encadenadas.

Filtrar y procesar datos de bases de datos

En muchas transformaciones de datos de BD es necesario manipular los datos en base a condiciones booleanas o instrucciones SQL y SQL/XML. Quizás necesite realizar comparaciones lógicas, cálculos matemáticos y operaciones de cadena, buscar datos de la BD con un valor determinado y realizar muchas otras modificaciones en los datos. En la imagen anterior, puede ver que las funciones de procesamiento de datos aparecen en forma de recuadros entre las líneas de conexión que unen los modelos de contenido de origen y destino.

Las funciones de procesamiento permiten realizar avanzadas asignaciones de datos de BD para satisfacer los diferentes requisitos del proyecto. Por ejemplo, puede construir asignaciones de datos de BD que utilicen datos XML o mensajes EDI para extraer filas de la BD utilizando criterios de filtro basados en los elementos XML o EDI.

Registro de resultados de BD (rastreo)

El registro de resultados de BD facilita el seguimiento de todos los cambios que hace un proyecto ETL o de asignación en una BD cuando este se ejecuta.

Al activar el seguimiento, acciones como las inserciones o actualizaciones de BD, o los errores, se guardan en un archivo XML que después puede seguir analizando o procesando de forma automatizada.

El seguimiento de BD se puede habilitar a distintos niveles: componente de BD, tabla de BD, procedimiento almacenado o campo de BD. Puede elegir entre hacer seguimiento de todos los mensajes o solamente de los errores, o puede desactivarlo por completo.

Una vez que haya seleccionado el nivel de seguimiento, el componente de DB del proyecto de asignación afectado se amplía y muestra el registro en una estructura XML. Si quiere que el archivo de seguimiento esté en un formato distinto al XML puede asignar datos desde el archivo hasta otro formato compatible con MapForce (por ejemplo, un archivos de texto u otra BD).

Al hacer clic en el botón Resultados para acceder a la vista previa del resultado de la asignación puede ver un ejemplo aproximado del aspecto que tendrá el archivo de seguimiento una vez se haya ejecutado la asignación.

Asignación avanzada de datos de base de datos y ETL

Para los usuarios que trabajan con SQL, MapForce incluye una pestaña de consulta de base de datos donde pueden realizar consultas directas de la base de datos. Al conectarse a una base de datos desde la pestaña "Consulta de la BD", MapForce muestra las tablas de la BD en forma de árbol en el panel del explorador.

Después puede usar la pestaña del editor SQL para visualizar, editar y ejecutar instrucciones SQL o SQL/XML, ya sea abriendo archivos SQL ya existentes o creando instrucciones SQL desde cero gracias a la función de arrastrar y colocar y de la función de autocompletar.

Puede ejecutar el script SQL y ver los resultados en formato tabular y guardar tanto los datos recuperados como el script SQL por separado en archivos diferentes.

En MapForce puede configurar de qué forma se añaden valores de clave principal y foránea en la base de datos que es el destino de la asignación de datos. Puede ofrecer valores para las claves desde MapForce o dejar que el sistema de la base de datos genere valores automáticamente.

En casos en los que las relaciones de clave principal o de clave foránea no están definidas explícitamente en las tablas de la BD, MapForce permite definir estas relaciones de modo inline, es decir, sin que surta efecto en los datos de origen.

Cuando asigne datos a una base de datos, MapForce le permite seleccionar acciones de tabla de la base de datos para controlar cómo se escriben los datos en la base de datos. Esto ofrece una total flexibilidad a la hora de automatizar las tareas de gestión de datos más avanzadas.

En el sencillo cuadro de diálogo "Acciones de tabla de la base de datos" podrá definir las columnas de la tabla seleccionada para determinar qué acción se debe ejecutar en la base de datos (INSERT, UPDATE, DELETE).

Esto le ofrece una flexibilidad incomparable a la hora de manipular filas de bases de datos como respuesta a datos XML, EDI, XBRL, archivos planos, Excel, JSON, JSON5, servicios web y otros datos de base de datos con MapForce.

En MapForce puede usar procedimientos almacenados como componentes de entrada (si ofrecen resultados) o de salida (si insertan o actualizan datos). Incluso puede insertarlos como llamadas de tipo función. Así podrá introducir datos de entrada, ejecutar el procedimiento y leer/asignar los datos de salida a otros componentes.

MapForce también permite conectar y asignar datos XML almacenados en campos de BD relacionales (característica compatible únicamente con SQL Server & IBM DB2). Para ello basta con asociar un esquema XML, ya sea un esquema registrado en la base de datos o un esquema ubicado en su sistema de archivos, y MapForce representa el esquema en forma de árbol en el campo de la base de datos.

Las consultas SQL que operan dentro de las bases de datos no son siempre suficientes a la hora de realizar tareas complejas de asignación de datos. MapForce ofrece más funciones de ordenación mediante el componente WHERE/ORDER de SQL.

Asignaciones entre datos JSON y BD

MapForce ofrece opciones para definir y ejecutar asignaciones de datos de BD basadas en modelos JSON (notación de objetos JavaScript). En estas asignaciones de BD los componentes de origen y destino pueden ser archivos de instancia o esquemas JSON. MapForce lee y escribe archivos JSON siguiendo la especificación JSON Draft 04.

Los componentes JSON aparecen representados con la sintaxis de elemento correspondiente y con los tipos de datos claramente indicados (imagen siguiente).

Además, puede aplicar las funciones de procesamiento de datos de la biblioteca de funciones de MapForce para transformar datos JSON.

Cuando se añade un archivo JSON/JSON5 a la asignación de datos de BD, MapForce detecta automáticamente si se trata de un esquema o de una instancia. Si se trata de un archivo de instancia JSON/JSON5, MapForce solicitará que aporte un esquema o generará uno automáticamente. MapForce utiliza el esquema JSON/JSON5 para generar la estructura del componente.

MapForce Server ofrece inserciones masivas para bases de datos

La operación de inserción masiva es compatible con algunas bases de datos y permite insertar grandes volúmenes de datos en una tabla de BD en una sola instrucción SQL (en lugar de usar instrucciones INSERT para cada fila). Con la operación de inserción masiva se reduce la carga de procesamiento y el rendimiento es mucho más rápido. Las pruebas realizadas con la operación de inserción masiva en MapForce Server demuestran un rendimiento 10 veces más rápido que cuando se usan instrucciones Insert.

Además puede ser de gran ventaja en entornos de múltiples usuarios. Por ejemplo, si un usuario envía una serie de comandos Insert a la base de datos puede que esta operación sea interrumpida por la solicitud Select de otro usuario en la misma tabla. En casos como este la operación Select daría resultados incompletos o datos no válidos.