Bismart Data Integration Framework

Bismart Data Integration Framework es una plataforma de ingesta e integración de datos diseñada para facilitar y agilizar los procesos de integración de datos en el entorno corporativo, especialmente en el contexto de ingesta e integración de datos mediante Azure Data Factory (ADF).

La solución ha sido desarrollada para funcionar de forma óptima tanto en procesos con SQL como con Databricks.

La plataforma, desarrollada por Bismart, está basada en recursos de Azure, orquestada por Azure Data Factory y configurable mediante metadatos.

Data Integration Framework: ¿Cómo funciona?

Data Integration Framework permite mover y transformar datos desde múltiples orígenes hacia múltiples destinos, con la ventaja que permite definir qué objetos integrar y cómo se tienen que comportar las lecturas a origen, las cargas en destino y los criterios de activación de cada ingesta.

Reducción de costes y tiempos de implementación: Especialmente valioso en proyectos con un gran número de tablas, donde la automatización y estandarización de procesos reduce la carga operativa.
Mayor control y gobernanza de datos: El framework ofrece una visión completa y centralizada de los procesos, facilitando la identificación y resolución de problemas de carga.

Eficiencia operativa: Procesos optimizados que reducen la redundancia de componentes y la duplicidad de lógicas de carga, disminuyendo el riesgo de errores.
Escalabilidad asegurada: El diseño modular y la capacidad de personalización permiten escalar los procesos de integración de datos a medida que las necesidades del negocio crecen.

Arquitectura de Data Integration Framework con Databricks

Arquitectura de Data Integration Framework SQL

Data Integration Framework: ¿Por qué lo necesitas?

El equipo de expertos de Bismart en integración de datos ha desarrollado esta plataforma para dar solución a las problemáticas más recurrentes y complejas de los procesos de ingesta e integración de datos en Azure Data Factory.

Contextualización: Problemática de los proyectos Data Factory sin Framework

Los proyectos desarrollados con Data Factory requieren de control y de una metodología, de lo contrario:

Cada proyecto o solución se diseña de manera aislada e independiente, con el riesgo que eso supone
Deriva fácilmente en desorden
Dificultad de adopción de la solución por parte de nuevos usuarios que se incorporen al proyecto
Existen tantos procesos como tablas a cargar, con la consiguiente duplicidad de lógicas de carga
Redundancia de componentes: linked services, datasets, actividades de copia, …
Costes elevados o sobredimensionados
Lentitud de procesos, generalmente ejecutados en secuencia o con demasiado paralelismo
Poco gobierno del dato: dificultad para identificar, localizar y resolver los problemas en las cargas
Descentralización y poco control de los procesos
Desalineamiento entre el criterio de carga “técnico” y el criterio de carga “funcional o de negocio”

Las principales ventajas de Bismart Data Integration Framework

Arquitectura 100% basada en Azure
Permite la estandarización de los procesos de ingesta de datos en Data Factory
Reduce los costes para la implementación (especialmente cuando el número de tablas es elevado)
Reduce los tiempos de implementación, de ingesta y de transformación de datos
Facilita la adopción de la herramienta en caso de incorporar nuevos miembros al equipo
Agiliza y optimiza los procesos de carga de datos desde cualquier origen de datos (cloud o on-premise)
Otorga una alta flexibilidad y escalabilidad a la plataforma
Monitorización centralizada de todos los procesos
Permite configurar comportamientos de lectura en origen y de carga en destino para cada ingesta individual
Incluye mecanismos de historificación automática de los datos origen
Detecta cambios en la estructura de datos de origen, gestiona estos cambios mediante reglas preconfiguradas y notifica a los responsables de los cambios