Bismart Data Integration Framework

Bismart Data Integration Framework és una plataforma d'ingesta i integració de dades dissenyada per a facilitar i agilitzar els processos d'integració de dades en l'entorn corporatiu, especialment en el context d'ingesta i integració de dades mitjançant Azure Data Factory (ADF).

La solució ha estat desenvolupada per a funcionar de manera òptima tant en processos amb SQL com amb Databricks.

La plataforma, desenvolupada per Bismart, està basada en recursos d'Azure, orquestrada per Azure Data Factory i configurable mitjançant metadades.

Data Integration Framework: Com funciona?

Data Integration Framework permet moure i transformar dades des de múltiples orígens cap a múltiples destinacions, amb l'avantatge que permet definir quins objectes integrar i com s'han de comportar les lectures a origen, les càrregues en destinació i els criteris d'activació de cada ingesta.

Reducció de costos i temps d'implementació: Especialment valuós en projectes amb un gran nombre de taules, on l'automatització i estandardització de processos redueix la càrrega operativa.
Major control i governança de dades: El framework ofereix una visió completa i centralitzada dels processos, facilitant la identificació i resolució de problemes de càrrega.
Eficiència operativa: Processos optimitzats que redueixen la redundància de components i la duplicitat de lògiques de càrrega, disminuint el risc d'errors.
Escalabilitat assegurada: El disseny modular i la capacitat de personalització permeten escalar els processos d'integració de dades a mesura que les necessitats del negoci creixen.

Arquitectura Data Integration Framework con Databricks

Arquitectura de Data Integration Framework SQL

Data Integration Framework: Per què el necessites?

L'equip d'experts de Bismart en integració de dades ha desenvolupat aquesta plataforma per a donar solució a les problemàtiques més recurrents i complexes dels processos d'ingesta i d'integració de dades a Azure Data Factory.

Contextualització: Problemàtica dels projectes Data Factory sense Framework

Els projectes desenvolupats amb Data Factory requereixen de control i d'una metodologia, en cas contrari:

Cada projecte o solució es dissenya de manera aïllada i independent, amb el risc que això suposa
Deriva fàcilment en desordre
Dificultat d'adopció de la solució per part de nous usuaris que s'incorporin al projecte
Hi ha tants processos com taules a carregar, amb la consegüent duplicitat de lògiques de càrrega
Redundància de components: linked services, datasets, activitats de còpia...
Costos elevats o sobredimensionats
Lentitud de processos, generalment executats en seqüència o amb massa paral·lelisme
Poca governança de dades: dificultat per a identificar, localitzar i resoldre els problemes en les càrregues
Descentralització i manca de control dels processos
Desalineament entre el criteri de càrrega “tècnic” i el criteri de càrrega “funcional o de negoci”

Els principals avantatges de Bismart Data Integration Framework

Arquitectura 100% basada en Azure
Permet l'estandardització dels processos d'ingesta de dades a Data Factory
Redueix els costos per a la implementació (especialment quan el nombre de taules és elevat)
Redueix els temps d'implementació, d'ingesta i de transformació de dades.
Facilita l'adopció de l'eina en cas d'incorporar nous membres a l'equip
Agilitza i optimitza els processos de càrrega de dades des de qualsevol origen de dades (cloud o on-premise)
Aporta un alt nivell de flexibilitat i d'escalabilitat a la plataforma
Monitoratge centralitzat de tots els processos
Permet configurar comportaments de lectura a l'origen i de càrrega a la destinació per a cada ingesta
Inclou mecanismes d'historificació automàtica de les dades d'origen
Detecta canvis en l'estructura de dades d'origen, gestiona aquests canvis mitjançant regles preconfigurades i notifica els canvis als responsables