Calidad de datos: qué es, cómo medirla y mejorarla

La calidad de datos, o data quality, expresa hasta qué punto la información es adecuada para un uso concreto. Se evalúa mediante condiciones como exactitud, completitud, validez, consistencia, unicidad y actualización, teniendo en cuenta la decisión o el proceso que depende de ella.

Mejorarla requiere acordar qué debe cumplir la información, comprobarlo y actuar sobre los problemas detectados. Una carga terminada correctamente puede contener datos equivocados; un conjunto que supera una prueba de formato puede seguir siendo inadecuado para el análisis previsto.

Esta guía explica cómo evaluar los datos, definir reglas, preparar la información y mantener controles de calidad durante su uso. Está dirigida a responsables de negocio, datos y tecnología que necesitan decidir qué información es suficientemente fiable y cómo corregir sus limitaciones.

Contenido de la guía

¿Qué significa tener datos de calidad?

Un conjunto tiene la calidad necesaria cuando permite realizar su uso previsto bajo condiciones conocidas. El nivel requerido puede cambiar entre tareas: observar una tendencia comercial y enviar una factura individual plantean necesidades distintas de detalle, exactitud y actualización.

Por eso conviene empezar por preguntas concretas: ¿para qué se utilizará la información?, ¿qué error cambiaría la decisión?, ¿cuánto retraso puede tolerarse? Las respuestas permiten acordar controles y priorizar correcciones.

La definición de data quality de IBM sitúa la adecuación al propósito junto a las dimensiones de evaluación. El artículo sobre por qué importa la calidad de datos en la empresa desarrolla su relación con la operación y la confianza de los usuarios.

La relación entre calidad de datos y calidad de las decisiones requiere examinar también cómo se interpreta la evidencia. Un dato fiable ayuda, pero no garantiza por sí solo una decisión acertada.

Relación con gobierno e integración de datos

El gobierno del dato asigna autoridad para acordar reglas, resolver discrepancias y aceptar excepciones. La gestión de calidad convierte esas expectativas en comprobaciones, seguimiento y acciones de mejora.

La integración de datos debe aplicar los controles en el recorrido entre fuentes y consumidores. Una transformación puede corregir un problema y crear otro si se aplica sin entender su significado.

Dimensiones para evaluar la calidad de los datos

Las dimensiones permiten describir problemas distintos. El marco de calidad de datos del Gobierno británico utiliza seis: completitud, unicidad, consistencia, oportunidad, validez y exactitud. No deben confundirse entre sí.

  • Exactitud. Correspondencia del dato con la realidad que pretende representar.
  • Completitud. Presencia de la información necesaria dentro del alcance evaluado.
  • Validez. Cumplimiento de formatos, tipos, rangos o reglas definidos.
  • Consistencia. Ausencia de contradicciones entre representaciones o relaciones que deberían coincidir.
  • Unicidad. Ausencia de duplicados según la entidad y el nivel de detalle acordados.
  • Oportunidad y actualización. Disponibilidad de información suficientemente reciente para el momento de uso.

¿Cómo distinguir los problemas en la práctica?

Una fecha puede ajustarse al patrón esperado y, aun así, ser incorrecta porque se intercambiaron día y mes. En ese caso pasa una prueba de formato, pero no representa el hecho correctamente.

Un campo puede estar completo y contener una categoría inventada para evitar un valor vacío. Una tabla puede tener todos los identificadores únicos y no incluir operaciones que nunca llegaron del origen.

La unicidad también depende del nivel de detalle. Si cada fila corresponde a una línea de pedido, repetir el identificador del pedido en varias filas es esperable. La clave de evaluación podría necesitar pedido y número de línea.

Estos ejemplos muestran por qué un único porcentaje no describe todos los riesgos. Cada uso requiere comprobaciones específicas y resultados que permanezcan visibles.

Integridad y calidad de datos

La integridad se utiliza en contextos de bases de datos, protección y gestión con matices diferentes. En un control concreto, debe especificarse qué se verifica: relaciones entre registros, restricciones, modificaciones o coherencia del contenido.

La introducción a la integridad y comprobación de datos desarrolla estos conceptos. Una protección contra modificaciones no demuestra por sí sola que el valor original fuera correcto.

¿Cómo realizar un diagnóstico de calidad de datos?

El diagnóstico parte de un uso y un conjunto delimitados. Deben identificarse el consumidor, los campos necesarios y las consecuencias de un error. El examen de la información disponible precede a la fijación de umbrales.

El perfilado de datos, o data profiling, permite explorar características como valores ausentes, distribuciones, formatos y frecuencias. Ayuda a formular preguntas y reglas; una distribución inusual no es automáticamente un error.

  • Delimitación del alcance. Sistemas, periodo, población y nivel de detalle.
  • Revisión de definiciones. Qué representa cada campo y cuándo puede faltar legítimamente.
  • Exploración de datos. Valores vacíos, categorías, rangos, repeticiones y relaciones.
  • Contraste de una muestra. Comprobación de casos con fuentes o personas capaces de validar el hecho.
  • Clasificación de limitaciones. Distinción entre errores confirmados, excepciones válidas y casos todavía no evaluables.
  • Priorización por impacto. Relación de cada problema con la tarea afectada y su alcance.

Cuando se utiliza una muestra, debe quedar explicado cómo se seleccionó y qué permite concluir. Un resultado observado en un grupo de registros no debe presentarse como una comprobación completa de toda la población.

Recurso descargable: la guía del modelo de madurez de datos ayuda a situar esta evaluación dentro de las capacidades que necesita la organización.

Una referencia para evaluar el punto de partida

La guía del modelo de madurez de datos permite situar el diagnóstico de calidad dentro de las capacidades que necesita desarrollar la organización.

Limpieza y preparación de datos

La limpieza aplica correcciones acordadas a problemas identificados. La preparación organiza la información para un uso posterior. Debe conservarse contexto suficiente para saber qué cambió, por qué y con qué consecuencias.

Entre las actuaciones habituales están normalizar formatos, tratar duplicados, resolver correspondencias y gestionar valores ausentes. Cada una necesita reglas ajustadas al significado de la información.

  • Formatos. Acordar unidades, fechas y convenciones antes de convertir valores.
  • Duplicados. Definir qué identifica a la entidad y qué evidencia justifica unir registros.
  • Ausencias. Diferenciar información desconocida, no recogida y no aplicable.
  • Valores atípicos. Investigar su origen antes de eliminarlos o sustituirlos.
  • Referencias. Comprobar relaciones y categorías frente a criterios mantenidos por un responsable.

Rellenar un importe desconocido con cero puede alterar un promedio y ocultar la ausencia. Eliminar un registro excepcional puede borrar un caso real que precisamente requiere atención. La decisión debe documentarse y su efecto en el resultado debe comprobarse.

El ejemplo de preparación mediante data wrangling en Azure desarrolla un escenario relacionado. Sus instrucciones deben contrastarse con la configuración y las capacidades actuales del entorno.

Corregir el origen para evitar repeticiones

Una corrección posterior puede ser necesaria para utilizar la información, pero conviene investigar por qué apareció el problema. Si una aplicación admite una categoría incorrecta, limpiar cada carga deja intacta la causa.

Cuando no sea posible modificar el origen, la limitación debe quedar registrada y la solución debe aplicarse de forma controlada. También deben identificarse el responsable de revisar su vigencia y los consumidores que necesitan conocerla.

Reglas y pruebas de validación de datos

Una regla transforma una expectativa en una condición comprobable. Debe especificar a qué registros se aplica, qué se evalúa y qué ocurre cuando el resultado no cumple lo esperado.

Una ficha de regla puede incluir propósito, conjunto y campo, condición, frecuencia, responsable, severidad y acción. Si existe un umbral, la documentación debe justificar por qué es suficiente para el uso y qué excepciones admite.

  • Estructura. Los campos necesarios están disponibles con los tipos previstos.
  • Contenido. Los valores cumplen condiciones de presencia, dominio o rango.
  • Relaciones. Los registros se conectan con las entidades que deben existir.
  • Negocio. Las combinaciones tienen sentido dentro del proceso definido.
  • Reconciliación. Recuentos o importes coinciden con un control comparable del mismo alcance.

Las pruebas deben incluir casos correctos, errores conocidos y excepciones legítimas. También debe comprobarse la propia regla después de cambiar una transformación: un control mal definido puede aprobar datos defectuosos o bloquear información válida.

Los contratos de datos entre productores y consumidores permiten acordar parte de estas expectativas y cómo comunicar modificaciones.

¿Cómo calcular un indicador sin ocultar información?

Para una regla con evaluación disponible, puede utilizarse: cumplimiento = registros que cumplen / registros evaluados a los que aplica la regla × 100. Los registros no evaluados y el alcance del control deben informarse por separado.

Si un campo obligatorio está informado en 980 de 1.000 registros incluidos en el control, su completitud es del 98 %. Este ejemplo describe el cálculo, no un umbral recomendado. Tampoco demuestra que los 980 valores sean correctos.

Si falta el dato necesario para ejecutar una prueba, el resultado debe identificarse como no evaluable. Un fallo de evaluación no equivale a un cero válido ni a una aprobación.

Observabilidad y detección de problemas de datos

Las pruebas comprueban expectativas definidas. La monitorización sigue señales y resultados durante la operación. La observabilidad de datos utiliza esas señales y su contexto para investigar el estado de los datos y las dependencias afectadas.

La descripción de observabilidad de datos de IBM sitúa detección, investigación y resolución dentro del recorrido de la información. Su utilidad depende de la cobertura y de la capacidad del equipo para actuar.

Entre las señales útiles están los retrasos, cambios de esquema, variaciones inesperadas de volumen y resultados de controles. Una caída de ventas puede deberse a un problema de carga o a un cambio real del negocio: la alerta debe conducir a una investigación.

Las explicaciones sobre qué es la observabilidad de datos y qué señales utiliza y cómo se relacionan testing y observabilidad en la gestión de calidad desarrollan estas diferencias.

Reducir alertas que no llevan a una acción

El diseño debe precisar qué condición merece atención, a quién se notifica y qué decisión corresponde tomar. Los patrones esperados deben tener en cuenta calendarios, estacionalidad y cambios conocidos.

La revisión debe incluir falsas alarmas y problemas que no fueron detectados. Un sistema con muchas notificaciones no es necesariamente más eficaz; interesa que ayude a identificar y resolver incidencias relevantes.

Gestión de incidencias y objetivos de servicio

Una incidencia necesita un responsable, un alcance y un criterio de resolución. La evaluación determina qué consumidores están afectados, si pueden seguir utilizando los datos y cómo se comunicará la situación.

  • Identificar y contener. Delimitar el problema y valorar si debe detenerse una publicación o advertirse una limitación.
  • Investigar. Seguir el dato y sus transformaciones para localizar la causa.
  • Corregir y recuperar. Aplicar la solución y reprocesar lo necesario de forma controlada.
  • Validar. Confirmar con evidencia que el conjunto y sus consumidores vuelven a cumplir las condiciones acordadas.
  • Prevenir recurrencia. Ajustar controles, reglas de origen o documentación según lo aprendido.

Los metadatos y el linaje ayudan a identificar dependencias. El artículo sobre metadatos y trazabilidad en integración de datos desarrolla esa conexión.

Acordar qué nivel de servicio necesita el consumidor

Un indicador de servicio mide una condición, como la disponibilidad de datos actualizados antes de una hora acordada. Un objetivo de servicio fija el nivel que se quiere alcanzar. Un SLA formaliza compromisos y condiciones cuando corresponde; no debe confundirse con cualquier objetivo interno.

La guía de Google sobre objetivos de nivel de servicio aporta un marco de fiabilidad que puede adaptarse a recorridos de datos. Su aplicación requiere definir la medida, el periodo, el objetivo y la respuesta ante un incumplimiento.

Un conjunto preparado para un cierre mensual y una señal para una operación inmediata necesitan acuerdos diferentes. El objetivo debe responder al uso real y a una capacidad de operación sostenible.

Controles durante la integración de datos

El ebook de 11 buenas prácticas de integración ayuda a revisar cómo se organiza el movimiento y la preparación de la información.

Herramientas y automatización de la calidad de datos

Las herramientas pueden facilitar perfilado, ejecución de reglas, documentación y seguimiento. Su evaluación debe utilizar datos representativos y comprobar cómo se configuran controles, se investigan errores y se mantiene la solución.

  • Compatibilidad con las fuentes y los puntos donde deben aplicarse las pruebas.
  • Capacidad para definir, versionar y probar reglas de negocio.
  • Resultados comprensibles y evidencia suficiente para investigar fallos.
  • Integración con alertas, responsables y procedimientos de recuperación.
  • Permisos, coste de ejecución y esfuerzo de mantenimiento.

La documentación de calidad de datos en Microsoft Purview Unified Catalog ofrece un ejemplo de evaluación mediante reglas y resultados agregados. Antes de adoptar una capacidad concreta, deben verificarse las fuentes, condiciones y configuraciones compatibles.

La automatización debe conservar una forma de revisar reglas y excepciones. Una propuesta generada por IA puede ayudar a detectar posibles controles, pero su adecuación necesita comprobarse con quienes entienden los datos y el proceso.

Situar los controles dentro de la arquitectura

Es útil comprobar información cerca de su recepción y antes de publicarla para un consumidor. No todas las reglas tienen sentido en el mismo punto: una relación entre fuentes puede evaluarse después de integrarlas.

La organización de datos en capas Medallion puede ayudar a separar estados de preparación. Los nombres de las capas no certifican calidad: deben existir criterios de paso y pruebas verificables.

Recurso descargable: el caso de éxito de arquitectura Medallion presenta una aplicación documentada relacionada con preparación y calidad de la información.

Un caso de arquitectura Medallion

El caso de éxito presenta una aplicación documentada de preparación de datos en capas, relacionada con la calidad y el consumo de la información.

Calidad de datos para inteligencia artificial

La evaluación debe responder al uso de IA previsto. Preparar datos para entrenar un modelo, validar sus resultados y recuperar documentos para responder preguntas requiere controles diferentes.

En datos de entrenamiento o evaluación, la revisión incluye significado, etiquetas, cobertura y condiciones de recogida. La escasa representación de ciertos casos requiere documentar la limitación y comprobar su efecto en la evaluación.

En aplicaciones que recuperan documentos, la revisión incluye vigencia, duplicados, extracción de texto y relación con la fuente original. Una respuesta puede utilizar una versión retirada si la actualización no alcanza todas las representaciones empleadas.

La calidad de los datos es una condición del sistema, junto con permisos, evaluación del modelo y supervisión del uso. Una colección limpia no demuestra por sí sola que las respuestas sean correctas o que el sistema pueda actuar sin controles adicionales.

Recurso descargable: la guía para preparar los datos de tu empresa para la IA permite ordenar las comprobaciones de fuentes y condiciones de uso.

Datos preparados para su uso en IA

La guía de preparación de datos para IA permite ordenar la revisión de fuentes, acceso y condiciones de información antes de ampliar su utilización.

Ejemplo de evaluación de calidad en datos de pedidos

El ejemplo considera una empresa que necesita analizar pedidos por cliente y fecha de entrega. Este ejemplo es hipotético y no representa resultados de un cliente ni un estándar universal de calidad.

El equipo define que cada fila representa una línea de pedido. Acuerda qué fecha utilizar, cuándo puede faltar y cómo se relaciona el identificador de cliente con su registro de referencia.

En una evaluación de 1.000 líneas, 20 no tienen un identificador de cliente que debería estar presente. La completitud de ese campo es del 98 %. Antes de decidir si el conjunto puede utilizarse, el equipo debe conocer qué pedidos e importes representan esas 20 líneas.

Una revisión detecta también referencias de pedido repetidas. Al comprobar el nivel de detalle, parte de esas repeticiones corresponde a líneas distintas y es legítima. El control de unicidad se ajusta a la clave compuesta y se revisan los duplicados restantes.

Finalmente, se contrasta una muestra de fechas con el origen. Algunas cumplen el formato, pero representan una fecha diferente de la que necesita el análisis. Se modifica la regla de preparación y se comprueban sus efectos en los indicadores.

El resultado se documenta por control, con cobertura, problemas pendientes y decisión de uso. Un porcentaje agregado no sustituye esa evaluación del impacto.

¿Cómo implantar un programa de mejora de la calidad?

El programa parte de una decisión o proceso afectado y las fuentes que necesita. Una primera entrega acotada permite medir el problema y comprobar una mejora.

  • Acordar consumidores, alcance y nivel de calidad necesario.
  • Medir la situación inicial y documentar qué todavía no puede evaluarse.
  • Asignar reglas, responsables y tratamiento de excepciones.
  • Corregir causas y probar la recuperación de información afectada.
  • Incorporar supervisión al proceso habitual.
  • Revisar resultados, esfuerzo de mantenimiento y problemas recurrentes.

La evaluación compara tanto la incidencia del error como el coste de gestionarlo: revisiones manuales, reprocesamientos y retrasos en el uso. La atribución de una variación de negocio a la calidad requiere examinar también otros factores.

Recurso descargable: las buenas prácticas de integración de datos ayudan a revisar cómo aplicar controles durante el movimiento y preparación de la información.

Preguntas frecuentes sobre calidad de datos

¿Cuáles son las dimensiones de calidad más utilizadas?

Exactitud, completitud, validez, consistencia, unicidad y oportunidad son dimensiones habituales. La selección y el método de medición dependen del uso. Su importancia puede variar entre procesos.

¿Un dato válido es siempre correcto?

No. La validez comprueba una regla o formato. La exactitud exige que el dato corresponda al hecho representado. Una fecha puede pasar una regla de formato y seguir siendo la fecha equivocada.

¿Qué diferencia hay entre limpieza y gestión de calidad?

La limpieza aplica correcciones a problemas identificados. La gestión de calidad incluye además definir expectativas, medir, prevenir, supervisar y resolver incidencias durante el uso de los datos.

¿La observabilidad sustituye las pruebas de datos?

No. Las pruebas comprueban expectativas definidas y la observabilidad aporta señales y contexto para investigar el comportamiento del recorrido. Ambas necesitan cobertura suficiente y responsables que puedan actuar.

¿Qué porcentaje de calidad es aceptable?

No existe un porcentaje universal. Depende del control, la cobertura y el impacto del error. Un problema poco frecuente puede afectar a una operación crítica; la aceptación debe definirse por uso y las limitaciones deben quedar documentadas.

¿La calidad de datos garantiza cumplimiento normativo?

No. La exactitud y otras condiciones de calidad pueden contribuir a las obligaciones aplicables, pero el tratamiento debe cumplir también sus requisitos de finalidad, acceso y protección. Los principios de protección de datos resumidos por la AEPD abarcan varias obligaciones. Un resultado de calidad no constituye una certificación de cumplimiento.

Recursos descargables para mejorar la calidad de los datos

De la evaluación a la mejora continua

Un conjunto utilizado en una decisión relevante permite concretar la primera evaluación: una regla definida, un alcance explícito y una respuesta acordada ante el fallo. Esa evidencia ayuda a decidir qué debe corregirse y qué controles merece la pena ampliar.

La solución Data Quality Framework de Bismart ofrece una opción para evaluar según los requisitos de validación, documentación y seguimiento.