Almacenamiento de Datos

Un almacén de datos es un repositorio central que consolida los datos de los sistemas operativos de una organización en una estructura diseñada para el análisis, en lugar de para el procesamiento de transacciones. Los datos se extraen de los sistemas de origen, se transforman a formatos y definiciones consistentes y se cargan en el almacén, donde se pueden consultar en diferentes fuentes sin afectar a los sistemas que los generaron.

El problema que aborda es la fragmentación. La información de una organización suele estar presente en una plataforma de comercio electrónico, un sistema de gestión de relaciones con el cliente, un paquete financiero, herramientas de marketing, software de soporte y varias hojas de cálculo, cada una con sus propias definiciones, identificadores e historial. Las preguntas que involucran más de una de estas plataformas no pueden responderse sin una conciliación manual, razón por la cual los análisis que deberían tomar minutos tardan días y por la cual diferentes departamentos generan cifras distintas para la misma métrica.

La segunda razón es la separación de las cargas de trabajo analíticas de las operativas, una necesidad práctica más que una preferencia. Las consultas analíticas complejas ejecutadas sobre bases de datos de producción degradan el rendimiento de los sistemas de los que dependen clientes y empleados, y los esquemas operativos están optimizados para registrar transacciones, no para agregarlas. Un almacén de datos permite realizar análisis sin restricciones y sin riesgo operativo.

La diferencia con un lago de datos radica en la estructura y la sincronización. Un almacén impone un esquema y transformaciones antes de la carga, lo que produce datos consistentes y listos para consultas, a costa de un mayor trabajo de diseño inicial y una menor flexibilidad. Un lago almacena los datos sin procesar en su formato original y aplica una estructura al leerlos, lo que preserva la flexibilidad y el detalle, aunque traslada la responsabilidad de la interpretación a cada usuario. Las arquitecturas modernas combinan cada vez más ambos enfoques, almacenando datos sin procesar y construyendo capas modeladas sobre ellos.

El modelado es donde reside la mayor parte del valor y la mayor parte de la dificultad. Decidir cómo se definen las entidades de negocio, cómo se calculan las métricas, cómo se gestionan los atributos de cambio lento y cómo se concilian las fuentes codifica la comprensión que la organización tiene de sí misma. Los almacenes de datos que replican las estructuras de los sistemas de origen sin este trabajo simplemente reubican la fragmentación, y el problema de la conciliación reaparece al realizar consultas.

La gobernanza de las definiciones es más importante que la tecnología. Un repositorio con tres cálculos de ingresos o dos definiciones de cliente activo genera discrepancias con mayor eficacia que los sistemas a los que reemplaza. Acordar las definiciones, documentarlas, implementarlas una sola vez y exigir que los informes utilicen la versión consensuada es lo que convierte una única fuente de información fidedigna en una realidad, en lugar de una mera aspiración.

La frecuencia de actualización es una decisión de diseño que a menudo se toma por defecto y luego se lamenta. Cargar datos continuamente es técnicamente posible, pero rara vez necesario, ya que la mayoría de las decisiones empresariales se toman a diario o semanalmente, y el costo del procesamiento casi en tiempo real es considerable. Ajustar la frecuencia de actualización al uso real de los datos, en lugar de a su actualidad teórica, evita pagar por información que nadie utiliza.

Con las plataformas en la nube, el costo ha cambiado de forma en lugar de desaparecer. El almacenamiento es económico y el procesamiento se cobra por uso, lo que elimina la gran inversión inicial e introduce un costo variable que aumenta con el volumen de consultas. Las consultas mal escritas, la frecuencia de actualización innecesaria y los paneles que recalculan grandes agregados en cada vista pueden generar facturas que sorprenden a las organizaciones que esperan que la economía de la nube sea uniformemente más barata.

Debido a que el trabajo abarca ingeniería, modelado y acuerdo organizacional sobre definiciones, falla más frecuentemente en este último aspecto que en la tecnología. En la práctica, el modelado y la gobernanza de las definiciones se encuentran en análisis de datos, los oleoductos y la infraestructura con desarrollo de productos o el Departamento de TIy el alcance suele estar mejor definido por las decisiones que la organización realmente necesita tomar, en lugar de por la ambición de consolidarlo todo.