Datos y lakehouse8 nov 20234 min de lecturaPor MLT Corp

Lakehouse o data warehouse: cómo elegir sin modas

Ambas arquitecturas pueden servir bien a la analítica. Estas son las preguntas que le dicen cuál se ajusta a sus datos, su equipo y su presupuesto.

Lakehouse o data warehouse: cómo elegir sin modas

Ideas clave

  • Un warehouse favorece datos estructurados y equipos orientados a SQL; un lakehouse favorece datos mixtos y formatos abiertos.
  • Sus tipos de datos y las habilidades de su equipo pesan más que la etiqueta.
  • La mayoría de los fracasos vienen de omitir la gobernanza, no de elegir mal la arquitectura.
  • Puede empezar en pequeño y evolucionar; la decisión rara vez es definitiva.

Alguien de su equipo dijo la palabra lakehouse en una reunión y ahora hay una pregunta de presupuesto asociada. Ya tiene reportes funcionando desde un warehouse, o desde hojas de cálculo y exportaciones, y necesita saber si una nueva arquitectura resuelve un problema real o solo agrega uno nuevo. Aquí tiene una forma sencilla de decidir.

Qué es cada una, en breve

Un data warehouse almacena datos estructurados y depurados en tablas, y está optimizado para consultas SQL y reportes. Un data lake guarda archivos sin procesar de cualquier tipo, a bajo costo, en almacenamiento de objetos. Un lakehouse agrega formatos de tabla y una capa de consulta sobre ese almacenamiento, de modo que se obtienen tablas y transacciones al estilo warehouse sobre archivos abiertos. En la práctica las diferencias se han difuminado, y muchos productos de warehouse ya leen también formatos de tabla abiertos.

Las preguntas que realmente deciden

  1. ¿Qué tipos de datos tiene? Si casi todo son pedidos, facturas y clientes en sistemas relacionales, un warehouse suele ser el camino más simple. Si además hay registros, documentos, imágenes o flujos de eventos, un diseño basado en lake se justifica.
  2. ¿Quién lo va a usar? Los analistas que trabajan en SQL y herramientas de BI se vuelven productivos rápido en un warehouse. Los científicos de datos que necesitan archivos y notebooks suelen preferir el acceso de un lakehouse.
  3. ¿Qué tan importantes son los formatos abiertos? Si evitar la dependencia de un proveedor o compartir datos entre varios motores es prioridad, los formatos de tabla abiertos ayudan.
  4. ¿Qué tan predecibles son sus cargas de trabajo? Los tableros estables funcionan bien en ambos. El trabajo exploratorio con picos depende de cómo cada plataforma cobra el cómputo.
  5. ¿Quién lo va a operar? Un lakehouse suele exponer más piezas móviles. Si no tiene personas para operarlo, un warehouse administrado puede ser la respuesta más honesta.

Dónde encaja mejor un warehouse

En reportes financieros, analítica de ventas y tableros operativos construidos sobre sistemas fuente estructurados. El valor viene de modelos limpios, definiciones de métricas acordadas y SQL rápido y confiable. Los equipos suelen llegar antes a una primera versión útil porque la plataforma se encarga de la organización del almacenamiento, los índices y el control de acceso.

Dónde encaja mejor un lakehouse

En organizaciones que combinan datos estructurados y no estructurados, necesitan aprendizaje automático sobre historia sin procesar o quieren conservar una copia completa y económica de los datos fuente antes de transformarlos. También sirve cuando varias herramientas deben leer las mismas tablas sin copiarlas.

Errores frecuentes

Una forma sensata de empezar

Elija un dominio de negocio, como ventas o inventario, y entréguelo de punta a punta: ingesta, un modelo depurado, un puñado de métricas confiables y un tablero que alguien use cada semana. Aproveche ese proyecto para conocer sus volúmenes reales de datos, sus necesidades de latencia y las brechas de su equipo. Después decida si conviene ampliar un warehouse, sumar almacenamiento tipo lake o pasar a un lakehouse, con base en evidencia y no en preferencias.

Elija la arquitectura para los datos que tiene hoy más una carga de trabajo claramente identificada que agregará en el próximo año, no para todas las que pueda imaginar.

← Volver a todas las perspectivas

Siga leyendo

Empiece aquí

Definamos su piloto.

Una sesión de trabajo de 45 minutos, sin diapositivas.

Respondemos en un día hábil.