Hudi indexea data que nunca se queda quieta

Hudi es un formato de tabla para Apache Iceberg. Se monta sobre tu data lake y te permite escribir registros sin reescribir todo el archivo. El truco es que mantiene un índice —como un índice de contenidos— que se actualiza conforme llegan los registros.

La mayoría de los formatos de tabla están hechos para batch: tiras los archivos y luego los lees. Hudi está hecho para lo contrario. Los datos siguen fluyendo —clicks, lecturas de sensores, transacciones— y el índice se mantiene al día. Sin él, cada query tiene que escanear todo el dataset para encontrar las filas que cambiaron.

El problema del moving target es real. Cuando una tabla se está escribiendo, una query puede ver filas viejas o perderse las nuevas. El índice de Hudi hace que las writes sean atómicas a nivel de fila. Consistencia sin parar la pipeline.

El post de TLDR explica cómo el índice se mantiene actualizado mientras se insertan, actualizan y borran filas. No es idea nueva —Lucene lo hace desde hace décadas—, pero es la arquitectura correcta para streaming workloads donde los datos nunca se quedan quietos.

Si tienes un data warehouse en object storage y escribes más de lo que lees, esto es justo lo que te ahorra horas de refactoring.

Por qué nos importa: los hustlers, los dueños de side-business, las abuelas mandando remesas —todas son data ahora—, y formatos como Hudi permiten que esa data se actualice en tiempo real sin romper todo el sistema.