Zalando movió el procesamiento de eventos de ads a Flink — lo que esto significa para el grind

El equipo de ingeniería de Zalando publicó que migraron su pipeline de procesamiento de eventos de ads a Apache Flink. El movimiento fue impulsado por la necesidad de manejar mayor throughput, menor latencia y un procesamiento con estado más confiable en toda su infraestructura de ads.

El sistema anterior dependía de un procesamiento orientado a lotes (batch) que introducía retrasos. Los eventos de clics de ads, impresiones y conversiones se colocaban en cola, se procesaban en ventanas y luego se alimentaban a modelos downstream. Eso funcionaba cuando el tráfico era predecible. No escalaba de forma limpia cuando el volumen de ads se disparaba durante ventas grandes o temporadas navideñas.

Flink les dio una arquitectura streaming-first. Los eventos se procesan en tiempo real, con semántica exactly-once, estado checkpointeado y escalado horizontal integrado. El equipo señaló que la gestión de estado de Flink — respaldada por RocksDB — les ayudó a mantener grandes almacenes de clave-valor en memoria sin la sobrecarga de bases de datos externas.

Hubo un costo de migración. El equipo tuvo que reescribir los esquemas de eventos, reestructurar cómo manejaban eventos tardíos y reconstruir su stack de monitoreo alrededor de la API de métricas de Flink. Algunos pipelines que corrían en horas ahora corren en segundos. Otros que se caían bajo carga ahora se recuperan automáticamente después de fallos.

La publicación de ingeniería no menciona directamente mejoras en la precisión del ad-targeting, pero la implicación es clara: datos más rápidos significan ciclos de feedback más rápidos para los modelos de ads, lo que significa mejor entrega de ads, lo que significa mejor ROI para los anunciantes. Esa es la cadena.

El movimiento de Zalando refleja lo que muchas empresas de e-commerce medianas y grandes están haciendo — pasar de batch a procesamiento de eventos en tiempo real a medida que la ad tech se vuelve más dinámica y más cara. Cuando cada milisegundo de latencia cuesta dinero, el pipeline importa.

Por qué nos importa: Cuando las grandes plataformas optimizan sus pipelines de ads, el costo de ejecutar ads baja, lo que cambia lo que los pequeños vendedores y vendedores de la comunidad pueden permitirse impulsar — y quién se ve cuando la gente hace scroll.