Atlassian cambia a Kafka: 145B eventos al día, adiós a Kinesis

Atlassian se está yendo de AWS Kinesis. El equipo se va a Kafka. La escala es grande: 145 mil millones de eventos diarios. Dicen que Kinesis no podía seguirles el ritmo. La historia está en su blog de ingeniería, “Scaling StreamHub: Transitioning from Kinesis to Kafka.”

Atlassian dice que el cambio no fue una actualización pequeña. Fue una migración completa. Tuvieron que mover todos los datos. Tuvieron que asegurarse de que no se perdiera nada. Tuvieron que mantener sus herramientas funcionando mientras pasaba el cambio. Eso es un montón de piezas en movimiento.

Kafka es un sistema de mensajes hecho para la escala. Maneja mucho tráfico a la vez. Kinesis es el sistema propio de AWS. Es rápido, pero Atlassian dice que se topó con un muro a su tamaño. 145 mil millones de eventos al día es mucha data. Eso no es un proyecto secundario. Es el motor principal.

Atlassian no dice que la forma vieja fuera mala. Dicen que estuvo bien por un tiempo, pero no lo suficiente para lo que necesitan ahora. Necesitan velocidad. Necesitan espacio para crecer. Necesitan mantener su plataforma estable. El post del blog explica cómo planearon el cambio, cómo lo probaron y qué se rompió en el camino.

Para la comunidad, esto es un recordatorio de que incluso las grandes empresas se topan con límites. Tienen que cambiar. Tienen que elegir nuevas herramientas. No siempre es fácil. Toma planeación. Toma paciencia. Toma un equipo dispuesto a romper cosas para arreglarlas.

Nosotros trabajamos con herramientas todos los días. A veces la herramienta que nos encanta deja de servirnos. Eso es normal. La solución no es entrar en pánico. Es ver qué necesitamos y encontrar algo que encaje mejor. Atlassian hizo eso. Miraron 145 mil millones de eventos y dijeron: “Necesitamos más.”

Por qué nos importa: cuando las grandes plataformas cambian, las herramientas que usamos todos los días también cambian, y tenemos que estar atentos para no quedarnos atrás con la próxima actualización.