Polars 2.0 le baja 5x el tiempo de consulta con un solo batch en vez de mil llamadas chiquitas
Polars — la librería de DataFrames escrita en Rust — lanzó la versión 2.0. La headline es real: agrupa las operaciones en un solo round trip en vez de disparar mil llamadas pequeñas. Los benchmarks muestran 5x más rápido en los casos comunes.
El truco está en el engine. El pandas viejo y herramientas similares procesan fila por fila o chunk por chunk, chatty y lento. Polars empuja todo el trabajo en un solo batch grande y le deja a la CPU hacer lo suyo. Ya no hay round trips a la librería por cada paso chiquito. Lo llamas una vez, se ejecuta.
La comunidad open-source ya lo está usando para reemplazar pipelines lentos de pandas en jobs de ETL. Está escrita en Rust, así que es rápida y memory-safe. Si tus datos caben en RAM, esta es la librería a la que hay que acudir.
Por qué nos importa: los side hustles y las tienditas que procesan spreadsheets en la noche ahora van mucho más rápido — sin hardware extra, sin bill de cloud, solo un switch a Polars.
“Un solo batch, un solo round trip — ya no más micro-calls chatty.”