El nuevo modelo de Meta aguenta 10x más contexto en conversaciones largas

Meta soltó un Llama 3.3 70B nuevo que maneja ventanas de contexto largo mucho mejor que la versión anterior, saltando de 8K a 128K tokens. La mejora en benchmarks es lo que puso a la gente a hablar: en la prueba Needle-in-a-Haystack, el modelo nuevo saca 92.8% contra 81.7% del viejo. Eso es un salto de 10x en la tarea donde tenés que encontrar un dato escondido dentro de un documento más grande.

Por qué nos importa: la mayoría de los LLMs olvidan el principio de la conversación después de un rato — fueron entrenados para comprimir todo en una representación interna más chica. Un modelo que mantiene todo su contexto intacto significa que podés pegar un manual entero, un codebase largo, o un contrato de varias páginas y recibir respuestas que referencian lo de arriba sin perder el hilo.

Para las comunidades que dependen de estas herramientas, es una mejora real. Podés correr el modelo localmente en una máquina decente, usarlo para leer papeleo de la migra o contratos laborales, y realmente confiar en que recuerda lo que preguntaste hace cinco mil tokens.

Por qué nos importa: la app de la migra y el primo que tiene el negocio por las ramas ahora tienen una herramienta que no olvida lo importante a mitad de camino.