La corrección de la IA llegó — y es real.

Un paper nuevo de OpenAI y researchers de la UC Berkeley mapea cómo evaluar language models antes de que lleguen a producción. Los autores pasan por el pipeline completo: elegir el test set correcto, los evaluation metrics, correr benchmarks, y checar failure modes como hallucination, bias, y prompt injection. Marcan que accuracy isn't the only metric — latency, cost per token, and safety all matter for real systems.

Lo que destaca es la parte que la mayoría de los equipos se salta: el adversarial test set. No solo le pasas prompts normales al modelo; le pasas los prompts que probablemente va a fallar — edge cases, multi-step reasoning, edge-case inputs. Muestran que los modelos que se ven bien en benchmarks estándar siguen fallando hard en producción. El paper también cubre cómo detectar cuando un modelo está confidently wrong, y cómo armar human-in-the-loop review para los casos que lo necesiten.

Esto no es teoría. Los autores han testeado docenas de modelos con este framework y las diferencias son reales — algunos modelos puntúan bien en benchmarks estándar pero se caen en adversarial tests, otros son más lentos y caros por ganancias marginales. El takeaway es práctico: si estás construyendo con LLMs, necesitas un test set que se parezca a lo que tus usuarios realmente van a enviar, no solo los leaderboards estándar.

Por qué nos importa: las small shops y los solo builders que usan las APIs de OpenAI o Anthropic son los que más se saltean estos tests — y los que se queman cuando el modelo empieza a hallucinar frente a clientes reales.

DoorDash metió un sistema de moderación basado en LLM a producción para manejar la avalancha de contenido generado por usuarios —reseñas, fotos y mensajes— que una app de delivery de comida como la suya genera a diario. El sistema corre sobre un modelo open-source estándar y hace el primer filtro, marcando lo que cruza la línea hacia acoso, fraude o violaciones de política antes de que un humano lo vea.

La arquitectura es simple: el modelo evalúa el contenido en varias dimensiones de política, le da puntaje a cada una y manda los items marcados a una cola para revisión humana. La idea es atrapar la fruta baja a velocidad de máquina para que el equipo de moderación no se ahogue en spam, reseñas falsas o los pocos malintencionados que intentan jugar el sistema. DoorDash ha sido pública sobre su dependencia de la IA para moderación de contenido desde hace rato; esto es el siguiente paso —un sistema dedicado en vez de un patchwork de clasificadores ad-hoc.

Lo notable es la honestidad en el write-up: el LLM es un primer filtro, no un reemplazo del juicio. El humano en el loop es el sistema real. Así es como la mayoría de las compañías lo están haciendo —los modelos hacen el trabajo pesado, la gente maneja los edge cases, y el negocio sigue moviéndose. DoorDash es uno de los ejemplos más grandes de este patrón aplicado a una plataforma consumer-facing con millones de usuarios.

Por qué nos importa: la gente usa estas apps todos los días, y cuando la moderación funciona, mantiene la plataforma usable; cuando no funciona, es nuestro dinero y nuestro tiempo en la línea.

Elizabethtai recorre su día típico usando LLMs para las partes de escribir que comen tiempo — investigación, esquemas, borradores, edición — mientras ella se queda con las decisiones de juicio: la voz, la precisión, lo que realmente importa a los lectores. El post es un registro del flujo de trabajo, no un pitch de ventas.

Es el tipo de desglose práctico que los grandes anuncios de tech están perdiéndose. Meta acabó con su pivote AI-native, cortando 60% de sus equipos. Salesforce metió todo su CRM en Claude y dice que ya nunca vas a necesitar la app. Mientras tanto, una escritora en la Bay Area está tratando de sacar el próximo post sin quemarse. La historia real es lo que pasa en el nivel de la calle, no en la sala de juntas.

Por qué nos importa: la gente en las comunidades Brown y Black es la que está escribiendo, programando y construyendo con IA — y los que están haciendo plata con eso rara vez los mencionan.

Bluesky lanzó una actualización a Attie, su asistente de IA, y ahora es algo que de verdad sirve para meterle mano a las conversaciones en el AT Protocol. Ya no se queda en contestarte una sola pregunta: ahora junta noticias, tendencias y lo que la gente está diciendo en Bluesky y en otras apps que hablan el mismo idioma.

El AT Protocol es la red abierta sobre la que corre Bluesky — piensa en él como la cañería debajo del feed social. Al hacer que Attie funcione entre esas apps, la compañía está tratando el protocolo como un bien común buscable, no como un jardín amurallado. Por qué nos importa: los feeds sociales de antes estaban diseñados para que no dejaras de hacer scroll. Esto es lo contrario: está hecho para contestar una pregunta y dejarte ir.

Por qué nos importa: si ya te cagaste de los algoritmos que te bombardean con outrage, este es uno de esos movimientos que silenciosamente le devuelve la búsqueda al social.

Un indiciamiento desclasificado el viernes acusa a ingenieros de Volkswagen de insider trading vinculado a una joint venture con Rivian. Los fiscales alegan que usaron información confidencial del acuerdo para comprar acciones del fabricante de vehículos eléctricos antes de que el mercado se enterara. El DOJ presentó los cargos en el Southern District of New York.

La joint venture es de esas cosas que mueven los mercados — VW pone el dinero y la capacidad de manufactura, Rivian pone el know-how de los EV. Cuando ese acuerdo todavía está cerrado dentro de las empresas, la gente que sabe de él está sentada sobre una mina de oro. Estos ingenieros aparentemente se aprovecharon.

Los cargos de insider trading como este no son nuevos, pero el hecho de que el DOJ los persiga años después muestra que están poniendo ojo cerrado a los acuerdos transfronterizos y a la gente que se beneficia de ellos.

Por qué nos importa: Cuando la gente con información privilegiada sobre acuerdos entre grandes empresas se hace un quick buck, es otra forma en que el sistema está rigged contra el resto de nosotros que no tenemos acceso.