Verificando modelos de IA con matemáticas, no solo con pruebas

Georg Wiese está escribiendo sobre verificación formal para IA — demostrando cosas sobre los modelos con matemáticas en lugar de pasarlos por pruebas. Las pruebas te dicen qué pasó; las demostraciones te dicen qué debe ser verdad. Esa es la diferencia entre verificar que una cerradura funcionó y saber que la cerradura no puede fallar.

La idea clave es que puedes escribir una especificación — una declaración matemática sobre cómo debe comportarse el modelo — y luego usar herramientas como Coq o Lean para demostrar que el modelo la cumple. Si la demostración pasa, terminaste. Sin más dudas sobre si el conjunto de pruebas cubrió los casos límite.

Esto no es nuevo en teoría, pero sí en la práctica para IA. La mayor parte de la verificación ha sido para compiladores y protocolos; ahora la gente lo está intentando con redes neuronales. El trabajo está apenas comenzando — las demostraciones son costosas, y los modelos son más grandes que las especificaciones — pero la dirección es clara. Si quieres confiar en un modelo, la verificación formal es el camino.

Por qué nos importa: cuando los modelos fallan en producción, las familias Brown y las pequeñas empresas que dependen de ellos necesitan saber si un fallo es un bache o un problema estructural — las demostraciones formales nos dicen cuál.