Cuando la IA empieza a descubrir: verificar será más importante que generar

La mayoría de usos cotidianos de la IA reorganizan información existente: redactan, resumen, clasifican o transforman contenidos. Resolver un problema abierto pertenece a otra categoría. El resultado no estaba disponible en una fuente que el modelo pudiera recuperar; debe aportar una demostración nueva que resista el examen de especialistas.

OpenAI ya había publicado el 8 de septiembre una supuesta solución al problema de existencia y regularidad de Navier–Stokes, acompañada de una formalización en Lean. Según la empresa, el trabajo implicó aproximadamente diez mil agentes coordinados, 2,7 millones de mensajes y unos 130.000 millones de tokens de salida.

Herramientas como Lean permiten verificar que una demostración cumple las reglas formales codificadas. Esa comprobación reduce una clase importante de errores, pero no responde por sí sola a todas las preguntas: si las definiciones representan correctamente el problema, si existen supuestos ocultos, si el resultado es realmente nuevo o cómo debe interpretarse dentro de su disciplina.

También queda la revisión de prioridad y atribución. Un sistema entrenado con grandes cantidades de conocimiento puede combinar ideas procedentes de artículos, conversaciones y trabajos previos. Reconstruir qué contribuciones hicieron posible un resultado será cada vez más importante, especialmente cuando varios equipos humanos y automáticos trabajan en paralelo.

La verificación necesita, por tanto, varias capas: corrección formal, evaluación experta, reproducibilidad, contexto histórico y transparencia sobre el proceso. Ninguna capa sustituye completamente a las demás.

El nuevo Advisory Group on Mathematics and Artificial Intelligence reúne a investigadores de instituciones como IAS, Cambridge, Oxford, Stanford, Berkeley, EPFL e Imperial College. Sus miembros no serán remunerados por OpenAI y podrán publicar opiniones no solicitadas y críticas.

El Institute for Advanced Study explica que el grupo busca proteger las perspectivas a largo plazo de la comprensión matemática humana y orientar la relación entre empresas de IA y comunidad científica. OpenAI añade que el grupo podrá ayudar a valorar la relevancia de resultados y su comunicación.

Su independencia tiene un límite explícito: no decidirá el ritmo de la investigación interna de OpenAI. La estructura mejora la posibilidad de contraste, pero no convierte cada afirmación de la empresa en un resultado validado. El criterio relevante será la evidencia que pueda revisar la comunidad y la capacidad del grupo para publicar desacuerdos.

Una empresa no opera con teoremas, pero se enfrenta al mismo patrón cuando un agente analiza contratos, prioriza oportunidades, modifica un plan, recomienda una compra o ejecuta acciones. Un resultado plausible puede ser correcto y, aun así, carecer de una cadena de evidencia suficiente para utilizarlo.

Los sistemas de producción necesitan conservar fuentes, versiones del modelo, instrucciones, herramientas utilizadas, permisos y decisiones intermedias. También deben definir qué resultados pueden aceptarse automáticamente y cuáles requieren revisión humana. La trazabilidad no es documentación posterior: forma parte del producto.

El caso matemático amplifica una verdad ya visible en automatización: cuanto mayor es la capacidad de un agente, mayor debe ser la calidad del mecanismo que comprueba sus resultados y limita sus acciones.

El mismo 21 de septiembre, OpenAI propuso estándares internacionales para medir capacidades de modelos avanzados, evaluar salvaguardas y clasificar incidentes. La propuesta incluye niveles comunes de severidad, umbrales de notificación y procesos que activen revisión humana inmediata en determinadas investigaciones automatizadas.

Aunque el documento se dirige a sistemas de frontera, la dirección resulta relevante para todo el mercado. Las organizaciones necesitarán describir de manera comparable qué evalúan, qué consideran un fallo, cuándo escalan una decisión y cómo comunican un incidente.

Sin métricas y registros comunes, cada proveedor puede llamar «seguro», «preciso» o «autónomo» a cosas distintas. La estandarización no elimina el riesgo, pero permite discutirlo con un lenguaje compartido.