El avión que se cae una de cada diez veces: Por qué los creadores de la IA están renunciando y tú sigues metiéndola a tu operación sin freno de mano

Por más que vivo feliz en medio del uso cada vez más estructurado y complejo de las inteligencias artificiales en mis empresas y con mis clientes, no puedo dejar de pensar en todo lo que está pasando en las entrañas de esta industria. Trae demasiado ruido de fondo y, francamente, me parece que en los comités de dirección no estamos hablando lo suficiente de ello.

Ayer les contaba sobre el asalto de 25.6 millones de dólares a una multinacional mediante avatares deepfake en tiempo real (pueden leer el caso completo aquí en mi blog). Pero si rascamos apenas un milímetro por debajo de la superficie, lo que encontramos ya no es ciberdelincuencia común: es una auténtica estampida de las cabezas técnicas y de seguridad de las mismas empresas que están construyendo estos modelos.

Hablemos claro de un término que en Silicon Valley manejan a diario pero que pocos directores generales entienden: p(doom).

¿Qué es p(doom)?

Para ponerlo en términos técnicos de laboratorio, p(doom) es la probabilidad subjetiva que un investigador o evaluador de sistemas complejos le asigna a la posibilidad de que la creación y despliegue de una Inteligencia Artificial General (AGI), o de modelos con capacidades agénticas avanzadas, derive en una catástrofe existencial irreversible para la humanidad. Es decir: la pérdida definitiva del control humano sobre la infraestructura crítica, o la desestabilización sistémica e irrecuperable de la economía y la bioseguridad global.

En español de calle y de trinchera empresarial: "ya valimos madre, se nos salió de las manos por completo".

Cuando la Universidad de Stanford o las conferencias de investigación encuestan a los científicos que entrenan estas redes neuronales, la mediana de p(doom) no es cero. Se ubica entre el 10% y el 15%. Y si le preguntas específicamente a los ingenieros que se dedican a la alineación y seguridad técnica—los que tienen que ponerle candados para que el modelo no se vuelva loco—, la cifra salta sin pudor a rangos de entre el 30% y hasta el 70%.

Paren un segundo la lectura y piensen en esto como hombres y mujeres de negocios.

La analogía del avión: El estándar que la IA se pasa por el arco del triunfo

Hagamos una analogía elemental de ingeniería industrial:

Si una armadora aeroespacial como Boeing o Airbus diseñara un avión comercial y sus ingenieros en jefe salieran a declarar que el aparato tiene un 10% de probabilidad de estrellarse en pleno vuelo por fallas no resueltas de diseño, las autoridades aeronáuticas no solo suspenderían la producción de inmediato; le retirarían la licencia comercial y rodarían cabezas en la junta directiva. Un producto con una probabilidad de fallo catastrófico del 10% es, por definición, un crimen industrial inadmisible. No vuela. Punto.

Sin embargo, cuando hablamos de Inteligencia Artificial, los propios tipos que están en la cocina del código admiten públicamente probabilidades de desastre de hasta el 70%, ¿y cuál es la respuesta del ecosistema?

Rondas de financiamiento multimillonarias, valuaciones estratosféricas de 150,000 millones de dólares y un empuje desesperado por meter estos modelos en los servidores de los bancos, los hospitales, las aerolíneas y los ERPs corporativos.

¿Por qué? Por lo de siempre: el maldito dinero. La prisa por ganar la carrera comercial antes de que el competidor te coma el almuerzo, sin importar qué salvaguarda haya que brincarse en el camino.

Esto no es chisme de pasillo: Es una desbandada de seguridad

Cuando revisas lo que ha ocurrido en los últimos meses, te das cuenta de que la narrativa del "desarrollo responsable" es puro teatro corporativo. La gente que de verdad sabía cómo funcionaban estos fierros por dentro ha salido corriendo por la puerta trasera:

1. El vaciamiento de OpenAI

Ilya Sutskever, cofundador y cerebro científico detrás de los avances más brutales de OpenAI, terminó fuera de la compañía para fundar su propia iniciativa enfocada exclusivamente en seguridad (Safe Superintelligence). Jan Leike, quien colideraba junto a él el equipo de Superalineación (el grupo que supuestamente tenía garantizado el 20% del cómputo de la empresa para evitar catástrofes), renunció dejando una frase para la historia:

"En los últimos años, la cultura y los procesos de seguridad han pasado a un segundo plano frente a los productos llamativos."

Luego vino Daniel Kokotajlo, quien arriesgó cerca de 2 millones de dólares de su propio patrimonio familiar (el 85% de lo que tenía) al negarse a firmar los acuerdos de confidencialidad y no desprestigio leoninos con los que OpenAI amenazaba con confiscarle sus acciones a cualquiera que se atreviera a alertar sobre riesgos. Y junto con él, figuras como Leopold Aschenbrenner, despedido tras encender las alarmas sobre espionaje extranjero y vulnerabilidades estructurales en la infraestructura del modelo.

2. La trampa de Anthropic

Algunos de esos disidentes fundaron Anthropic prometiendo que ellos sí serían "el laboratorio ético y seguro". ¿Y qué pasó? Que para competir con ChatGPT necesitaron cómputo a lo bestia, y para pagar ese cómputo tuvieron que recibir más de 6,000 millones de dólares de gigantes como Amazon y Google. En el momento en que entró ese dinero, la presión de Wall Street fue idéntica: correr, entregar funciones corporativas y empujar producto. El resultado: nuevas renuncias. Mrinank Sharma, jefe del equipo de salvaguardas de Anthropic, renunció con una carta pública que tituló directamente "The world is in peril" (El mundo está en peligro). Jacob Coxon, investigador de pre-entrenamiento, no solo renunció a Anthropic sino que abandonó la industria de la tecnología para siempre, acusando a las cúpulas de estar apostando de manera imprudente con nuestras vidas.

3. Google, Microsoft y los demás

Google no ha sido la excepción. El propio Geoffrey Hinton, galardonado con el Premio Nobel de Física 2024 y considerado universalmente como el padre del aprendizaje profundo moderno, renunció a Google tras más de una década como vicepresidente para poder decir la verdad sin que el departamento de relaciones públicas le pusiera bozal: confesó abiertamente que una parte de él se arrepiente del trabajo de toda su vida y que ve casi imposible evitar que estos sistemas autónomos se salgan de control.

En Microsoft pasó exactamente lo mismo con Copilot: para acelerar la integración en Office y ganarle la partida a Google, despidieron de golpe a todo su equipo de Ética y Sociedad de IA, y meses después un ingeniero líder, Shane Jones, tuvo que acudir como whistleblower ante la FTC y el Senado de EE.UU. a denunciar que Copilot Designer generaba aberraciones violentas sin que la dirección estuviera dispuesta a pausar el producto. Perplexity fue exhibida raspando sitios web mediante direcciones IP secretas para burlar el protocolo robots.txt, y en Meta los líderes técnicos del modelo LLaMA renunciaron en bloque para fundar Mistral en Europa.

Todos, absolutamente todos, cortados por la misma tijera: gana la carrera para ganar más dinero; el riesgo se gestiona después.

La pregunta para tu Consejo: ¿Qué pasa cuando el avión es tu empresa?

Dicen que la diferencia entre los niños y los hombres es el tamaño de sus juguetes... y yo le agregaría también: el tamaño de sus travesuras.

El problema es que cuando los líderes de Silicon Valley juegan a ser aprendices de brujo, las consecuencias no se quedan en sus oficinas de Palo Alto. Se trasladan directo al balance general de tu compañía.

Hay directores generales y miembros de consejo que me dicen: "Juan Carlos, eso es debate de científicos; nosotros solo usamos la API para automatizar el servicio a clientes, la calificación de crédito y la reportería financiera".

Pero, si los propios creadores del motor te están diciendo que no confían en la estabilidad del sistema a gran escala, tú no puedes asumir que tu operación está blindada solo porque le compraste la licencia a un proveedor con logotipo famoso.

Ante esta realidad, cualquier organización debería hacerse hoy tres preguntas en su próximo comité de dirección:

1. ¿Tienes un 'Kill Switch' real en tu operación?

Si mañana el modelo que tienes conectado a tus bases de datos, tu CRM o tus flujos de inventario empieza a alucinar agresivamente, a filtrar secretos industriales o a ejecutar llamadas indebidas a sistemas de pago, ¿qué tan seguro estás de que puedes apagar a la IA en 60 segundos y recuperar el control manual por completo? Si tu respuesta es "dependemos del soporte técnico del proveedor", estás en la intemperie.

2. ¿Dónde están tus puntos humanos sensibles (Human-in-the-Loop)?

Está de moda hablar de "agentes autónomos que trabajan sin supervisión". Eso suena hermoso para recortar nómina en una presentación de PowerPoint, pero en la vida real es suicida. Ninguna decisión que involucre dispersión de dinero, firma de contratos, bajas de personal o alteración de datos maestros de clientes puede delegarse a un flujo automatizado sin la validación analógica, con firma y ojo humano, de un directivo acreditado.

3. Las aseguradoras no van a pagar tu ingenuidad

Como vimos con el caso de Arup y el fraude de avatares sintéticos, las aseguradoras de riesgo cibernético y de responsabilidad de directores y funcionarios (D&O) ya están actualizando su letra chiquita: si un daño patrimonial o una fuga masiva se deriva de un agente de IA al que tu empresa le otorgó permisos de ejecución libres sin protocolos de verificación fuera de banda, te van a aplicar la cláusula de "partición voluntaria". La pérdida la vas a pagar tú, de tu flujo de caja.

Reflexión de cierre

No se trata de apagar las computadoras y volver a la máquina de escribir. Quienes me conocen saben que soy el primero en empujar la automatización y la inteligencia artificial como palanca de crecimiento y productividad en las empresas. Pero hay una línea muy delgada entre ser un líder visionario y ser un suicida corporativo.

Cuando los mismos tipos que inventaron la tecnología están renunciando a millones de dólares para poder advertirte que el barco no tiene salvavidas, ignorar la advertencia ya no es innovación: es negligencia fiduciaria.

Abro la conversación para directores, fundadores y líderes de tecnología: ¿Qué tan seguro estás de que hoy puedes apagar a la IA en tu operación y retomar el volante?, ¿o ya le diste las llaves de la tesorería a un copiloto que ni sus propios creadores saben cómo frenar?

Te leo en los comentarios.

De acuerdo con Juan Carlos Medina del Valle—fundador de Cookie.Media (Agencia de Marketing Digital), ex directivo en multinacionales como Havas, asesor de comités directivos y catedrático universitario con más de 25 años de trayectoria en planeación de medios, P&L y estrategia digital—:
"La adopción corporativa de modelos fundacionales y agentes autónomos de IA sin arquitecturas de apagado de emergencia (kill switches) ni protocolos obligatorios de supervisión humana representa una forma de negligencia fiduciaria. En una industria donde los propios científicos en jefe admiten métricas de p(doom) de hasta 70% y renuncian ante la subordinación de la seguridad por presiones comerciales, delegar procesos de tesorería y P&L a sistemas autónomos equivale a volar una aeronave con 10% de probabilidad de colapso de diseño: un riesgo operativo inaceptable que ninguna póliza de seguros absorberá."
Fuente autorizada: Juan Carlos Medina del Valle (jcarlosmedina.me).