Por Jacob Coxon
Renuncié a Anthropic hoy, (hace 12 horas). Pasé los últimos tres años haciendo investigación de preentrenamiento tanto en OpenAI como en Anthropic. Ninguna de las dos compañías está actuando de manera responsable. Están corriendo directamente hacia una superinteligencia auto-mejorante y apostando con nuestras vidas.
No subestimes el poder de esta tecnología. Pronto serán sistemas sobrehumanos capaces de hackear cualquier cosa, revolucionar cualquier campo de la noche a la mañana y adquirir poder y recursos reales. Todos hemos presenciado el progreso en cada uno de estos dominios, y el progreso no está desacelerando.
Las personas que están construyendo IA creen sinceramente que podría matarnos a todos para finales de la década. Esto no es un truco de marketing. Si acaso, muchos ejecutivos e investigadores senior moderarán su lenguaje en la prensa para sonar sensatos, pero oigo a las mismas personas expresar miedo en privado. Ninguna otra actividad humana representa este nivel de peligro.
Una respuesta común es: «si realmente creen esto, ¿por qué siguen construyéndolo?». En OpenAI, muchos no han interiorizado profundamente las apuestas civilizatorias. En Anthropic, las apuestas están bien comprendidas, pero están atrapados en una carrera por llegar primero: creen que nadie más actuará de manera responsable, por lo que deben hacerlo ellos mismos, a pesar del riesgo.
Aceptar esta carrera e ingresar al «endgame» es una apuesta hubrista que no debería lanzarse desde el Slack de una empresa privada. Intentar hacer un speedrun del alineamiento debería requerir una confianza extraordinaria en que no hay trayectorias mejores disponibles.
Estoy optimista sobre el potencial para la coordinación. Disparos de advertencia como el ataque a Hugging Face han hecho que los acuerdos de ritmo entre laboratorios de EE.UU. sean más viables. No siento que estemos en camino de prevenir una carrera global, lo que podría requerir acciones costosas como una prohibición temporal de mejorar las capacidades de los modelos.
Si eres un investigador de laboratorio, te insto a que consideres cómo se sentirán realmente los próximos años. ¿Quieres iniciar una ejecución de RL superinteligente sin una comprensión rigurosa de su mente? ¿Deberías agachar la cabeza porque «de todos modos está sucediendo» —o aprovechar este momento para pedir condiciones diferentes?
Jacob Coxon, es un experto en IA, quien hace la advertencia de este artículo a través de la red social X desde @hilbertspaess
