Ismael Monzón

El artículo que @DarioAmodei ha publicado esta tarde es importantísimo. Me atrevo a resumir lo que dice, intercalando alguna cita textual: 1) El beneficio a futuro de la IA será enorme, con especial énfasis en la medicina. Pero los riesgos también lo son: perder el control, malos usos como el bioterrorismo o impactos económicos enormes. Debemos reducir el ritmo de desarrollo de la IA. Dos motivos recientes: los grandes avances en RSI ("recursive self-improvement", que admite que ya están viendo en Anthropic) y el incidente OpenAI - Hugging Face, con el enjambre de agentes. "it’s my worry that in 6–12 months such a swarm could be capable of taking over the entire internet" 2) Hay que reducir el ritmo porque conviene ganar tiempo, aunque sean 1-2 años. Esto permitiría aumentar la precisión en la ejecución (admite incidentes recientes por problemas en la ejecución), mejorar el alineamiento de los nuevos modelos, avanzar en la interpretabilidad de los mismos y mejorar en los tests y benchmarks para entender bien sus capacidades. "I believe that if slowing down bought us even an extra year or two before models reach critical levels of capability, and we used that time to advance alignment, we could greatly reduce the risk that something goes seriously wrong" 3) Esta ralentización se podría llevar a cabo a partir de tres iniciativas: a) Integrar evaluadores independientes en las empresas que lideran la IA (menciona, por ejemplo, a @METR_Evals). Verificabilidad, transparencia, segundas opiniones, etc. Anthropic dice que empieza a hacerlo unilateralmente, sin esperar a que los otros hagan lo mismo. @sama acaba de decir que OpenAI también lo hará. b) Regular inmediatamente el avance en los países democráticos. Y como la regulación es lenta, propone a las otras grandes empresas hacerlo rápido y de manera voluntaria. Aquí es muy transparente: reducir el ritmo no puede significar permitir que los modelos chinos se conviertan en los más potentes. Y explora vías para garantizar esto (límites a la exportación de chips, mayor seguridad para evitar "robos" de modelos, etc.). "If we execute these measures well, I believe they would slow China’s progress enough to widen America’s lead significantly over the next 3–5 years" c) Llegar a un acuerdo mundial, cooperando con China, para que el ritmo sea verificable. Propone 4 niveles distintos de acuerdos posibles, empezando por un primer acuerdo para prohibir el uso peligroso en temas como las armas biológicas. 4) El artículo acaba como empieza: la IA puede aumentar muchísimo la calidad de vida de nuestra especie, pero estos beneficios solo se alcanzarán si se hace por el camino correcto. Creo que es un artículo que merece una lectura pausada. Espero que genere un debate profundo y mundial: el tema lo merece. darioamodei.com/post/we-must…