- Elon Musk carga de nuevo contra el Reino Unido: el historial de polémicas del magnate con gobiernos y autoridades
- Cómo Ucrania logró atacar San Petersburgo, una de las ciudades más protegidas de Rusia, y desafiar a Putin
La compañía Anthropic hizo un llamado a detener de forma coordinada el desarrollo de los modelos más avanzados de inteligencia artificial (IA) para mantener el control humano de esta tecnología en medio de una progresión cada vez más acelerada.
Marina Favaro y Jack Clark, altos ejecutivos de Anthropic, hicieron este llamado en un artículo publicado dentro del blog de la firma tecnológica, en el que apuntan que las tendencias detectadas sugieren que los sistemas de IA se están haciendo más capaces, al punto de que es cada vez más probable que puedan llegar a construirse a sí mismos.
Según la compañía de IA, ello supondría un “avance trascendental” con grandes aportes potenciales en campos como la ciencia y la salud; sin embargo, esta “automejora” podría significar también que los seres humanos pierdan el control sobre dichos sistemas, los cuales podrían crear a sus propios herederos sobre parámetros desconocidos y sin un impacto estimable.
“Si los sistemas son capaces de construir completamente sus propios sucesores, la forma en que protegemos, supervisamos y moldeamos su comportamiento adquiere una importancia mucho mayor”, indican Favaro y Clark.
Los especialistas sostienen que todavía no se ha llegado a ese punto y afirman que la “automejora recursiva” no es inevitable, pero advierten que podría llegar “antes de que la mayoría de las instituciones estén preparadas”.
Pedido y detalles
En su publicación, Anthropic plantea ralentizar el desarrollo de la inteligencia artificial bajo la premisa de que esto daría tiempo para analizar “las enormes implicaciones” que tendría este desarrollo acelerado.
“Sin un mecanismo global de coordinación, las empresas y los gobiernos tendrán que tomar decisiones difíciles sobre seguridad mientras enfrentan presiones competitivas y geopolíticas”, asegura la compañía.
Para ese fin propone la creación de un mecanismo de coordinación global que incluya empresas del sector y gobiernos, además de establecer un grupo de estudio descentralizado con su instituto y otros centros de investigación para crear el mencionado “sistema de ralentización” de la IA.
“Estos sistemas permitirían a los desarrolladores de IA de vanguardia verificar que otros a nivel mundial realmente han detenido o ralentizado su desarrollo, y que ningún actor malintencionado podría aprovecharse de una ralentización coordinada para avanzar en secreto”, explican Clark y Favaro.
La misma Anthropic ha señalado que la creación de un aparato de este tipo es un reto mayor porque el monitoreo de la actividad de los sistemas de IA es complejo por la propia naturaleza de estos, sobre todo en aplicaciones como la militar; sin embargo, sus especialistas creen que no es un proyecto “necesariamente imposible”.
“El mundo ha establecido regímenes de verificación para otras tecnologías complejas (por ejemplo, el Tratado sobre Fuerzas Nucleares de Alcance Intermedio), pero esos regímenes tardaron décadas en construir tanto la infraestructura como la confianza”, indica la empresa de IA.
Criterio y aplicabilidad
El análisis de los procesos internos y el control humano de la IA no son preocupaciones recientes y tienen años sobre la mesa.
Un ejemplo de ello es lo que se conoce como el “misterio de la caja negra”, que hace referencia al desconocimiento de los programadores sobre la manera en la que los modelos de inteligencia artificial arman sus propias relaciones lógicas para responder a las consultas y tareas que se les da.
La interpretabilidad mecanicista es un campo del estudio de la IA que busca dar respuesta a esta problemática, debido a un detalle ético fundamental: si no se conoce cómo funciona y “piensa” esta tecnología, tampoco se puede garantizar que sea segura.
Christopher Olah, jefe de investigación de Anthropic en este apartado, ha admitido que los modelos de IA no son construidos como los programas informáticos tradicionales, sino que son “cultivados” en un proceso que compara al crecimiento de una entidad orgánica. “Creamos el soporte en el que se desarrollan y la luz hacia la que crecen”, admite Olah.
Si en el contexto actual, donde los parámetros esenciales son establecidos por humanos, ya hay un margen de desconocimiento sobre los criterios internos de un gran modelo de lenguaje (LLM), la idea de una IA generando a su sucesor desde cero plantea un escenario con muchas menos certezas éticas.
La actual sugerencia de Anthropic de frenar el desarrollo de los modelos complejos de inteligencia artificial no es la primera propuesta de este tipo, pues hace tres años la organización sin fines de lucro The Future of Life publicó una carta abierta en la que pedía a todos los laboratorios suspender por medio año “el entrenamiento de sistemas más potentes” que GPT-4 de OpenAI.
El pedido tenía como argumento que “los sistemas de IA con una inteligencia que compite con la humana pueden plantear profundos riesgos para la sociedad y la humanidad, como demuestran numerosas investigaciones”. El documento, publicado en marzo del 2023, tuvo entre sus signatarios a personalidades como Elon Musk y Steve Wozniak, cofundador de Apple.
Pese a lo anterior, hay voces importantes que consideran que el riesgo de una inteligencia artificial equiparable a la humana es improbable, por lo menos desde el enfoque que han adoptado algunas de las empresas más relevantes del rubro.
Uno de los casos más importantes lo expone Yann LeCun, quien durante años dirigió el área de inteligencia artificial de Meta (antes Facebook) y se marchó a fines del 2025 de la firma tecnológica por severas diferencias con Mark Zuckerberg y su postura sobre el punto de partida para el desarrollo de esta tecnología.
LeCun sostiene que los grandes modelos de lenguaje son un camino sin salida de cara a llegar a lo que se denomina “inteligencia artificial general”, un sistema hipotético equiparable al entendimiento humano. La postura del exdirectivo de Meta es que estos sistemas se centran únicamente en patrones estadísticos de texto y defiende la investigación de los denominados “modelos de mundo”.
Dicho planteamiento opta por alimentar al sistema con videos y la observación del entorno físico, de forma análoga a los procesos de reconocimiento de infantes y animales.
En términos más generales, LeCun tiene una mirada más pragmática sobre la IA, considerando que ve difícil un escenario en el que esta “destruya a la humanidad”. Adicionalmente, defiende el uso de código abierto en todos los ámbitos y que este supone la mejor garantía ética posible.
¿Realmente loable?
Medios especializados y analistas han mencionado que la sugerencia de frenar el desarrollo de la IA aparece en un momento relevante para Anthropic, que acaba de confirmar que presentó el borrador de registro para su salida a bolsa ante las autoridades de Estados Unidos. Se calcula que la firma responsable del asistente Claude tendría una valoración de casi un billón de dólares en su estreno bursátil, que podría tener lugar en la segunda mitad de este año.
A lo largo de sus últimas versiones Claude habría multiplicado sustancialmente su capacidad de realizar procesos complejos y en la actualidad “su modelo puede igualar o superar a expertos en la ejecución de experimentos bien definidos”.
El analista tecnológico y consultor Rob Enderle declaró al portal SiliconANGLE que la alerta de Anthropic sobre el crecimiento de su modelo y su potencial capacidad de gestionar su propio crecimiento de forma totalmente autónoma podría ser esencialmente un trabajo de márketing para atraer inversores de cara a su debut bursátil.
“Es probable que las mejoras de productividad que anuncia sean legítimas, pero promover su progreso hacia la automejora recursiva es una estrategia más calculada. (Anthropic) está exagerando sus capacidades ante los inversores para posicionarse como líder indiscutible en el sector, e impulsando sutilmente la idea de que su tecnología es tan avanzada que requiere una financiación masiva y continua para su gestión segura”, remarca el especialista.
Esto entre parcialmente en conflicto con la postura ética con la que se creó Anthropic, creada como una compañía de beneficio público y defensora del desarrollo ético de la IA, con muchos de sus fundadores siendo extrabajadores de OpenAI descontentos con el enfoque comercial duro que plantea Sam Altman.
Enderle añade que el riesgo de que la mejora de la IA a sí misma todavía es un asunto teórico y que crear un sistema unificado de supervisión de los grandes agentes involucrados en esta industria es demasiado complicado.
“Realizar un seguimiento de los recursos informáticos descentralizados, los centros de datos privados y la investigación algorítmica a nivel mundial es mucho más difícil que supervisar algo físico, como las instalaciones nucleares”, comenta el consultor.
Más allá de lo anterior, para otros especialistas, la advertencia de Anthropic sigue siendo un punto de partida válido para analizar la “gobernanza” de la IA, un tema que ya se viene analizando en las empresas, aunque bajo una perspectiva marcadamente operativa.
Ashish Banerjee, analista de la consultora Gartner declaró a Cio.com que “la cuestión ya no es solo si la IA da la respuesta correcta, sino si los sistemas autónomos toman las medidas adecuadas”.
“La estrategia de intervención humana no funciona si la persona no puede seguir el ritmo del proceso”, puntualiza.
VIDEO RECOMENDADO
Fuente: elcomercio.pe