El 10 de junio, el fundador de OpenAI, Sam Altman, apareció en la Conferencia de Inteligencia Artificial de Zhiyuan de 2023 celebrada en Beijing, China a través de un enlace de video.Esta fue la primera vez que Altman pronunció un discurso ante una audiencia china.
En su discurso, Altman citó el "Tao Te Ching" y habló sobre la cooperación entre los principales países, diciendo que la seguridad de la IA comienza con un solo paso, y se debe llevar a cabo la cooperación y la coordinación entre los países.
Luego, Altman aceptó una sesión de preguntas y respuestas uno a uno con Zhang Hongjiang, presidente del Instituto de Investigación Zhiyuan.
El Dr. Zhang Hongjiang es actualmente el presidente del Instituto de Investigación de Inteligencia Artificial Zhiyuan de Beijing y también se desempeña como director independiente y consultor de varias empresas. Fue director ejecutivo y director ejecutivo de Kingsoft Group y director ejecutivo de Kingsoft Cloud. Fue uno de los fundadores del Instituto de Investigación de Microsoft Asia. ) Decano y "Científico Distinguido" de Microsoft.
Antes de unirse a Microsoft, Zhang Hongjiang fue gerente de Hewlett-Packard Labs en Silicon Valley, EE. UU.; antes de eso, también trabajó en el Instituto de Ciencias de Sistemas de la Universidad Nacional de Singapur.
Contenido básico del habla de Altman
La razón por la cual la revolución de la IA actual es tan impactante no es solo la escala de su impacto, sino también la velocidad de su progreso. Esto trae dividendos y riesgos.
Con la llegada de sistemas de IA cada vez más poderosos, la importancia de la cooperación global nunca ha sido mayor. En algunos eventos importantes, los países deben cooperar y coordinarse. Avanzar en la seguridad de AGI es una de las áreas más importantes donde necesitamos encontrar intereses comunes.
La alineación sigue siendo un tema abierto. GPT-4 tardó ocho meses en trabajar en la alineación. Sin embargo, la investigación relacionada aún se está actualizando, principalmente dividida en dos aspectos: escalabilidad e interpretabilidad.
Contenido básico de preguntas y respuestas
Los humanos tendrán poderosos sistemas de inteligencia artificial (IA) dentro de diez años.
OpenAI no tiene una nueva línea de tiempo de código abierto relevante. El modelo de código abierto tiene ventajas, pero todo el código abierto puede no ser la mejor ruta (para promover el desarrollo de la IA).
Es mucho más fácil entender una red neuronal que un cerebro humano.
En algún momento, intentaré hacer un modelo GPT-5, pero no pronto. No sé cuándo aparecerá el GPT-5 específico.
La seguridad de la IA requiere la participación y contribución de investigadores chinos.
Nota: La "alineación de la IA" es el tema más importante en los problemas de control de la IA, es decir, se requiere que el objetivo del sistema de IA esté alineado (coherente) con los valores e intereses humanos.
Discurso de Sam Altman Texto completo
Con el advenimiento de sistemas de inteligencia artificial cada vez más poderosos, lo que está en juego para la cooperación global nunca ha sido tan alto.
Si no tenemos cuidado, un sistema de IA fuera de lugar diseñado para mejorar los resultados de salud pública podría interrumpir todo el sistema de atención médica al brindar recomendaciones infundadas. Del mismo modo, los sistemas de IA diseñados para optimizar la producción agrícola pueden agotar inadvertidamente los recursos naturales o dañar los ecosistemas debido a la falta de consideración de la sostenibilidad a largo plazo que afecta la producción de alimentos y el equilibrio ambiental.
Espero que todos estemos de acuerdo en que promover la seguridad de AGI es una de las áreas más importantes en las que debemos trabajar juntos y encontrar puntos en común.
El resto de mi presentación se centrará en dónde podemos comenzar: 1. La primera área es la gobernanza de AGI, AGI se ha convertido fundamentalmente en una fuerza poderosa para el cambio en nuestra civilización, enfatizando la necesidad de una cooperación y coordinación internacional significativa. Todos se benefician de un enfoque de gobernanza colaborativa. Si navegamos por este camino de manera segura y responsable, los sistemas AgI pueden crear una prosperidad económica sin precedentes para la economía mundial, abordar desafíos comunes como el cambio climático y la seguridad sanitaria mundial, y mejorar el bienestar social.
También creo profundamente en el futuro. Necesitamos invertir en la seguridad de AGI para llegar a donde queremos estar y disfrutarlo allí.
Para hacer esto necesitamos una cuidadosa coordinación. Esta es una tecnología global con alcance global. El costo de los accidentes causados por un desarrollo y despliegue imprudentes nos afectará a todos.
En la cooperación internacional, creo que hay dos áreas clave que son las más importantes.
En primer lugar, debemos establecer normas y estándares internacionales y prestar atención a la inclusión en el proceso. El uso de los sistemas AGI en cualquier país debe seguir dichos estándares y normas internacionales de manera uniforme y consistente. Dentro de estas vallas de seguridad, creemos que las personas tienen amplias oportunidades para tomar sus propias decisiones.
En segundo lugar, necesitamos la cooperación internacional para generar una confianza internacional verificable en el desarrollo seguro de sistemas de IA cada vez más potentes. No me hago ilusiones de que esta es una tarea fácil que requiere una gran cantidad de atención dedicada y sostenida.
El Tao Te King nos dice: Un viaje de mil millas comienza con un solo paso. Creemos que el primer paso más constructivo en este sentido es cooperar con la comunidad científica y tecnológica internacional.
Lo que debe enfatizarse es que debemos aumentar el mecanismo de transparencia y el intercambio de conocimientos para promover el progreso tecnológico. Cuando se trata de la seguridad de AGI, los investigadores que descubren problemas de seguridad emergentes deben compartir sus conocimientos por el bien común.
Necesitamos pensar mucho sobre cómo podemos respetar y proteger la propiedad intelectual mientras fomentamos esta norma. Si hacemos esto, se nos abrirán nuevas puertas para profundizar nuestra cooperación.
En términos más generales, deberíamos invertir en promover y liderar la investigación sobre la alineación y la seguridad de la IA.
En Open AI, nuestra investigación actual se centra en los problemas técnicos que permiten que la IA desempeñe un papel útil y más seguro en nuestros sistemas actuales. Esto también puede significar que entrenamos ChatGPT de tal manera que no haga amenazas de violencia ni ayude a los usuarios en actividades dañinas.
Pero a medida que nos acercamos a la era de AGI, el impacto potencial y el tamaño del impacto de los sistemas de IA no alineados crecerán exponencialmente. Abordar proactivamente estos desafíos ahora minimiza el riesgo de resultados catastróficos en el futuro.
Para el sistema actual, usamos principalmente el aprendizaje por refuerzo con retroalimentación humana para entrenar nuestro modelo para que sea un asistente de seguridad útil. Este es solo un ejemplo de varias técnicas de ajuste posteriores al entrenamiento. Y también estamos trabajando duro en nuevas tecnologías, que requieren mucho trabajo de ingeniería.
Desde que GPT4 termina el preentrenamiento hasta que lo implementamos, dedicamos 8 meses al trabajo de alineación. En general, creemos que estamos haciendo un buen trabajo aquí. GPT4 está más alineado con los humanos que cualquiera de nuestros modelos anteriores.
Sin embargo, la alineación sigue siendo un problema abierto para los sistemas más avanzados, lo que argumentamos requiere nuevos enfoques técnicos con una mejor gobernanza y supervisión.
Para futuros sistemas AGI, propone 100.000 líneas de código binario. Es poco probable que los supervisores humanos descubran si dicho modelo está haciendo algo nefasto. Por lo tanto, estamos invirtiendo en algunas direcciones de investigación nuevas y complementarias que esperamos conduzcan a avances.
Uno es la supervisión escalable. Podemos intentar usar sistemas de IA para ayudar a los humanos a supervisar otros sistemas de IA. Por ejemplo, podemos entrenar un modelo para ayudar a la supervisión humana a encontrar fallas en la salida de otros modelos.
El segundo es la interpretabilidad. Queríamos tratar de comprender mejor lo que sucede dentro de estos modelos. Recientemente publicamos un artículo que usa GPT-4 para interpretar las neuronas en GPT-2. En otro artículo, usamos Model Internals para detectar cuando un modelo está mintiendo. Todavía tenemos un largo camino por recorrer. Creemos que las técnicas avanzadas de aprendizaje automático pueden mejorar aún más nuestra capacidad de explicación.
En última instancia, nuestro objetivo es entrenar un sistema de IA para ayudar en los estudios de alineación. La belleza de este enfoque es que puede escalar con la velocidad del desarrollo de la IA.
Cosechar los extraordinarios beneficios de AGI mientras se mitigan los riesgos es uno de los desafíos fundamentales de nuestro tiempo. Vemos un gran potencial para que los investigadores en China, EE. UU. y todo el mundo trabajen juntos hacia el mismo objetivo y trabajen arduamente para resolver los desafíos técnicos que plantea la alineación AGI.
Si hacemos esto, creo que podremos usar AGI para resolver los problemas más importantes del mundo y mejorar en gran medida la calidad de vida humana. Muchas gracias.
Registro de diálogo
Tendremos un sistema de IA muy poderoso en los próximos diez años
**Zhang Hongjiang, presidente del Instituto de Investigación Zhiyuan, preguntó: **¿Qué tan lejos estamos de la inteligencia artificial general (AGI)? ¿El riesgo es urgente o estamos lejos de él?
Sam Altman: Es difícil calcular cuándo. Es muy probable que tengamos sistemas de IA muy poderosos en la próxima década, y las nuevas tecnologías cambiarán fundamentalmente el mundo más rápido de lo que pensamos. En ese mundo, creo que es importante y urgente hacer bien esto (las reglas de seguridad de la IA), por lo que hago un llamado a la comunidad internacional para que trabajen juntos.
En cierto sentido, la aceleración y el impacto sistémico de las nuevas tecnologías que estamos viendo ahora no tiene precedentes. Así que creo que se trata de estar preparado para lo que viene y ser consciente de los problemas de seguridad. Dada la gran escala de la IA, lo que está en juego es significativo.
En su opinión, en el campo de la seguridad AGI, ¿cuáles son las ventajas de los diferentes países para resolver este problema, especialmente para resolver los problemas de seguridad de la IA? ¿Cómo se pueden combinar estas fortalezas?
Cooperación global para proponer estándares y marcos de seguridad para la IA
Zhang Hongjiang: Usted mencionó varias veces en la introducción anterior hace un momento que la cooperación global está en marcha. Sabemos que el mundo ha enfrentado crisis considerables en el pasado. De alguna manera, para muchos de ellos, logramos construir un consenso, construir una cooperación global. También estás en una gira mundial, ¿qué tipo de colaboraciones globales estás tratando de promover?
Sam Altman: Sí, estoy muy satisfecho con las reacciones y respuestas de todos hasta ahora. Creo que la gente se está tomando muy en serio los riesgos y las oportunidades de AGI.
Creo que la discusión sobre seguridad ha avanzado mucho en los últimos 6 meses. Parece haber un compromiso real para encontrar una estructura que nos permita disfrutar de estos beneficios mientras trabajamos juntos a nivel mundial para reducir los riesgos. Creo que estamos muy bien preparados para hacer esto. La cooperación global siempre es difícil, pero la veo como una oportunidad y una amenaza para unir al mundo. Sería muy útil si pudiéramos crear un marco y estándares de seguridad para estos sistemas.
Cómo resolver el problema de alineación de la inteligencia artificial
Zhang Hongjiang: Mencionaste que la alineación de la inteligencia artificial avanzada es un problema sin resolver. También noté que OpenAI se ha esforzado mucho en los últimos años. Usted mencionó que GPT-4 es, con mucho, el mejor ejemplo en el campo de la alineación. ¿Cree que podemos resolver los problemas de seguridad de AGI simplemente ajustando (API)? ¿O es mucho más difícil que la forma en que se resuelve este problema?
Sam Altman: Creo que hay diferentes formas de entender la palabra alineación. Creo que lo que debemos resolver es el desafío en todo el sistema de inteligencia artificial. La alineación en el sentido tradicional, hacer que el comportamiento del modelo coincida con la intención del usuario, es sin duda parte de ello.
Pero también habrá otras cuestiones, como cómo verificamos qué están haciendo los sistemas, qué queremos que hagan y cómo ajustamos el valor del sistema. Lo más importante es ver el panorama general de la seguridad de AGI.
Todo lo demás es difícil sin una solución técnica. Creo que es muy importante centrarse en asegurarse de que abordamos los aspectos técnicos de la seguridad. Como mencioné, averiguar cuáles son nuestros valores no es una cuestión técnica. Aunque requiere aportes técnicos, es un tema digno de ser discutido en profundidad por toda la sociedad. Debemos diseñar sistemas que sean justos, representativos e inclusivos.
Zhang Hongjiang: Para la alineación, lo que vemos GPT-4 sigue siendo una solución desde un punto de vista técnico. Pero hay muchos otros factores además de la tecnología, a menudo sistémicos. La seguridad de la IA puede no ser una excepción aquí. Además de los aspectos técnicos, ¿cuáles son los otros factores y problemas? ¿Crees que es fundamental para la seguridad de la IA? ¿Cómo debemos responder a estos desafíos? Sobre todo porque la mayoría de nosotros somos científicos. Qué debemos hacer.
Sam Altman: Esta es ciertamente una pregunta muy compleja. Pero todo lo demás es difícil sin una solución técnica. Creo que es muy importante centrarse en asegurarse de que abordamos los aspectos técnicos de la seguridad. Como mencioné, averiguar cuáles son nuestros valores no es una cuestión técnica. Requiere aportes técnicos, pero también es un tema digno de ser discutido en profundidad por toda la sociedad. Debemos diseñar sistemas que sean justos, representativos e inclusivos.
Y, como usted señala, debemos pensar en la seguridad no solo del modelo de IA, sino del sistema en su conjunto.
Por lo tanto, es importante poder construir clasificadores y detectores seguros que se ejecuten en sistemas que controlen la IA para el cumplimiento de las políticas de uso. Creo que es difícil predecir de antemano todos los problemas que surgirán con cualquier tecnología. Así que aprenda del uso en el mundo real e impleméntelo iterativamente para ver qué sucede cuando realmente crea la realidad y la mejora.
También es importante dar tiempo a los seres humanos y a las sociedades para aprender y actualizarse, y para pensar en cómo estos modelos interactuarán con sus vidas en las buenas y en las malas.
Requiere la cooperación de todos los países
**Zhang Hongjiang:**Antes, mencionó la cooperación global. Usted ha estado viajando por todo el mundo. China, Estados Unidos y Europa son las fuerzas impulsoras detrás de la innovación de la inteligencia artificial. En su opinión, en AGI, ¿cuáles son las ventajas de los diferentes países para resolver el problema de AGI, especialmente para resolver el problema de la seguridad humana? ¿Cómo se pueden combinar estas fortalezas?
Sam Altman: Creo que generalmente se requieren muchas perspectivas diferentes y seguridad de IA. Todavía no tenemos todas las respuestas, y esta es una pregunta bastante difícil e importante.
Además, como se mencionó, no es una cuestión puramente técnica hacer que la IA sea segura y beneficiosa. Implica comprender las preferencias de los usuarios en diferentes países en contextos muy diferentes. Necesitamos muchos aportes diferentes para que esto suceda. China tiene algunos de los mejores talentos de IA del mundo. Fundamentalmente, creo que se necesitan las mejores mentes de todo el mundo para abordar la dificultad de alinear sistemas avanzados de IA. Así que realmente espero que los investigadores chinos de IA puedan hacer grandes contribuciones aquí.
Se requiere una arquitectura muy diferente para que AGI sea más seguro
**Zhang Hongjiang: **Preguntas de seguimiento sobre GPT-4 y la seguridad de la IA. ¿Es posible que necesitemos cambiar toda la infraestructura o toda la arquitectura del modelo AGI? Para que sea más seguro y fácil de comprobar.
Sam Altman: Es muy posible que necesitemos algunas arquitecturas muy diferentes, tanto desde una perspectiva funcional como desde una perspectiva de seguridad.
Creo que vamos a poder hacer algunos progresos, un buen progreso en la explicación de las capacidades de nuestros diversos modelos en este momento, y lograr que nos expliquen mejor lo que están haciendo y por qué. Pero sí, no me sorprendería si hay otro salto gigante después de Transformer. Hemos cambiado mucho la arquitectura desde el Transformer original.
La posibilidad de OpenAI Open Source
Zhang Hongjiang: Entiendo que el foro de hoy trata sobre la seguridad de la IA, porque la gente siente mucha curiosidad por OpenAI, así que tengo muchas preguntas sobre OpenAI, no solo sobre la seguridad de la IA. Tengo una pregunta de la audiencia aquí, ¿hay algún plan para que OpenAI vuelva a abrir sus modelos como lo hacía antes de la versión 3.0? También creo que el código abierto es bueno para la seguridad de la IA.
Sam Altman: Algunos de nuestros modelos son de código abierto y otros no, pero a medida que pasa el tiempo, creo que debe esperar que sigamos abriendo más modelos de código en el futuro. No tengo un modelo específico o una línea de tiempo, pero es algo que estamos discutiendo en este momento.
Zhang Hongjiang: BAAI hace todos los esfuerzos de código abierto, incluidos los propios modelos y algoritmos. Creemos que tenemos esta necesidad, compartir y dar que ustedes perciben como el que ellos tienen el control. ¿Tiene ideas similares o estos temas han sido discutidos entre sus compañeros o colegas en OpenAI?
Sam Altman: Sí, creo que el código abierto tiene un papel importante en cierto modo.
Recientemente también han surgido muchos modelos nuevos de código abierto. Creo que el modelo API también tiene un papel importante. Nos proporciona controles de seguridad adicionales. Puede bloquear ciertos usos. Puede bloquear ciertos tipos de ajustes. Si algo no funciona, puede recuperarlo. A la escala del modelo actual, no estoy demasiado preocupado por eso. Pero a medida que el modelo se vuelve tan poderoso como esperamos que sea, si tenemos razón, creo que el código abierto en todo podría no ser el mejor camino, aunque a veces es correcto. Creo que solo tenemos que equilibrarlo con cuidado.
Tendremos más modelos grandes de código abierto en el futuro, pero no hay un modelo ni un cronograma específicos.
¿El siguiente paso para AGI? ¿Veremos GPT-5 pronto?
Zhang Hongjiang: Como investigador, también tengo curiosidad, ¿cuál es la próxima dirección de la investigación de AGI? En términos de modelos grandes, modelos de lenguaje grande, ¿veremos GPT-5 pronto? ¿La próxima frontera está en los modelos encarnados? ¿Es la robótica autónoma un área que OpenAI es o planea explorar?
Sam Altman: También tengo curiosidad sobre lo que sucederá a continuación, una de mis cosas favoritas de hacer este trabajo es que hay mucha emoción y sorpresa en la investigación de vanguardia. Todavía no tenemos las respuestas, por lo que estamos explorando muchos posibles nuevos paradigmas. Por supuesto, en algún momento intentaremos hacer un modelo GPT-5, pero no pronto. No sabemos cuándo exactamente. Hemos estado trabajando en robótica desde el comienzo de OpenAI y estamos muy interesados en ella, pero hemos tenido algunas dificultades. Espero que algún día podamos volver a este campo.
Zhang Hongjiang: Suena genial. También mencionó en su presentación cómo usa GPT-4 para explicar cómo funciona GPT-2, lo que hace que el modelo sea más seguro. ¿Este enfoque es escalable? ¿Es esta la dirección en la que OpenAI seguirá avanzando en el futuro?
Sam Altman: Seguiremos avanzando en esta dirección.
Zhang Hongjiang: ¿Crees que este método se puede aplicar a las neuronas biológicas? Porque la razón por la que hago esta pregunta es que hay algunos biólogos y neurocientíficos que quieren tomar prestado este método para estudiar y explorar cómo funcionan las neuronas humanas en su campo.
Sam Altman: Es mucho más fácil ver lo que sucede en una neurona artificial que en una neurona biológica. Así que creo que este enfoque es válido para las redes neuronales artificiales. Creo que hay una manera de usar modelos más poderosos para ayudarnos a entender otros modelos. Pero no estoy muy seguro de cómo aplicaría este enfoque al cerebro humano.
¿Es factible controlar el número de modelos?
**Zhang Hongjiang: **Está bien, gracias. Ahora que hemos hablado sobre la seguridad de la IA y el control de AGI, una de las preguntas que hemos estado discutiendo es, ¿sería más seguro si solo hubiera tres modelos en el mundo? Es como el control nuclear, no quieres que proliferen las armas nucleares. Tenemos este tratado donde tratamos de controlar la cantidad de países que pueden obtener esta tecnología. Entonces, ¿controlar el número de modelos es una dirección factible?
Sam Altman: Creo que hay diferentes opiniones sobre si es más seguro tener un modelo minoritario o un modelo mayoritario en el mundo. Creo que es más importante, ¿tenemos un sistema en el que cualquier modelo robusto se pruebe adecuadamente para la seguridad? ¿Tenemos un marco en el que cualquiera que cree un modelo suficientemente sólido tenga tanto los recursos como la responsabilidad de garantizar que lo que crea sea seguro y esté alineado?
Zhang Hongjiang: En la reunión de ayer, el profesor Max del Instituto del Futuro de la Vida del MIT mencionó un método posible, que es similar a la forma en que controlamos el desarrollo de fármacos. Cuando los científicos o las empresas desarrollan nuevos medicamentos, no puede comercializarlos directamente. Tienes que pasar por este proceso de prueba. ¿Es esto algo de lo que podamos aprender?
Sam Altman: Definitivamente creo que podemos aprender mucho de los marcos de licencias y pruebas que se han desarrollado en diferentes industrias. Pero creo que fundamentalmente tenemos algo que puede funcionar.
Zhang Hongjiang: Muchas gracias, Sam. Gracias por tomarse el tiempo para asistir a esta reunión, aunque sea en línea. Estoy seguro de que hay muchas más preguntas, pero dado el tiempo, tenemos que detenernos aquí. Espero que la próxima vez que tenga la oportunidad de venir a China, venga a Beijing, podamos tener una discusión más profunda. muchas gracias.
Ver originales
El contenido es solo de referencia, no una solicitud u oferta. No se proporciona asesoramiento fiscal, legal ni de inversión. Consulte el Descargo de responsabilidad para obtener más información sobre los riesgos.
Texto completo del primer discurso del CEO de OpenAI en China: intentará hacer un modelo GPT-5, pero no pronto
El 10 de junio, el fundador de OpenAI, Sam Altman, apareció en la Conferencia de Inteligencia Artificial de Zhiyuan de 2023 celebrada en Beijing, China a través de un enlace de video.Esta fue la primera vez que Altman pronunció un discurso ante una audiencia china.
En su discurso, Altman citó el "Tao Te Ching" y habló sobre la cooperación entre los principales países, diciendo que la seguridad de la IA comienza con un solo paso, y se debe llevar a cabo la cooperación y la coordinación entre los países.
Luego, Altman aceptó una sesión de preguntas y respuestas uno a uno con Zhang Hongjiang, presidente del Instituto de Investigación Zhiyuan.
El Dr. Zhang Hongjiang es actualmente el presidente del Instituto de Investigación de Inteligencia Artificial Zhiyuan de Beijing y también se desempeña como director independiente y consultor de varias empresas. Fue director ejecutivo y director ejecutivo de Kingsoft Group y director ejecutivo de Kingsoft Cloud. Fue uno de los fundadores del Instituto de Investigación de Microsoft Asia. ) Decano y "Científico Distinguido" de Microsoft.
Antes de unirse a Microsoft, Zhang Hongjiang fue gerente de Hewlett-Packard Labs en Silicon Valley, EE. UU.; antes de eso, también trabajó en el Instituto de Ciencias de Sistemas de la Universidad Nacional de Singapur.
Contenido básico del habla de Altman
La razón por la cual la revolución de la IA actual es tan impactante no es solo la escala de su impacto, sino también la velocidad de su progreso. Esto trae dividendos y riesgos.
Con la llegada de sistemas de IA cada vez más poderosos, la importancia de la cooperación global nunca ha sido mayor. En algunos eventos importantes, los países deben cooperar y coordinarse. Avanzar en la seguridad de AGI es una de las áreas más importantes donde necesitamos encontrar intereses comunes.
La alineación sigue siendo un tema abierto. GPT-4 tardó ocho meses en trabajar en la alineación. Sin embargo, la investigación relacionada aún se está actualizando, principalmente dividida en dos aspectos: escalabilidad e interpretabilidad.
Contenido básico de preguntas y respuestas
Los humanos tendrán poderosos sistemas de inteligencia artificial (IA) dentro de diez años.
OpenAI no tiene una nueva línea de tiempo de código abierto relevante. El modelo de código abierto tiene ventajas, pero todo el código abierto puede no ser la mejor ruta (para promover el desarrollo de la IA).
Es mucho más fácil entender una red neuronal que un cerebro humano.
En algún momento, intentaré hacer un modelo GPT-5, pero no pronto. No sé cuándo aparecerá el GPT-5 específico.
La seguridad de la IA requiere la participación y contribución de investigadores chinos.
Nota: La "alineación de la IA" es el tema más importante en los problemas de control de la IA, es decir, se requiere que el objetivo del sistema de IA esté alineado (coherente) con los valores e intereses humanos.
Discurso de Sam Altman Texto completo
Con el advenimiento de sistemas de inteligencia artificial cada vez más poderosos, lo que está en juego para la cooperación global nunca ha sido tan alto.
Si no tenemos cuidado, un sistema de IA fuera de lugar diseñado para mejorar los resultados de salud pública podría interrumpir todo el sistema de atención médica al brindar recomendaciones infundadas. Del mismo modo, los sistemas de IA diseñados para optimizar la producción agrícola pueden agotar inadvertidamente los recursos naturales o dañar los ecosistemas debido a la falta de consideración de la sostenibilidad a largo plazo que afecta la producción de alimentos y el equilibrio ambiental.
Espero que todos estemos de acuerdo en que promover la seguridad de AGI es una de las áreas más importantes en las que debemos trabajar juntos y encontrar puntos en común.
El resto de mi presentación se centrará en dónde podemos comenzar: 1. La primera área es la gobernanza de AGI, AGI se ha convertido fundamentalmente en una fuerza poderosa para el cambio en nuestra civilización, enfatizando la necesidad de una cooperación y coordinación internacional significativa. Todos se benefician de un enfoque de gobernanza colaborativa. Si navegamos por este camino de manera segura y responsable, los sistemas AgI pueden crear una prosperidad económica sin precedentes para la economía mundial, abordar desafíos comunes como el cambio climático y la seguridad sanitaria mundial, y mejorar el bienestar social.
También creo profundamente en el futuro. Necesitamos invertir en la seguridad de AGI para llegar a donde queremos estar y disfrutarlo allí.
Para hacer esto necesitamos una cuidadosa coordinación. Esta es una tecnología global con alcance global. El costo de los accidentes causados por un desarrollo y despliegue imprudentes nos afectará a todos.
En la cooperación internacional, creo que hay dos áreas clave que son las más importantes.
En primer lugar, debemos establecer normas y estándares internacionales y prestar atención a la inclusión en el proceso. El uso de los sistemas AGI en cualquier país debe seguir dichos estándares y normas internacionales de manera uniforme y consistente. Dentro de estas vallas de seguridad, creemos que las personas tienen amplias oportunidades para tomar sus propias decisiones.
En segundo lugar, necesitamos la cooperación internacional para generar una confianza internacional verificable en el desarrollo seguro de sistemas de IA cada vez más potentes. No me hago ilusiones de que esta es una tarea fácil que requiere una gran cantidad de atención dedicada y sostenida.
El Tao Te King nos dice: Un viaje de mil millas comienza con un solo paso. Creemos que el primer paso más constructivo en este sentido es cooperar con la comunidad científica y tecnológica internacional.
Lo que debe enfatizarse es que debemos aumentar el mecanismo de transparencia y el intercambio de conocimientos para promover el progreso tecnológico. Cuando se trata de la seguridad de AGI, los investigadores que descubren problemas de seguridad emergentes deben compartir sus conocimientos por el bien común.
Necesitamos pensar mucho sobre cómo podemos respetar y proteger la propiedad intelectual mientras fomentamos esta norma. Si hacemos esto, se nos abrirán nuevas puertas para profundizar nuestra cooperación.
En términos más generales, deberíamos invertir en promover y liderar la investigación sobre la alineación y la seguridad de la IA.
En Open AI, nuestra investigación actual se centra en los problemas técnicos que permiten que la IA desempeñe un papel útil y más seguro en nuestros sistemas actuales. Esto también puede significar que entrenamos ChatGPT de tal manera que no haga amenazas de violencia ni ayude a los usuarios en actividades dañinas.
Pero a medida que nos acercamos a la era de AGI, el impacto potencial y el tamaño del impacto de los sistemas de IA no alineados crecerán exponencialmente. Abordar proactivamente estos desafíos ahora minimiza el riesgo de resultados catastróficos en el futuro.
Para el sistema actual, usamos principalmente el aprendizaje por refuerzo con retroalimentación humana para entrenar nuestro modelo para que sea un asistente de seguridad útil. Este es solo un ejemplo de varias técnicas de ajuste posteriores al entrenamiento. Y también estamos trabajando duro en nuevas tecnologías, que requieren mucho trabajo de ingeniería.
Desde que GPT4 termina el preentrenamiento hasta que lo implementamos, dedicamos 8 meses al trabajo de alineación. En general, creemos que estamos haciendo un buen trabajo aquí. GPT4 está más alineado con los humanos que cualquiera de nuestros modelos anteriores.
Sin embargo, la alineación sigue siendo un problema abierto para los sistemas más avanzados, lo que argumentamos requiere nuevos enfoques técnicos con una mejor gobernanza y supervisión.
Para futuros sistemas AGI, propone 100.000 líneas de código binario. Es poco probable que los supervisores humanos descubran si dicho modelo está haciendo algo nefasto. Por lo tanto, estamos invirtiendo en algunas direcciones de investigación nuevas y complementarias que esperamos conduzcan a avances.
Uno es la supervisión escalable. Podemos intentar usar sistemas de IA para ayudar a los humanos a supervisar otros sistemas de IA. Por ejemplo, podemos entrenar un modelo para ayudar a la supervisión humana a encontrar fallas en la salida de otros modelos.
El segundo es la interpretabilidad. Queríamos tratar de comprender mejor lo que sucede dentro de estos modelos. Recientemente publicamos un artículo que usa GPT-4 para interpretar las neuronas en GPT-2. En otro artículo, usamos Model Internals para detectar cuando un modelo está mintiendo. Todavía tenemos un largo camino por recorrer. Creemos que las técnicas avanzadas de aprendizaje automático pueden mejorar aún más nuestra capacidad de explicación.
En última instancia, nuestro objetivo es entrenar un sistema de IA para ayudar en los estudios de alineación. La belleza de este enfoque es que puede escalar con la velocidad del desarrollo de la IA.
Cosechar los extraordinarios beneficios de AGI mientras se mitigan los riesgos es uno de los desafíos fundamentales de nuestro tiempo. Vemos un gran potencial para que los investigadores en China, EE. UU. y todo el mundo trabajen juntos hacia el mismo objetivo y trabajen arduamente para resolver los desafíos técnicos que plantea la alineación AGI.
Si hacemos esto, creo que podremos usar AGI para resolver los problemas más importantes del mundo y mejorar en gran medida la calidad de vida humana. Muchas gracias.
Registro de diálogo
Tendremos un sistema de IA muy poderoso en los próximos diez años
**Zhang Hongjiang, presidente del Instituto de Investigación Zhiyuan, preguntó: **¿Qué tan lejos estamos de la inteligencia artificial general (AGI)? ¿El riesgo es urgente o estamos lejos de él?
Sam Altman: Es difícil calcular cuándo. Es muy probable que tengamos sistemas de IA muy poderosos en la próxima década, y las nuevas tecnologías cambiarán fundamentalmente el mundo más rápido de lo que pensamos. En ese mundo, creo que es importante y urgente hacer bien esto (las reglas de seguridad de la IA), por lo que hago un llamado a la comunidad internacional para que trabajen juntos.
En cierto sentido, la aceleración y el impacto sistémico de las nuevas tecnologías que estamos viendo ahora no tiene precedentes. Así que creo que se trata de estar preparado para lo que viene y ser consciente de los problemas de seguridad. Dada la gran escala de la IA, lo que está en juego es significativo.
En su opinión, en el campo de la seguridad AGI, ¿cuáles son las ventajas de los diferentes países para resolver este problema, especialmente para resolver los problemas de seguridad de la IA? ¿Cómo se pueden combinar estas fortalezas?
Cooperación global para proponer estándares y marcos de seguridad para la IA
Zhang Hongjiang: Usted mencionó varias veces en la introducción anterior hace un momento que la cooperación global está en marcha. Sabemos que el mundo ha enfrentado crisis considerables en el pasado. De alguna manera, para muchos de ellos, logramos construir un consenso, construir una cooperación global. También estás en una gira mundial, ¿qué tipo de colaboraciones globales estás tratando de promover?
Sam Altman: Sí, estoy muy satisfecho con las reacciones y respuestas de todos hasta ahora. Creo que la gente se está tomando muy en serio los riesgos y las oportunidades de AGI.
Creo que la discusión sobre seguridad ha avanzado mucho en los últimos 6 meses. Parece haber un compromiso real para encontrar una estructura que nos permita disfrutar de estos beneficios mientras trabajamos juntos a nivel mundial para reducir los riesgos. Creo que estamos muy bien preparados para hacer esto. La cooperación global siempre es difícil, pero la veo como una oportunidad y una amenaza para unir al mundo. Sería muy útil si pudiéramos crear un marco y estándares de seguridad para estos sistemas.
Cómo resolver el problema de alineación de la inteligencia artificial
Zhang Hongjiang: Mencionaste que la alineación de la inteligencia artificial avanzada es un problema sin resolver. También noté que OpenAI se ha esforzado mucho en los últimos años. Usted mencionó que GPT-4 es, con mucho, el mejor ejemplo en el campo de la alineación. ¿Cree que podemos resolver los problemas de seguridad de AGI simplemente ajustando (API)? ¿O es mucho más difícil que la forma en que se resuelve este problema?
Sam Altman: Creo que hay diferentes formas de entender la palabra alineación. Creo que lo que debemos resolver es el desafío en todo el sistema de inteligencia artificial. La alineación en el sentido tradicional, hacer que el comportamiento del modelo coincida con la intención del usuario, es sin duda parte de ello.
Pero también habrá otras cuestiones, como cómo verificamos qué están haciendo los sistemas, qué queremos que hagan y cómo ajustamos el valor del sistema. Lo más importante es ver el panorama general de la seguridad de AGI.
Todo lo demás es difícil sin una solución técnica. Creo que es muy importante centrarse en asegurarse de que abordamos los aspectos técnicos de la seguridad. Como mencioné, averiguar cuáles son nuestros valores no es una cuestión técnica. Aunque requiere aportes técnicos, es un tema digno de ser discutido en profundidad por toda la sociedad. Debemos diseñar sistemas que sean justos, representativos e inclusivos.
Zhang Hongjiang: Para la alineación, lo que vemos GPT-4 sigue siendo una solución desde un punto de vista técnico. Pero hay muchos otros factores además de la tecnología, a menudo sistémicos. La seguridad de la IA puede no ser una excepción aquí. Además de los aspectos técnicos, ¿cuáles son los otros factores y problemas? ¿Crees que es fundamental para la seguridad de la IA? ¿Cómo debemos responder a estos desafíos? Sobre todo porque la mayoría de nosotros somos científicos. Qué debemos hacer.
Sam Altman: Esta es ciertamente una pregunta muy compleja. Pero todo lo demás es difícil sin una solución técnica. Creo que es muy importante centrarse en asegurarse de que abordamos los aspectos técnicos de la seguridad. Como mencioné, averiguar cuáles son nuestros valores no es una cuestión técnica. Requiere aportes técnicos, pero también es un tema digno de ser discutido en profundidad por toda la sociedad. Debemos diseñar sistemas que sean justos, representativos e inclusivos.
Y, como usted señala, debemos pensar en la seguridad no solo del modelo de IA, sino del sistema en su conjunto.
Por lo tanto, es importante poder construir clasificadores y detectores seguros que se ejecuten en sistemas que controlen la IA para el cumplimiento de las políticas de uso. Creo que es difícil predecir de antemano todos los problemas que surgirán con cualquier tecnología. Así que aprenda del uso en el mundo real e impleméntelo iterativamente para ver qué sucede cuando realmente crea la realidad y la mejora.
También es importante dar tiempo a los seres humanos y a las sociedades para aprender y actualizarse, y para pensar en cómo estos modelos interactuarán con sus vidas en las buenas y en las malas.
Requiere la cooperación de todos los países
**Zhang Hongjiang:**Antes, mencionó la cooperación global. Usted ha estado viajando por todo el mundo. China, Estados Unidos y Europa son las fuerzas impulsoras detrás de la innovación de la inteligencia artificial. En su opinión, en AGI, ¿cuáles son las ventajas de los diferentes países para resolver el problema de AGI, especialmente para resolver el problema de la seguridad humana? ¿Cómo se pueden combinar estas fortalezas?
Sam Altman: Creo que generalmente se requieren muchas perspectivas diferentes y seguridad de IA. Todavía no tenemos todas las respuestas, y esta es una pregunta bastante difícil e importante.
Además, como se mencionó, no es una cuestión puramente técnica hacer que la IA sea segura y beneficiosa. Implica comprender las preferencias de los usuarios en diferentes países en contextos muy diferentes. Necesitamos muchos aportes diferentes para que esto suceda. China tiene algunos de los mejores talentos de IA del mundo. Fundamentalmente, creo que se necesitan las mejores mentes de todo el mundo para abordar la dificultad de alinear sistemas avanzados de IA. Así que realmente espero que los investigadores chinos de IA puedan hacer grandes contribuciones aquí.
Se requiere una arquitectura muy diferente para que AGI sea más seguro
**Zhang Hongjiang: **Preguntas de seguimiento sobre GPT-4 y la seguridad de la IA. ¿Es posible que necesitemos cambiar toda la infraestructura o toda la arquitectura del modelo AGI? Para que sea más seguro y fácil de comprobar.
Sam Altman: Es muy posible que necesitemos algunas arquitecturas muy diferentes, tanto desde una perspectiva funcional como desde una perspectiva de seguridad.
Creo que vamos a poder hacer algunos progresos, un buen progreso en la explicación de las capacidades de nuestros diversos modelos en este momento, y lograr que nos expliquen mejor lo que están haciendo y por qué. Pero sí, no me sorprendería si hay otro salto gigante después de Transformer. Hemos cambiado mucho la arquitectura desde el Transformer original.
La posibilidad de OpenAI Open Source
Zhang Hongjiang: Entiendo que el foro de hoy trata sobre la seguridad de la IA, porque la gente siente mucha curiosidad por OpenAI, así que tengo muchas preguntas sobre OpenAI, no solo sobre la seguridad de la IA. Tengo una pregunta de la audiencia aquí, ¿hay algún plan para que OpenAI vuelva a abrir sus modelos como lo hacía antes de la versión 3.0? También creo que el código abierto es bueno para la seguridad de la IA.
Sam Altman: Algunos de nuestros modelos son de código abierto y otros no, pero a medida que pasa el tiempo, creo que debe esperar que sigamos abriendo más modelos de código en el futuro. No tengo un modelo específico o una línea de tiempo, pero es algo que estamos discutiendo en este momento.
Zhang Hongjiang: BAAI hace todos los esfuerzos de código abierto, incluidos los propios modelos y algoritmos. Creemos que tenemos esta necesidad, compartir y dar que ustedes perciben como el que ellos tienen el control. ¿Tiene ideas similares o estos temas han sido discutidos entre sus compañeros o colegas en OpenAI?
Sam Altman: Sí, creo que el código abierto tiene un papel importante en cierto modo.
Recientemente también han surgido muchos modelos nuevos de código abierto. Creo que el modelo API también tiene un papel importante. Nos proporciona controles de seguridad adicionales. Puede bloquear ciertos usos. Puede bloquear ciertos tipos de ajustes. Si algo no funciona, puede recuperarlo. A la escala del modelo actual, no estoy demasiado preocupado por eso. Pero a medida que el modelo se vuelve tan poderoso como esperamos que sea, si tenemos razón, creo que el código abierto en todo podría no ser el mejor camino, aunque a veces es correcto. Creo que solo tenemos que equilibrarlo con cuidado.
Tendremos más modelos grandes de código abierto en el futuro, pero no hay un modelo ni un cronograma específicos.
¿El siguiente paso para AGI? ¿Veremos GPT-5 pronto?
Zhang Hongjiang: Como investigador, también tengo curiosidad, ¿cuál es la próxima dirección de la investigación de AGI? En términos de modelos grandes, modelos de lenguaje grande, ¿veremos GPT-5 pronto? ¿La próxima frontera está en los modelos encarnados? ¿Es la robótica autónoma un área que OpenAI es o planea explorar?
Sam Altman: También tengo curiosidad sobre lo que sucederá a continuación, una de mis cosas favoritas de hacer este trabajo es que hay mucha emoción y sorpresa en la investigación de vanguardia. Todavía no tenemos las respuestas, por lo que estamos explorando muchos posibles nuevos paradigmas. Por supuesto, en algún momento intentaremos hacer un modelo GPT-5, pero no pronto. No sabemos cuándo exactamente. Hemos estado trabajando en robótica desde el comienzo de OpenAI y estamos muy interesados en ella, pero hemos tenido algunas dificultades. Espero que algún día podamos volver a este campo.
Zhang Hongjiang: Suena genial. También mencionó en su presentación cómo usa GPT-4 para explicar cómo funciona GPT-2, lo que hace que el modelo sea más seguro. ¿Este enfoque es escalable? ¿Es esta la dirección en la que OpenAI seguirá avanzando en el futuro?
Sam Altman: Seguiremos avanzando en esta dirección.
Zhang Hongjiang: ¿Crees que este método se puede aplicar a las neuronas biológicas? Porque la razón por la que hago esta pregunta es que hay algunos biólogos y neurocientíficos que quieren tomar prestado este método para estudiar y explorar cómo funcionan las neuronas humanas en su campo.
Sam Altman: Es mucho más fácil ver lo que sucede en una neurona artificial que en una neurona biológica. Así que creo que este enfoque es válido para las redes neuronales artificiales. Creo que hay una manera de usar modelos más poderosos para ayudarnos a entender otros modelos. Pero no estoy muy seguro de cómo aplicaría este enfoque al cerebro humano.
¿Es factible controlar el número de modelos?
**Zhang Hongjiang: **Está bien, gracias. Ahora que hemos hablado sobre la seguridad de la IA y el control de AGI, una de las preguntas que hemos estado discutiendo es, ¿sería más seguro si solo hubiera tres modelos en el mundo? Es como el control nuclear, no quieres que proliferen las armas nucleares. Tenemos este tratado donde tratamos de controlar la cantidad de países que pueden obtener esta tecnología. Entonces, ¿controlar el número de modelos es una dirección factible?
Sam Altman: Creo que hay diferentes opiniones sobre si es más seguro tener un modelo minoritario o un modelo mayoritario en el mundo. Creo que es más importante, ¿tenemos un sistema en el que cualquier modelo robusto se pruebe adecuadamente para la seguridad? ¿Tenemos un marco en el que cualquiera que cree un modelo suficientemente sólido tenga tanto los recursos como la responsabilidad de garantizar que lo que crea sea seguro y esté alineado?
Zhang Hongjiang: En la reunión de ayer, el profesor Max del Instituto del Futuro de la Vida del MIT mencionó un método posible, que es similar a la forma en que controlamos el desarrollo de fármacos. Cuando los científicos o las empresas desarrollan nuevos medicamentos, no puede comercializarlos directamente. Tienes que pasar por este proceso de prueba. ¿Es esto algo de lo que podamos aprender?
Sam Altman: Definitivamente creo que podemos aprender mucho de los marcos de licencias y pruebas que se han desarrollado en diferentes industrias. Pero creo que fundamentalmente tenemos algo que puede funcionar.
Zhang Hongjiang: Muchas gracias, Sam. Gracias por tomarse el tiempo para asistir a esta reunión, aunque sea en línea. Estoy seguro de que hay muchas más preguntas, pero dado el tiempo, tenemos que detenernos aquí. Espero que la próxima vez que tenga la oportunidad de venir a China, venga a Beijing, podamos tener una discusión más profunda. muchas gracias.