¡Sam Altman y Hinton debutan en China! El evento de expertos en IA más destacado de China concluyó con éxito y el modelo nacional a gran escala "Enlightenment 3.0" fue completamente de código abierto.
【Introducción a Xinzhiyuan】 La Conferencia de Zhiyuan de este año sigue repleta de estrellas y llena de sentido académico. Todos los grandes nombres debatieron sobre la súper IA, y la colisión de ideas provocó chispas. ¡Sigue siendo una Gala del Festival de Primavera de IA que no debe perderse!
¡Justo ahora, la conferencia nacional anual de Zhiyuan "AI Spring Festival Gala" ha concluido con éxito!
En este evento anual máximo de inteligencia artificial, hay equipos estelares familiares como OpenAI, DeepMind, Anthropic, HuggingFace, Midjourney, Stability AI, etc., están Meta, Google, Microsoft y otros fabricantes importantes que han conquistado el mundo, y hay son Stanford, UC Berkeley, MIT y otras universidades importantes del mundo.
Autores de importantes trabajos como GPT-4, PaLM-E, OPT, LLaMA, etc. asistieron y nos explicaron los resultados de la investigación. Se puede decir que esta conferencia tiene tanto profundidad profesional como inspiración creativa, y todos los temas se han discutido hasta el extremo.
El clímax de la conferencia fue, sin duda, los discursos del ganador del premio Turing, Yann LeCun, Geoffrey Hinton y el fundador de OpenAI, Sam Altman.
La apariencia de estos súper pesos pesados puede describirse como llena de aspectos destacados.
Geoffrey Hinton: el riesgo de la súper IA es urgente
En el discurso de clausura del foro que acaba de concluir, Hinton, ganador del Premio Turing y padre del aprendizaje profundo, concibió un escenario en el que vale la pena pensar para nosotros.
Al comienzo del discurso, Hinton preguntó: "¿Son las redes neuronales artificiales más inteligentes que las redes neuronales reales?".
Sí, en su opinión, eso podría suceder pronto.
Como hace un tiempo, Hinton renunció a Google y explicó en pocas palabras los motivos de su renuncia. Ha hablado sobre los arrepentimientos por el trabajo de su vida y las preocupaciones sobre los peligros de la inteligencia artificial. En repetidas ocasiones ha declarado públicamente que los peligros de la inteligencia artificial para el mundo son más urgentes que el cambio climático.
De manera similar, en la Conferencia de Zhiyuan, Hinton volvió a hablar sobre los riesgos de la IA.
¿Qué pasaría si una gran red neuronal que se ejecuta en múltiples computadoras digitales pudiera adquirir conocimiento directamente del mundo, además de imitar el lenguaje humano para el conocimiento humano?
Obviamente, se volverá mucho mejor que los humanos porque ha observado más datos.
Esta idea no es descabellada, si esta red neuronal puede realizar un modelado no supervisado de imágenes o videos, y sus copias también pueden manipular el mundo físico.
En los casos más extremos, los delincuentes utilizan la superinteligencia para manipular a los votantes y ganar guerras.
Si se le permite a una superinteligencia formular sus propios subobjetivos, siendo uno de los subobjetivos ganar más poder, la superinteligencia manipulará a los humanos que la usan para lograr ese objetivo.
Zhang Hongjiang y Sam Altman Peak Q&A: AGI puede aparecer dentro de diez años
Esta mañana, Sam Altman también apareció a través de un enlace de video. Esta es la primera vez que Sam Altman da un discurso público en China después del estallido de ChatGPT.
Reflejos:
La razón por la cual la revolución de la IA actual es tan impactante no es solo la escala de su impacto, sino también la velocidad del progreso. Esto trae dividendos y riesgos.
Con la llegada de sistemas de IA cada vez más poderosos, es fundamental fortalecer la cooperación internacional y generar confianza global.
La alineación sigue siendo un tema abierto. GPT-4 ha completado el trabajo de alineación en los últimos 8 meses, incluyendo principalmente escalabilidad y explicabilidad.
En su discurso, Altman enfatizó repetidamente la necesidad de una alineación y supervisión global de la seguridad de la IA, y citó específicamente una oración del Tao Te Ching:
Un viaje de mil millas comienza con un solo paso.
En su opinión, la inteligencia artificial se está desarrollando a una velocidad explosiva y la súper IA puede aparecer en los próximos diez años.
Por lo tanto, es necesario promover la seguridad de AGI, fortalecer la cooperación internacional y alinear los despliegues de investigación relevantes.
Sam Altman cree que la cooperación en la comunidad científica y tecnológica internacional es el primer paso para dar un paso constructivo en este momento. En particular, se deben mejorar los mecanismos de transparencia e intercambio de conocimientos para el progreso tecnológico en la seguridad operacional de AGI.
Además, Altman mencionó que el principal objetivo de investigación actual de OpenAI se centra en la investigación de alineación de IA, es decir, cómo hacer de la IA un asistente útil y seguro.
Una es la supervisión escalable, que intenta utilizar sistemas de inteligencia artificial para ayudar a los humanos a supervisar otros sistemas de inteligencia artificial. El segundo es la interpretabilidad, tratando de comprender la "caja negra" del funcionamiento interno del modelo grande.
En última instancia, OpenAI tiene como objetivo capacitar a los sistemas de IA para ayudar con la investigación de alineación.
Después del discurso, Zhang Hongjiang, presidente del Instituto de Investigación Zhiyuan, y Sam Altman abrieron un diálogo aéreo para discutir cómo hacer que la alineación de la IA sea segura.
Cuando se le preguntó si OpenAI abrirá grandes modelos de código fuente, Altman dijo que habrá más fuentes abiertas en el futuro, pero no hay un modelo ni un cronograma específicos.
Además, también dijo que no habrá GPT-5 en el corto plazo.
Después de la reunión, Altman emitió un mensaje para expresar su agradecimiento por haber sido invitado a dar un discurso en la Conferencia de Zhiyuan.
LeCun: sigue siendo fan de la modelo mundial
Otro ganador del Premio Turing, LeCun, quien habló el primer día, continuó promoviendo su propio concepto de "modelo mundial".
LeCun siempre ha expresado su desprecio por la idea de que la IA destruirá a los seres humanos. Él cree que la IA de hoy no es tan inteligente como un perro, y que la inteligencia artificial real aún no se ha desarrollado. Tales preocupaciones son superfluas.
Explicó que la IA no puede razonar y planificar como los humanos y los animales, en parte porque los sistemas actuales de aprendizaje automático tienen pasos computacionales esencialmente constantes entre la entrada y la salida.
¿Cómo puede una máquina comprender cómo funciona el mundo, predecir las consecuencias de acciones como las de los humanos o dividirlo en varios pasos para planificar tareas complejas?
Claramente, el aprendizaje autosupervisado es un camino. En comparación con el aprendizaje por refuerzo, el aprendizaje autosupervisado puede generar una gran cantidad de comentarios y ser capaz de predecir cualquier parte de su entrada.
LeCun dijo que ha determinado que los tres principales desafíos de la inteligencia artificial en los próximos años son aprender la representación del mundo, predecir el modelo del mundo y utilizar el aprendizaje autosupervisado.
La clave para construir una IA a nivel humano puede ser la capacidad de aprender un "modelo mundial".
Entre ellos, el "modelo mundial" consta de seis módulos independientes, que incluyen: módulo configurador, módulo de percepción, modelo mundial, módulo de costos, módulo actor y módulo de memoria a corto plazo.
Él cree que diseñar la arquitectura y el paradigma de entrenamiento para el modelo mundial es el verdadero obstáculo para el desarrollo de la inteligencia artificial en las próximas décadas.
Cuando se le preguntó si el sistema de IA representaría un riesgo existencial para los humanos, LeCun dijo que todavía no tenemos una súper IA, entonces, ¿cómo podemos hacer que el sistema de súper IA sea seguro?
El mejor "evento de expertos en IA" coincidente
Se puede decir que la vigorosa Conferencia de Zhiyuan de 2023 es la conferencia de más alto nivel y la más vista en el campo de la IA nacional este año.
Desde el comienzo de su establecimiento, las características esenciales de la Conferencia de Zhiyuan son muy claras: académica, profesional y de vanguardia.
En un abrir y cerrar de ojos, este evento anual para expertos en IA ha llegado a su quinto año.
Esta vez, la Conferencia de Zhiyuan de 2023 continúa la tradición de cada Conferencia de Zhiyuan, y la sensación de ambiente académico sigue siendo abrumadora.
En 2021, en la tercera Conferencia de Zhiyuan, el ganador del Premio Turing Yoshua Bengio, el profesor de la Universidad de Pekín E Weinan y Zhu Min, decano del Instituto Nacional de Investigación Financiera de la Universidad de Tsinghua, darán discursos de apertura.
En 2022, dos ganadores del Premio Turing Yann LeCun y Adi Shamir, el padre del aprendizaje por refuerzo Richard Sutton, el académico de los Estados Unidos Michael I. Jordan, la ganadora del Premio Gödel Cynthia Dwork y otros pesos pesados compartieron.
Y para 2023, sin duda, será la sesión "más estelar".
Hay 4 ganadores del Premio Turing, Yann LeCun, Geoffrey Hinton, Joseph Sifakis y Yao Qizhi, así como el fundador de OpenAI, Sam Altman, el ganador del Premio Nobel, Arieh Warshel, el fundador del Future Life Institute, Max Tegmark, y el ganador del Premio al Logro Supremo Wu Wenjun 2022, Zheng Nanning Académicos y participó el académico Zhang Bo de la Academia China de Ciencias.
Más importante aún, después de que el proyecto de modelo a gran escala "Enlightenment" de Zhiyuan batiera continuamente el récord de "el primero de China + el más grande del mundo", "Enlightenment 3.0" ha entrado en una nueva etapa de "código abierto integral".
"Enlightenment 3.0" es una serie de modelos a gran escala.
Específicamente, incluye la serie de modelos a gran escala del idioma Aquila, el sistema de evaluación de modelos a gran escala Flag, la serie de modelos visuales a gran escala "Enlightenment · Vision" y la serie de modelos multimodales a gran escala.
Lenguaje serie de modelos grandes
Ilustración·Aquila: licencia comercial completamente abierta
El primero en aparecer es la serie Aquila de modelos grandes, que son los primeros modelos grandes de lenguaje de código abierto con conocimiento bilingüe en chino e inglés para respaldar los requisitos de cumplimiento de datos nacionales y tienen licencias comerciales completamente abiertas.
Este código abierto incluye el modelo básico de 7 mil millones de parámetros y 33 mil millones de parámetros, el modelo de diálogo AquilaChat y el modelo de generación de "código de texto" AquilaCode.
Dirección de código abierto de Enlightenment Aquila:
Rendimiento más fuerte
Técnicamente, el modelo básico de Aquila (7B, 33B) hereda técnicamente las ventajas de diseño arquitectónico de GPT-3, LLaMA, etc., reemplaza un lote de implementaciones de operadores subyacentes más eficientes, rediseña e implementa un tokenizador bilingüe chino-inglés, The BMTrain paralelo. El método de entrenamiento se ha actualizado, y en el proceso de entrenamiento de Aquila, la eficiencia de entrenamiento es casi 8 veces mayor que la de Magtron+DeepSpeed ZeRO-2.
En concreto, el primero es beneficiarse de una nueva técnica para acelerar el marco de formación en paralelo.
El año pasado, Zhiyuan abrió el proyecto FlagAI de código abierto de algoritmo de modelo grande, que integró un nuevo método de entrenamiento paralelo como BMTrain. Durante el proceso de entrenamiento, su cálculo y comunicación, así como los problemas de superposición, se optimizan aún más.
En segundo lugar, Zhiyuan tomó la delantera en la introducción de la tecnología de optimización del operador y la integró con métodos de aceleración paralelos para acelerar aún más el rendimiento.
Aprender chino e inglés al mismo tiempo
¿Por qué es tan alentador el lanzamiento de Aquila?
Debido a que muchos modelos grandes "solo aprenden inglés", solo se basan en una gran cantidad de entrenamiento de corpus en inglés, pero Aquila tiene que aprender tanto chino como inglés.
Es posible que usted mismo lo haya experimentado: cuando uno aprende conocimientos, no hay problema si sigue usando el inglés todo el tiempo, pero si aprende inglés y luego aprende chino, la dificultad será abrumadora.
Por lo tanto, en comparación con modelos basados en inglés como LLaMA y OPT, la dificultad de entrenamiento de Aquila, que necesita aprender tanto chino como inglés, ha aumentado muchas veces.
Con el fin de optimizar Aquila para las tareas chinas, Zhiyuan colocó casi el 40 % del corpus chino en su corpus de capacitación. La razón es que Zhiyuan espera que Aquila no solo pueda generar chino, sino que también comprenda una gran cantidad de conocimientos nativos del mundo chino.
Además, Zhiyuan también ha rediseñado e implementado el tokenizador bilingüe chino-inglés (tokenizer), que es para reconocer y admitir mejor la segmentación de palabras chinas.
En el proceso de capacitación y diseño, para tareas chinas, el equipo de Zhiyuan sopesa deliberadamente las dos dimensiones de calidad y eficiencia para determinar el tamaño del tokenizador.
El modelo de diálogo de AquilaChat (7B, 33B) está construido sobre la base del modelo básico de Aquila para admitir diálogos de texto fluidos y tareas de generación de varios idiomas.
múltiples rondas de diálogo
Generación de composición de examen de ingreso a la universidad.
Además, al definir especificaciones de instrucciones especiales extensibles, AquilaChat se puede usar para llamar a otros modelos y herramientas, y es fácil de expandir.
Por ejemplo, el modelo de generación de imágenes y texto multilingüe AltDiffusion de fuente abierta de Zhiyuan se utiliza para realizar capacidades de generación de imágenes y texto fluidos. Al cooperar con el modelo de gráfico Vincent controlable de varios pasos de Zhiyuan InstructFace, también puede realizar fácilmente la edición controlable de imágenes de rostros de varios pasos.
Generación de texto
Edición de caras controlable en varios pasos
El modelo de generación de "código de texto" AquilaCode-7B, basado en las poderosas capacidades del modelo básico de Aquila-7B, logra un alto rendimiento con un pequeño conjunto de datos y una pequeña cantidad de parámetros. Actualmente es el mejor modelo de código fuente abierto compatible con chino y rendimiento bilingüe en inglés Después de un filtrado de alta calidad, el entrenamiento se realiza utilizando datos de código de entrenamiento con licencias de código abierto compatibles.
Además, AquilaCode-7B completó la capacitación de modelos de código en Nvidia y chips domésticos respectivamente, y a través de código abierto de código + modelos de varias arquitecturas, promueve la innovación de chips y el florecimiento de cien flores.
generación de código de texto
Corpus chino más compatible y más limpio
En comparación con los modelos de código abierto extranjeros, la característica más distintiva de Aquila es que admite los requisitos de cumplimiento de datos nacionales.
Los modelos extranjeros a gran escala pueden tener ciertas capacidades chinas, pero casi todos los datos de Internet chinos utilizados por los modelos extranjeros de código abierto a gran escala se extraen de conjuntos de datos de Internet como Common Crawl.
Sin embargo, si analizamos el corpus de Common Crawl, podemos encontrar que hay menos de 40,000 páginas web chinas disponibles en su millón de entradas, y el 83% de ellas son sitios web en el extranjero, lo que obviamente es una calidad incontrolable.
Por lo tanto, Aquila no usó ningún corpus chino en Common Crawl, sino que usó el propio conjunto de datos de Wudao de Zhiyuan acumulado durante los últimos tres años. El conjunto de datos en chino de Wudao proviene de más de 10 000 sitios web de China continental, por lo que sus datos en chino cumplen con los requisitos de cumplimiento y son más limpios.
En general, esta versión es solo un punto de partida. El objetivo de Zhiyuan es crear un conjunto completo de canalizaciones de iteración y evolución de modelos grandes, de modo que el modelo grande continúe creciendo con la adición de más datos y más capacidades, y continuará ser de código abierto y abierto.
Vale la pena señalar que Aquila está disponible en tarjetas gráficas de consumo. Por ejemplo, el modelo 7B puede funcionar con una memoria de video de 16G o incluso más pequeña.
Sistema de evaluación de modelo grande de biblioteca (bandera)
Un sistema de evaluación de modelos a gran escala seguro, fiable, completo y objetivo también es muy importante para la innovación tecnológica y la implementación industrial de modelos a gran escala.
En primer lugar, para la comunidad académica, si desea promover la innovación de los modelos grandes, debe tener una regla para medir las capacidades y la calidad de los modelos grandes.
En segundo lugar, para la industria, la gran mayoría de las empresas optará por utilizar directamente los grandes modelos existentes en lugar de desarrollarlos desde cero. Al seleccionar, se necesita un sistema de evaluación para ayudar a juzgar. Después de todo, los grandes modelos básicos de desarrollo propio se basan en enormes costos de energía de cómputo. Para desarrollar un modelo con 30 mil millones de parámetros, los fondos requeridos incluyen poder de cómputo, datos, etc., al menos 20 millones.
Además, si es posible construir un sistema integral de evaluación de modelos a gran escala de "evaluación automática + evaluación subjetiva manual", y realizar el ciclo cerrado automático desde los resultados de la evaluación hasta el análisis de la capacidad del modelo y luego la mejora de la capacidad del modelo, ha convertirse en un aspecto importante de la innovación básica del modelo a gran escala una de las barreras.
Para resolver este problema, el Instituto de Investigación de Zhiyuan decidió dar prioridad al lanzamiento del sistema de evaluación de modelos a gran escala Libra (Flag) y la plataforma abierta (flag.baai.ac.cn).
El sistema de evaluación de modelos a gran escala Flag y la plataforma abierta tienen como objetivo establecer puntos de referencia, métodos y conjuntos de herramientas de evaluación científica, justa y abierta para ayudar a los investigadores a evaluar de manera integral el rendimiento de los modelos básicos y los algoritmos de entrenamiento, y al mismo tiempo explorar el El uso de métodos de IA para lograr La asistencia de la evaluación subjetiva mejora en gran medida la eficiencia y la objetividad de la evaluación.
Específicamente, el sistema de evaluación del modelo a gran escala Flag construye de manera innovadora un marco de evaluación tridimensional de "habilidad-tarea-indicador", que puede describir detalladamente el límite de la habilidad cognitiva del modelo básico y visualizar los resultados de la evaluación.
Actualmente, el sistema de evaluación del modelo a gran escala de Flag incluye un total de más de 600 dimensiones de evaluación, incluidos 22 conjuntos de datos de evaluación y 84 433 preguntas, y se están integrando gradualmente más conjuntos de datos de evaluación dimensional.
Además, el sistema de evaluación de modelos a gran escala de Flag continuará explorando la investigación interdisciplinaria entre la evaluación de modelos lingüísticos a gran escala y disciplinas sociales como la psicología, la educación y la ética, a fin de evaluar modelos lingüísticos a gran escala de manera más integral y científica. .
30+ habilidades × 5 tareas × 4 categorías de indicadores = 600+ evaluación integral dimensional
Serie de modelos grandes visuales
En términos de visión por computadora, el equipo de Enlightenment 3.0 ha creado la serie "Enlightenment Vision" de modelos grandes con percepción general de la escena y capacidades de procesamiento de tareas complejas.
Entre ellos, es la tecnología SOTA de estas 6 ráfagas que construye la base subyacente de "Enlightenment·Vision":
Modelo grande multimodal "Emu", modelo grande preentrenado "EVA", modelo multitarea general visual "Painter", modelo de segmentación de visión general, modelo grande de entrenamiento previo gráfico "EVA-CLIP" y tecnología de edición de video "vid2vid -cero".
1. Emu: completar todo en una secuencia multimodal
Emu es un modelo grande que acepta entradas multimodales y produce salidas multimodales. Basado en la ruta de tecnología de aprendizaje de contexto multimodal, Emu puede aprender de secuencias multimodales masivas como texto gráfico, texto gráfico entrelazado y texto de video entrelazado.
Una vez completada la capacitación, Emu puede completar todo en el contexto de secuencias multimodales, percibir, razonar y generar datos de diversas modalidades, como imágenes, textos y videos, y completar múltiples rondas de diálogos de texto gráfico y gráficos de pocas muestras. -comprensión de texto, video pregunta y respuesta, generación de texto a imagen, generación de imagen a imagen y otras tareas multimodales.
2. EVA: el modelo básico visual de mil millones de niveles más potente
dirección del proyecto:
Dirección en papel:
EVA combina el modelo de aprendizaje semántico (CLIP) y el método de aprendizaje de estructura geométrica (MIM) y amplía el modelo ViT estándar a mil millones de parámetros para el entrenamiento. De un solo golpe, logró el rendimiento más fuerte en ese momento en una amplia gama de tareas de percepción visual, como la clasificación de ImageNet, la detección y segmentación de COCO y la clasificación de video Kinetics.
3. EVA-CLIP: El modelo CLIP de código abierto más potente
Dirección del proyecto: /tree/master/EVA-CLIP
Dirección en papel:
EVA-CLIP, desarrollado con el modelo de visión básico EVA como núcleo, se ha iterado a 5 mil millones de parámetros.
En comparación con el OpenCLIP anterior con una tasa de precisión del 80,1 %, el modelo EVA-CLIP tiene una tasa de precisión del 82,0 % en ImageNet1K top1 de muestra cero. En términos de precisión de ImageNet kNN, el último modelo DINOv2 de Meta está a la par con el EVA-CLIP de mil millones de parámetros.
4. Painter: el primer camino tecnológico de "aprendizaje de imágenes contextuales"
dirección del proyecto:
Dirección en papel:
La idea central del modelo visual general El modelado de Painter es "centrado en la visión". Mediante el uso de imágenes como entrada y salida, se obtiene información visual contextual para completar diferentes tareas visuales.
5. Modelo de segmentación universal de horizontes: todo en uno, dividir todo
El modelo de segmentación universal de horizon tiene una poderosa capacidad de razonamiento de contexto visual, y solo necesita una o unas pocas imágenes de ejemplo y señales visuales, y el modelo puede comprender las intenciones del usuario y completar tareas de segmentación similares.
En pocas palabras, los usuarios marcan y reconocen una clase de objetos en la pantalla y luego pueden identificar y segmentar objetos similares en lotes, ya sea en la pantalla actual o en otras pantallas o entornos de video.
6. vid2vid-zero: la primera tecnología de edición de video de muestra cero de la industria
dirección del proyecto:
Enlace de papel:
Sitio de demostración:
La tecnología de edición de video de muestra cero "vid2vid-zero" utiliza las características dinámicas del mecanismo de atención por primera vez, combinadas con el modelo de difusión de imágenes existente, para crear un marco modelo para la edición de video sin entrenamiento previo de video adicional. Ahora, simplemente cargue un video y luego ingrese una cadena de mensajes de texto, puede editar el video con los atributos especificados.
El esclarecedor de la investigación de modelos a gran escala de China
El Instituto de Investigación Zhiyuan, establecido en noviembre de 2018, es el pionero de la investigación de modelos a gran escala en China. Después de cinco años de desarrollo, se ha convertido en un punto de referencia para la investigación de modelos a gran escala en China.
Lo que lo hace diferente de otras instituciones es que el Instituto de Investigación Zhiyuan es una institución de plataforma. Al comienzo de su establecimiento, el Instituto de Investigación Zhiyuan tomó la creación de un ecosistema de innovación de inteligencia artificial como una de sus misiones y tareas básicas.
¿Cómo ha promovido Zhiyuan el desarrollo de modelos de investigación a gran escala en China desde su establecimiento?
De hecho, el establecimiento del Instituto de Investigación Zhiyuan ocurrió justo a tiempo para la aparición de modelos extranjeros a gran escala.
Hablando de eso, la dirección principal de la investigación de OpenAI establecida en 2015 es explorar la ruta hacia AGI, y no es un modelo grande.
Después de 2018, OpenAI comenzó a centrarse en modelos grandes y lanzó GPT con 117 millones de parámetros en junio. En el mismo año, Google también lanzó un modelo BERT de lenguaje preentrenado a gran escala con 300 millones de parámetros.
Todos han notado que toda la tendencia de la industria y la tendencia tecnológica en 2018 es hacer un modelo más grande.
A medida que aumenta la potencia informática utilizada por el modelo, la Ley de Moore se convierte en la llamada "ley modelo", es decir, la potencia informática utilizada para entrenar un modelo grande se duplica en 3-4 meses.
También fue en 2018 cuando se estableció el Instituto de Investigación Zhiyuan, que tomó la iniciativa de reunir a los mejores académicos en el campo de la IA y comenzó la exploración de modelos grandes.
Como resultado, en 2021, Zhiyuan lanzó sucesivamente dos grandes modelos de Enlightenment 1.0 y Enlightenment 2.0.
Según Huang Tiejun, en la conferencia de prensa de Enlightenment 1.0 en marzo de 2021, Zhiyuan Research consideró que la inteligencia artificial ha cambiado de un "modelo grande" a una nueva etapa de "modelo grande". Desde entonces, el concepto de "modelo grande" ha entró en la visión pública.
Cada año, en la Conferencia de Zhiyuan, se relatarán las tres rutas técnicas principales para escalar la cima de AGI: modelos grandes, inteligencia de vida y AI4Science. Estas tres rutas no están aisladas, interactúan y se influyen entre sí.
Hoy en día, la razón principal de la capacidad emergente de los modelos grandes proviene de la gran cantidad de datos que hay detrás de ellos.
Los datos lingüísticos en sí mismos contienen un rico conocimiento e inteligencia, que se extrae a través de modelos a gran escala, y las redes neuronales se utilizan para expresar las leyes detrás de datos complejos.
Esta es una razón razonable por la cual una de las rutas técnicas del modelo grande puede conducir a AGI.
Esto también explica por qué Zhiyuan se centró inicialmente en el modelo grande. En marzo de 2021, se lanzó Enlightenment 1.0, seguido de Enlightenment 2.0 en junio.
Además, además del modelo grande, Zhiyuan también explora constantemente los otros dos caminos que conducen a AGI, "Life Intelligence" y "AI4Science".
En 2022, Zhiyuan lanzó la simulación más precisa de Caenorhabditis elegans. Esta vez, Zhiyuan abrió la plataforma de simulación de vida "eVolution-eVolution" utilizada en el estudio de nematodos artificiales para brindar servicios en línea.
Tianyan es una plataforma de simulación de red de neuronas finas a gran escala con cuatro características notables: la plataforma más eficiente para la simulación de redes de neuronas finas; soporte para simulación de redes neuronales a gran escala; proporciona un conjunto de herramientas de simulación y modelado en línea integral ; La interacción visual de alta calidad admite la simulación en tiempo real y la operación colaborativa visual.
Basado en la plataforma Tianyan, realiza simulación de inteligencia biológica de alta precisión, explora la esencia de la inteligencia y promueve la inteligencia artificial general inspirada en la biología. Además, el equipo de Tianyan ha conectado a Tianyan con la nueva generación de supercomputadoras a exaescala de mi país: la supercomputadora de nueva generación de Tianhe.
A través de la implementación y operación exitosas de "Tianyan-Tianhe", se puede realizar la simulación modelo de la red fina de la corteza visual V1 del cerebro del ratón y otros modelos, y el consumo de energía de cálculo se puede reducir más de 10 veces, y la velocidad de cálculo puede aumentarse más de 10 veces, alcanzando el nivel más extremo del mundo. El rendimiento de la simulación fina de redes de neuronas sienta una base sólida para la realización de una simulación fina de todo el cerebro humano.
Ahora, dos años después, Zhiyuan lanzó nuevamente la serie Enlightenment 3.0 de modelos grandes.
En términos de posicionamiento, desde el lanzamiento de Enlightenment 2.0, Zhiyuan, como una organización de plataforma sin fines de lucro, no solo fabrica modelos y modelos, sino que también hace contribuciones únicas gradualmente a la construcción de la ecología central de modelos grandes.
Entre ellos, incluye clasificación de datos detrás del modelo, pruebas de modelos, pruebas de algoritmos, código abierto y organizaciones abiertas, y un diseño integral de plataformas de potencia informática.
¿Por qué Zhiyuan hizo tal cambio?
Porque Zhiyuan entiende profundamente que el modelo grande en sí mismo no es la forma de producto más importante en la era del modelo grande, sino una nueva era caracterizada por la sistematización y los servicios intelectuales.
Actualmente, el modelo grande seguirá evolucionando, y lo que permanece sin cambios es la iteración técnica que hay detrás, es decir, el algoritmo de entrenamiento del modelo.
El último modelo que ve todos los días es solo un resultado solidificado. Lo que importa es si el algoritmo para entrenar el modelo es avanzado, si el costo se reduce de manera efectiva y si la capacidad detrás de él es explicable y controlable.
Por lo tanto, como organización de plataforma, lo que Zhiyuan tiene que hacer es reunir los algoritmos de los modelos de capacitación de la industria en un todo iterativo.
Este trabajo es necesario. Zhiyuan no solo trabaja en el algoritmo del modelo a gran escala en sí, sino que también dedica más tiempo y energía al desarrollo del sistema técnico del modelo a gran escala.
Por ejemplo, Zhiyuan lanzó una plataforma de servicio de computación en la nube a gran escala "Jiuding Smart Computing Platform" para proporcionar potencia de computación, datos y soporte de algoritmos para el entrenamiento de modelos a gran escala.
Por supuesto, no es solo la propia fortaleza de Zhiyuan, sino también los institutos de investigación de la industria y la universidad para colaborar e iterar de manera abierta.
En marzo de este año, Zhiyuan lanzó el sistema de código abierto de tecnología de modelos a gran escala FlagOpen Feizhi, que es un sistema de código abierto y software abierto para modelos a gran escala construidos conjuntamente con varias unidades de investigación de la industria y la universidad.
Como dijo Dean Huang Tiejun: "Esperamos que ahora que el modelo grande se ha convertido en la fuerza líder en el desarrollo de la industria de la inteligencia artificial, hagamos más trabajo de apoyo en el futuro y contribuyamos con una fuerza única a esta era".
Puede preguntarse, ¿cuál es la característica más importante de la Conferencia de Zhiyuan de este año en comparación con las anteriores?
El estilo es consistente, resumido en dos palabras: profesional y puro.
La Conferencia de Zhiyuan se llevó a cabo sin objetivos realistas y no prestó atención a los productos ni a los inversores.
Aquí, los líderes de la industria pueden presentar opiniones personales y emitir juicios desde una perspectiva profesional y, por supuesto, incluir colisiones y debates de opiniones importantes, sin tener que considerar muchos factores realistas.
El "padrino de la IA" Geoffrey Hinton participó en la Conferencia de Zhiyuan por primera vez este año. Hace algún tiempo, renunció a Google porque se arrepintió del trabajo de su vida. Publicó las últimas opiniones sobre la seguridad de la inteligencia artificial.
Como siempre, el "optimista" Yann LeCun no se preocupará por los riesgos de la inteligencia artificial como la mayoría de las personas. En su opinión, no es razonable frenar antes de construir el automóvil. En la actualidad, se deben hacer esfuerzos para desarrollar una tecnología de IA más avanzada. y algoritmos.
Al mismo tiempo, también verá una feroz confrontación de puntos de vista en la reunión. Max Tegmark sobre el control del riesgo de IA. Aunque no se puede decir que sea completamente opuesto a LeCun, también hay grandes diferencias.
Este es el punto más destacado de la Conferencia de Zhiyuan, y también es un estilo consistente.
La singularidad de este posicionamiento se ha vuelto cada vez más importante en los últimos años.
El desarrollo de la inteligencia artificial tiene un impacto cada vez mayor en el mundo y en China, por lo que todos necesitan una ocasión para expresar sus puntos de vista de manera pura, incluidas las colisiones ideológicas y los debates acalorados.
La importancia de esto es que solo cuanto más profesionales, más puras, más neutrales y más abiertas sean las conferencias, más propicias serán para todos comprender mejor esta era de rápido desarrollo.
En países extranjeros, la Conferencia de Zhiyuan también tiene una excelente reputación Las organizaciones internacionales consideran la Conferencia de Zhiyuan como una ventana para la cooperación con China en la investigación de inteligencia artificial.
El origen del nombre Zhiyuan es también la fuente de inteligencia. Por lo tanto, la celebración de la Conferencia de Zhiyuan se ha convertido en un evento histórico para promover el desarrollo ecológico de la inteligencia artificial.
La sólida alineación de invitados, la riqueza del establecimiento de temas y la profundidad de las discusiones de contenido han creado una Conferencia de Zhiyuan única.
Este importante evento exclusivo para expertos en IA se ha convertido en una brillante tarjeta de presentación en el campo de la IA en China.
Referencias:
Ver originales
El contenido es solo de referencia, no una solicitud u oferta. No se proporciona asesoramiento fiscal, legal ni de inversión. Consulte el Descargo de responsabilidad para obtener más información sobre los riesgos.
¡Sam Altman y Hinton debutan en China! El evento de expertos en IA más destacado de China concluyó con éxito y el modelo nacional a gran escala "Enlightenment 3.0" fue completamente de código abierto.
**Fuente:**Xinzhiyuan
¡Justo ahora, la conferencia nacional anual de Zhiyuan "AI Spring Festival Gala" ha concluido con éxito!
En este evento anual máximo de inteligencia artificial, hay equipos estelares familiares como OpenAI, DeepMind, Anthropic, HuggingFace, Midjourney, Stability AI, etc., están Meta, Google, Microsoft y otros fabricantes importantes que han conquistado el mundo, y hay son Stanford, UC Berkeley, MIT y otras universidades importantes del mundo.
Autores de importantes trabajos como GPT-4, PaLM-E, OPT, LLaMA, etc. asistieron y nos explicaron los resultados de la investigación. Se puede decir que esta conferencia tiene tanto profundidad profesional como inspiración creativa, y todos los temas se han discutido hasta el extremo.
El clímax de la conferencia fue, sin duda, los discursos del ganador del premio Turing, Yann LeCun, Geoffrey Hinton y el fundador de OpenAI, Sam Altman.
Geoffrey Hinton: el riesgo de la súper IA es urgente
En el discurso de clausura del foro que acaba de concluir, Hinton, ganador del Premio Turing y padre del aprendizaje profundo, concibió un escenario en el que vale la pena pensar para nosotros.
Sí, en su opinión, eso podría suceder pronto.
Como hace un tiempo, Hinton renunció a Google y explicó en pocas palabras los motivos de su renuncia. Ha hablado sobre los arrepentimientos por el trabajo de su vida y las preocupaciones sobre los peligros de la inteligencia artificial. En repetidas ocasiones ha declarado públicamente que los peligros de la inteligencia artificial para el mundo son más urgentes que el cambio climático.
De manera similar, en la Conferencia de Zhiyuan, Hinton volvió a hablar sobre los riesgos de la IA.
¿Qué pasaría si una gran red neuronal que se ejecuta en múltiples computadoras digitales pudiera adquirir conocimiento directamente del mundo, además de imitar el lenguaje humano para el conocimiento humano?
Esta idea no es descabellada, si esta red neuronal puede realizar un modelado no supervisado de imágenes o videos, y sus copias también pueden manipular el mundo físico.
Si se le permite a una superinteligencia formular sus propios subobjetivos, siendo uno de los subobjetivos ganar más poder, la superinteligencia manipulará a los humanos que la usan para lograr ese objetivo.
Zhang Hongjiang y Sam Altman Peak Q&A: AGI puede aparecer dentro de diez años
Esta mañana, Sam Altman también apareció a través de un enlace de video. Esta es la primera vez que Sam Altman da un discurso público en China después del estallido de ChatGPT.
La razón por la cual la revolución de la IA actual es tan impactante no es solo la escala de su impacto, sino también la velocidad del progreso. Esto trae dividendos y riesgos.
Con la llegada de sistemas de IA cada vez más poderosos, es fundamental fortalecer la cooperación internacional y generar confianza global.
La alineación sigue siendo un tema abierto. GPT-4 ha completado el trabajo de alineación en los últimos 8 meses, incluyendo principalmente escalabilidad y explicabilidad.
En su discurso, Altman enfatizó repetidamente la necesidad de una alineación y supervisión global de la seguridad de la IA, y citó específicamente una oración del Tao Te Ching:
En su opinión, la inteligencia artificial se está desarrollando a una velocidad explosiva y la súper IA puede aparecer en los próximos diez años.
Por lo tanto, es necesario promover la seguridad de AGI, fortalecer la cooperación internacional y alinear los despliegues de investigación relevantes.
Sam Altman cree que la cooperación en la comunidad científica y tecnológica internacional es el primer paso para dar un paso constructivo en este momento. En particular, se deben mejorar los mecanismos de transparencia e intercambio de conocimientos para el progreso tecnológico en la seguridad operacional de AGI.
Además, Altman mencionó que el principal objetivo de investigación actual de OpenAI se centra en la investigación de alineación de IA, es decir, cómo hacer de la IA un asistente útil y seguro.
En última instancia, OpenAI tiene como objetivo capacitar a los sistemas de IA para ayudar con la investigación de alineación.
Después del discurso, Zhang Hongjiang, presidente del Instituto de Investigación Zhiyuan, y Sam Altman abrieron un diálogo aéreo para discutir cómo hacer que la alineación de la IA sea segura.
Además, también dijo que no habrá GPT-5 en el corto plazo.
Después de la reunión, Altman emitió un mensaje para expresar su agradecimiento por haber sido invitado a dar un discurso en la Conferencia de Zhiyuan.
LeCun: sigue siendo fan de la modelo mundial
Otro ganador del Premio Turing, LeCun, quien habló el primer día, continuó promoviendo su propio concepto de "modelo mundial".
Explicó que la IA no puede razonar y planificar como los humanos y los animales, en parte porque los sistemas actuales de aprendizaje automático tienen pasos computacionales esencialmente constantes entre la entrada y la salida.
¿Cómo puede una máquina comprender cómo funciona el mundo, predecir las consecuencias de acciones como las de los humanos o dividirlo en varios pasos para planificar tareas complejas?
LeCun dijo que ha determinado que los tres principales desafíos de la inteligencia artificial en los próximos años son aprender la representación del mundo, predecir el modelo del mundo y utilizar el aprendizaje autosupervisado.
La clave para construir una IA a nivel humano puede ser la capacidad de aprender un "modelo mundial".
Entre ellos, el "modelo mundial" consta de seis módulos independientes, que incluyen: módulo configurador, módulo de percepción, modelo mundial, módulo de costos, módulo actor y módulo de memoria a corto plazo.
Cuando se le preguntó si el sistema de IA representaría un riesgo existencial para los humanos, LeCun dijo que todavía no tenemos una súper IA, entonces, ¿cómo podemos hacer que el sistema de súper IA sea seguro?
El mejor "evento de expertos en IA" coincidente
Se puede decir que la vigorosa Conferencia de Zhiyuan de 2023 es la conferencia de más alto nivel y la más vista en el campo de la IA nacional este año.
Desde el comienzo de su establecimiento, las características esenciales de la Conferencia de Zhiyuan son muy claras: académica, profesional y de vanguardia.
En un abrir y cerrar de ojos, este evento anual para expertos en IA ha llegado a su quinto año.
Esta vez, la Conferencia de Zhiyuan de 2023 continúa la tradición de cada Conferencia de Zhiyuan, y la sensación de ambiente académico sigue siendo abrumadora.
En 2022, dos ganadores del Premio Turing Yann LeCun y Adi Shamir, el padre del aprendizaje por refuerzo Richard Sutton, el académico de los Estados Unidos Michael I. Jordan, la ganadora del Premio Gödel Cynthia Dwork y otros pesos pesados compartieron.
Y para 2023, sin duda, será la sesión "más estelar".
Hay 4 ganadores del Premio Turing, Yann LeCun, Geoffrey Hinton, Joseph Sifakis y Yao Qizhi, así como el fundador de OpenAI, Sam Altman, el ganador del Premio Nobel, Arieh Warshel, el fundador del Future Life Institute, Max Tegmark, y el ganador del Premio al Logro Supremo Wu Wenjun 2022, Zheng Nanning Académicos y participó el académico Zhang Bo de la Academia China de Ciencias.
"Enlightenment 3.0" es una serie de modelos a gran escala.
Específicamente, incluye la serie de modelos a gran escala del idioma Aquila, el sistema de evaluación de modelos a gran escala Flag, la serie de modelos visuales a gran escala "Enlightenment · Vision" y la serie de modelos multimodales a gran escala.
Lenguaje serie de modelos grandes
Ilustración·Aquila: licencia comercial completamente abierta
El primero en aparecer es la serie Aquila de modelos grandes, que son los primeros modelos grandes de lenguaje de código abierto con conocimiento bilingüe en chino e inglés para respaldar los requisitos de cumplimiento de datos nacionales y tienen licencias comerciales completamente abiertas.
Este código abierto incluye el modelo básico de 7 mil millones de parámetros y 33 mil millones de parámetros, el modelo de diálogo AquilaChat y el modelo de generación de "código de texto" AquilaCode.
Rendimiento más fuerte
Técnicamente, el modelo básico de Aquila (7B, 33B) hereda técnicamente las ventajas de diseño arquitectónico de GPT-3, LLaMA, etc., reemplaza un lote de implementaciones de operadores subyacentes más eficientes, rediseña e implementa un tokenizador bilingüe chino-inglés, The BMTrain paralelo. El método de entrenamiento se ha actualizado, y en el proceso de entrenamiento de Aquila, la eficiencia de entrenamiento es casi 8 veces mayor que la de Magtron+DeepSpeed ZeRO-2.
En concreto, el primero es beneficiarse de una nueva técnica para acelerar el marco de formación en paralelo.
El año pasado, Zhiyuan abrió el proyecto FlagAI de código abierto de algoritmo de modelo grande, que integró un nuevo método de entrenamiento paralelo como BMTrain. Durante el proceso de entrenamiento, su cálculo y comunicación, así como los problemas de superposición, se optimizan aún más.
En segundo lugar, Zhiyuan tomó la delantera en la introducción de la tecnología de optimización del operador y la integró con métodos de aceleración paralelos para acelerar aún más el rendimiento.
Aprender chino e inglés al mismo tiempo
¿Por qué es tan alentador el lanzamiento de Aquila?
Debido a que muchos modelos grandes "solo aprenden inglés", solo se basan en una gran cantidad de entrenamiento de corpus en inglés, pero Aquila tiene que aprender tanto chino como inglés.
Es posible que usted mismo lo haya experimentado: cuando uno aprende conocimientos, no hay problema si sigue usando el inglés todo el tiempo, pero si aprende inglés y luego aprende chino, la dificultad será abrumadora.
Por lo tanto, en comparación con modelos basados en inglés como LLaMA y OPT, la dificultad de entrenamiento de Aquila, que necesita aprender tanto chino como inglés, ha aumentado muchas veces.
Con el fin de optimizar Aquila para las tareas chinas, Zhiyuan colocó casi el 40 % del corpus chino en su corpus de capacitación. La razón es que Zhiyuan espera que Aquila no solo pueda generar chino, sino que también comprenda una gran cantidad de conocimientos nativos del mundo chino.
Además, Zhiyuan también ha rediseñado e implementado el tokenizador bilingüe chino-inglés (tokenizer), que es para reconocer y admitir mejor la segmentación de palabras chinas.
En el proceso de capacitación y diseño, para tareas chinas, el equipo de Zhiyuan sopesa deliberadamente las dos dimensiones de calidad y eficiencia para determinar el tamaño del tokenizador.
El modelo de diálogo de AquilaChat (7B, 33B) está construido sobre la base del modelo básico de Aquila para admitir diálogos de texto fluidos y tareas de generación de varios idiomas.
Además, al definir especificaciones de instrucciones especiales extensibles, AquilaChat se puede usar para llamar a otros modelos y herramientas, y es fácil de expandir.
Por ejemplo, el modelo de generación de imágenes y texto multilingüe AltDiffusion de fuente abierta de Zhiyuan se utiliza para realizar capacidades de generación de imágenes y texto fluidos. Al cooperar con el modelo de gráfico Vincent controlable de varios pasos de Zhiyuan InstructFace, también puede realizar fácilmente la edición controlable de imágenes de rostros de varios pasos.
El modelo de generación de "código de texto" AquilaCode-7B, basado en las poderosas capacidades del modelo básico de Aquila-7B, logra un alto rendimiento con un pequeño conjunto de datos y una pequeña cantidad de parámetros. Actualmente es el mejor modelo de código fuente abierto compatible con chino y rendimiento bilingüe en inglés Después de un filtrado de alta calidad, el entrenamiento se realiza utilizando datos de código de entrenamiento con licencias de código abierto compatibles.
Corpus chino más compatible y más limpio
En comparación con los modelos de código abierto extranjeros, la característica más distintiva de Aquila es que admite los requisitos de cumplimiento de datos nacionales.
Los modelos extranjeros a gran escala pueden tener ciertas capacidades chinas, pero casi todos los datos de Internet chinos utilizados por los modelos extranjeros de código abierto a gran escala se extraen de conjuntos de datos de Internet como Common Crawl.
Sin embargo, si analizamos el corpus de Common Crawl, podemos encontrar que hay menos de 40,000 páginas web chinas disponibles en su millón de entradas, y el 83% de ellas son sitios web en el extranjero, lo que obviamente es una calidad incontrolable.
Por lo tanto, Aquila no usó ningún corpus chino en Common Crawl, sino que usó el propio conjunto de datos de Wudao de Zhiyuan acumulado durante los últimos tres años. El conjunto de datos en chino de Wudao proviene de más de 10 000 sitios web de China continental, por lo que sus datos en chino cumplen con los requisitos de cumplimiento y son más limpios.
En general, esta versión es solo un punto de partida. El objetivo de Zhiyuan es crear un conjunto completo de canalizaciones de iteración y evolución de modelos grandes, de modo que el modelo grande continúe creciendo con la adición de más datos y más capacidades, y continuará ser de código abierto y abierto.
Vale la pena señalar que Aquila está disponible en tarjetas gráficas de consumo. Por ejemplo, el modelo 7B puede funcionar con una memoria de video de 16G o incluso más pequeña.
Sistema de evaluación de modelo grande de biblioteca (bandera)
Un sistema de evaluación de modelos a gran escala seguro, fiable, completo y objetivo también es muy importante para la innovación tecnológica y la implementación industrial de modelos a gran escala.
En primer lugar, para la comunidad académica, si desea promover la innovación de los modelos grandes, debe tener una regla para medir las capacidades y la calidad de los modelos grandes.
En segundo lugar, para la industria, la gran mayoría de las empresas optará por utilizar directamente los grandes modelos existentes en lugar de desarrollarlos desde cero. Al seleccionar, se necesita un sistema de evaluación para ayudar a juzgar. Después de todo, los grandes modelos básicos de desarrollo propio se basan en enormes costos de energía de cómputo. Para desarrollar un modelo con 30 mil millones de parámetros, los fondos requeridos incluyen poder de cómputo, datos, etc., al menos 20 millones.
Además, si es posible construir un sistema integral de evaluación de modelos a gran escala de "evaluación automática + evaluación subjetiva manual", y realizar el ciclo cerrado automático desde los resultados de la evaluación hasta el análisis de la capacidad del modelo y luego la mejora de la capacidad del modelo, ha convertirse en un aspecto importante de la innovación básica del modelo a gran escala una de las barreras.
Para resolver este problema, el Instituto de Investigación de Zhiyuan decidió dar prioridad al lanzamiento del sistema de evaluación de modelos a gran escala Libra (Flag) y la plataforma abierta (flag.baai.ac.cn).
Específicamente, el sistema de evaluación del modelo a gran escala Flag construye de manera innovadora un marco de evaluación tridimensional de "habilidad-tarea-indicador", que puede describir detalladamente el límite de la habilidad cognitiva del modelo básico y visualizar los resultados de la evaluación.
Actualmente, el sistema de evaluación del modelo a gran escala de Flag incluye un total de más de 600 dimensiones de evaluación, incluidos 22 conjuntos de datos de evaluación y 84 433 preguntas, y se están integrando gradualmente más conjuntos de datos de evaluación dimensional.
Además, el sistema de evaluación de modelos a gran escala de Flag continuará explorando la investigación interdisciplinaria entre la evaluación de modelos lingüísticos a gran escala y disciplinas sociales como la psicología, la educación y la ética, a fin de evaluar modelos lingüísticos a gran escala de manera más integral y científica. .
Serie de modelos grandes visuales
En términos de visión por computadora, el equipo de Enlightenment 3.0 ha creado la serie "Enlightenment Vision" de modelos grandes con percepción general de la escena y capacidades de procesamiento de tareas complejas.
Entre ellos, es la tecnología SOTA de estas 6 ráfagas que construye la base subyacente de "Enlightenment·Vision":
Modelo grande multimodal "Emu", modelo grande preentrenado "EVA", modelo multitarea general visual "Painter", modelo de segmentación de visión general, modelo grande de entrenamiento previo gráfico "EVA-CLIP" y tecnología de edición de video "vid2vid -cero".
1. Emu: completar todo en una secuencia multimodal
Una vez completada la capacitación, Emu puede completar todo en el contexto de secuencias multimodales, percibir, razonar y generar datos de diversas modalidades, como imágenes, textos y videos, y completar múltiples rondas de diálogos de texto gráfico y gráficos de pocas muestras. -comprensión de texto, video pregunta y respuesta, generación de texto a imagen, generación de imagen a imagen y otras tareas multimodales.
2. EVA: el modelo básico visual de mil millones de niveles más potente
Dirección en papel:
EVA combina el modelo de aprendizaje semántico (CLIP) y el método de aprendizaje de estructura geométrica (MIM) y amplía el modelo ViT estándar a mil millones de parámetros para el entrenamiento. De un solo golpe, logró el rendimiento más fuerte en ese momento en una amplia gama de tareas de percepción visual, como la clasificación de ImageNet, la detección y segmentación de COCO y la clasificación de video Kinetics.
3. EVA-CLIP: El modelo CLIP de código abierto más potente
Dirección en papel:
EVA-CLIP, desarrollado con el modelo de visión básico EVA como núcleo, se ha iterado a 5 mil millones de parámetros.
En comparación con el OpenCLIP anterior con una tasa de precisión del 80,1 %, el modelo EVA-CLIP tiene una tasa de precisión del 82,0 % en ImageNet1K top1 de muestra cero. En términos de precisión de ImageNet kNN, el último modelo DINOv2 de Meta está a la par con el EVA-CLIP de mil millones de parámetros.
4. Painter: el primer camino tecnológico de "aprendizaje de imágenes contextuales"
Dirección en papel:
La idea central del modelo visual general El modelado de Painter es "centrado en la visión". Mediante el uso de imágenes como entrada y salida, se obtiene información visual contextual para completar diferentes tareas visuales.
5. Modelo de segmentación universal de horizontes: todo en uno, dividir todo
En pocas palabras, los usuarios marcan y reconocen una clase de objetos en la pantalla y luego pueden identificar y segmentar objetos similares en lotes, ya sea en la pantalla actual o en otras pantallas o entornos de video.
6. vid2vid-zero: la primera tecnología de edición de video de muestra cero de la industria
Enlace de papel:
Sitio de demostración:
La tecnología de edición de video de muestra cero "vid2vid-zero" utiliza las características dinámicas del mecanismo de atención por primera vez, combinadas con el modelo de difusión de imágenes existente, para crear un marco modelo para la edición de video sin entrenamiento previo de video adicional. Ahora, simplemente cargue un video y luego ingrese una cadena de mensajes de texto, puede editar el video con los atributos especificados.
El esclarecedor de la investigación de modelos a gran escala de China
El Instituto de Investigación Zhiyuan, establecido en noviembre de 2018, es el pionero de la investigación de modelos a gran escala en China. Después de cinco años de desarrollo, se ha convertido en un punto de referencia para la investigación de modelos a gran escala en China.
Lo que lo hace diferente de otras instituciones es que el Instituto de Investigación Zhiyuan es una institución de plataforma. Al comienzo de su establecimiento, el Instituto de Investigación Zhiyuan tomó la creación de un ecosistema de innovación de inteligencia artificial como una de sus misiones y tareas básicas.
¿Cómo ha promovido Zhiyuan el desarrollo de modelos de investigación a gran escala en China desde su establecimiento?
Hablando de eso, la dirección principal de la investigación de OpenAI establecida en 2015 es explorar la ruta hacia AGI, y no es un modelo grande.
Después de 2018, OpenAI comenzó a centrarse en modelos grandes y lanzó GPT con 117 millones de parámetros en junio. En el mismo año, Google también lanzó un modelo BERT de lenguaje preentrenado a gran escala con 300 millones de parámetros.
Todos han notado que toda la tendencia de la industria y la tendencia tecnológica en 2018 es hacer un modelo más grande.
A medida que aumenta la potencia informática utilizada por el modelo, la Ley de Moore se convierte en la llamada "ley modelo", es decir, la potencia informática utilizada para entrenar un modelo grande se duplica en 3-4 meses.
Como resultado, en 2021, Zhiyuan lanzó sucesivamente dos grandes modelos de Enlightenment 1.0 y Enlightenment 2.0.
Según Huang Tiejun, en la conferencia de prensa de Enlightenment 1.0 en marzo de 2021, Zhiyuan Research consideró que la inteligencia artificial ha cambiado de un "modelo grande" a una nueva etapa de "modelo grande". Desde entonces, el concepto de "modelo grande" ha entró en la visión pública.
Cada año, en la Conferencia de Zhiyuan, se relatarán las tres rutas técnicas principales para escalar la cima de AGI: modelos grandes, inteligencia de vida y AI4Science. Estas tres rutas no están aisladas, interactúan y se influyen entre sí.
Los datos lingüísticos en sí mismos contienen un rico conocimiento e inteligencia, que se extrae a través de modelos a gran escala, y las redes neuronales se utilizan para expresar las leyes detrás de datos complejos.
Esta es una razón razonable por la cual una de las rutas técnicas del modelo grande puede conducir a AGI.
Esto también explica por qué Zhiyuan se centró inicialmente en el modelo grande. En marzo de 2021, se lanzó Enlightenment 1.0, seguido de Enlightenment 2.0 en junio.
Además, además del modelo grande, Zhiyuan también explora constantemente los otros dos caminos que conducen a AGI, "Life Intelligence" y "AI4Science".
En 2022, Zhiyuan lanzó la simulación más precisa de Caenorhabditis elegans. Esta vez, Zhiyuan abrió la plataforma de simulación de vida "eVolution-eVolution" utilizada en el estudio de nematodos artificiales para brindar servicios en línea.
Tianyan es una plataforma de simulación de red de neuronas finas a gran escala con cuatro características notables: la plataforma más eficiente para la simulación de redes de neuronas finas; soporte para simulación de redes neuronales a gran escala; proporciona un conjunto de herramientas de simulación y modelado en línea integral ; La interacción visual de alta calidad admite la simulación en tiempo real y la operación colaborativa visual.
Basado en la plataforma Tianyan, realiza simulación de inteligencia biológica de alta precisión, explora la esencia de la inteligencia y promueve la inteligencia artificial general inspirada en la biología. Además, el equipo de Tianyan ha conectado a Tianyan con la nueva generación de supercomputadoras a exaescala de mi país: la supercomputadora de nueva generación de Tianhe.
A través de la implementación y operación exitosas de "Tianyan-Tianhe", se puede realizar la simulación modelo de la red fina de la corteza visual V1 del cerebro del ratón y otros modelos, y el consumo de energía de cálculo se puede reducir más de 10 veces, y la velocidad de cálculo puede aumentarse más de 10 veces, alcanzando el nivel más extremo del mundo. El rendimiento de la simulación fina de redes de neuronas sienta una base sólida para la realización de una simulación fina de todo el cerebro humano.
Ahora, dos años después, Zhiyuan lanzó nuevamente la serie Enlightenment 3.0 de modelos grandes.
En términos de posicionamiento, desde el lanzamiento de Enlightenment 2.0, Zhiyuan, como una organización de plataforma sin fines de lucro, no solo fabrica modelos y modelos, sino que también hace contribuciones únicas gradualmente a la construcción de la ecología central de modelos grandes.
Entre ellos, incluye clasificación de datos detrás del modelo, pruebas de modelos, pruebas de algoritmos, código abierto y organizaciones abiertas, y un diseño integral de plataformas de potencia informática.
¿Por qué Zhiyuan hizo tal cambio?
Porque Zhiyuan entiende profundamente que el modelo grande en sí mismo no es la forma de producto más importante en la era del modelo grande, sino una nueva era caracterizada por la sistematización y los servicios intelectuales.
Actualmente, el modelo grande seguirá evolucionando, y lo que permanece sin cambios es la iteración técnica que hay detrás, es decir, el algoritmo de entrenamiento del modelo.
El último modelo que ve todos los días es solo un resultado solidificado. Lo que importa es si el algoritmo para entrenar el modelo es avanzado, si el costo se reduce de manera efectiva y si la capacidad detrás de él es explicable y controlable.
Por lo tanto, como organización de plataforma, lo que Zhiyuan tiene que hacer es reunir los algoritmos de los modelos de capacitación de la industria en un todo iterativo.
Este trabajo es necesario. Zhiyuan no solo trabaja en el algoritmo del modelo a gran escala en sí, sino que también dedica más tiempo y energía al desarrollo del sistema técnico del modelo a gran escala.
Por ejemplo, Zhiyuan lanzó una plataforma de servicio de computación en la nube a gran escala "Jiuding Smart Computing Platform" para proporcionar potencia de computación, datos y soporte de algoritmos para el entrenamiento de modelos a gran escala.
Por supuesto, no es solo la propia fortaleza de Zhiyuan, sino también los institutos de investigación de la industria y la universidad para colaborar e iterar de manera abierta.
En marzo de este año, Zhiyuan lanzó el sistema de código abierto de tecnología de modelos a gran escala FlagOpen Feizhi, que es un sistema de código abierto y software abierto para modelos a gran escala construidos conjuntamente con varias unidades de investigación de la industria y la universidad.
Puede preguntarse, ¿cuál es la característica más importante de la Conferencia de Zhiyuan de este año en comparación con las anteriores?
El estilo es consistente, resumido en dos palabras: profesional y puro.
La Conferencia de Zhiyuan se llevó a cabo sin objetivos realistas y no prestó atención a los productos ni a los inversores.
Aquí, los líderes de la industria pueden presentar opiniones personales y emitir juicios desde una perspectiva profesional y, por supuesto, incluir colisiones y debates de opiniones importantes, sin tener que considerar muchos factores realistas.
El "padrino de la IA" Geoffrey Hinton participó en la Conferencia de Zhiyuan por primera vez este año. Hace algún tiempo, renunció a Google porque se arrepintió del trabajo de su vida. Publicó las últimas opiniones sobre la seguridad de la inteligencia artificial.
Como siempre, el "optimista" Yann LeCun no se preocupará por los riesgos de la inteligencia artificial como la mayoría de las personas. En su opinión, no es razonable frenar antes de construir el automóvil. En la actualidad, se deben hacer esfuerzos para desarrollar una tecnología de IA más avanzada. y algoritmos.
Al mismo tiempo, también verá una feroz confrontación de puntos de vista en la reunión. Max Tegmark sobre el control del riesgo de IA. Aunque no se puede decir que sea completamente opuesto a LeCun, también hay grandes diferencias.
Este es el punto más destacado de la Conferencia de Zhiyuan, y también es un estilo consistente.
La singularidad de este posicionamiento se ha vuelto cada vez más importante en los últimos años.
El desarrollo de la inteligencia artificial tiene un impacto cada vez mayor en el mundo y en China, por lo que todos necesitan una ocasión para expresar sus puntos de vista de manera pura, incluidas las colisiones ideológicas y los debates acalorados.
La importancia de esto es que solo cuanto más profesionales, más puras, más neutrales y más abiertas sean las conferencias, más propicias serán para todos comprender mejor esta era de rápido desarrollo.
En países extranjeros, la Conferencia de Zhiyuan también tiene una excelente reputación Las organizaciones internacionales consideran la Conferencia de Zhiyuan como una ventana para la cooperación con China en la investigación de inteligencia artificial.
El origen del nombre Zhiyuan es también la fuente de inteligencia. Por lo tanto, la celebración de la Conferencia de Zhiyuan se ha convertido en un evento histórico para promover el desarrollo ecológico de la inteligencia artificial.
La sólida alineación de invitados, la riqueza del establecimiento de temas y la profundidad de las discusiones de contenido han creado una Conferencia de Zhiyuan única.
Este importante evento exclusivo para expertos en IA se ha convertido en una brillante tarjeta de presentación en el campo de la IA en China.
Referencias: