Le titre de "Three Big Three in Deep Learning" n'est certainement pas étranger aux lecteurs dans la montée en puissance de l'IA. Mais parmi les talents d'apprentissage profond, quels critères d'évaluation sont utilisés pour distinguer Hinton, Yann Lecun et Yoshua Bengio comme des géants ? Pas de concours, ni de débats, ni de classements, ce titre a été déterminé il y a déjà 18 ans par le reporter le plus célèbre dans le domaine de l'IA, Cade Metz.
En tant que rédacteur principal du magazine "Wired", rédacteur en chef de la rubrique sur l'intelligence artificielle du "New York Times" et auteur de "Deep Learning Revolution", Cade Metz a essentiellement interviewé tous les experts bien connus dans le domaine de l'IA en plus de dix ans. d'expérience professionnelle, Sam Altman l'a consulté avant de lancer ChatGPT, et Hinton lui a parlé après avoir quitté Google. Au contact de ces personnalités clés, il s'est également plongé dans les géants de l'IA tels que Microsoft, Google et Meta pour déterrer les moments clés et les scènes dramatiques derrière diverses décisions commerciales fondamentales. L'enchère secrète qui a changé le cours de l'intelligence artificielle il y a dix ans.
Le livre rapporte en détail la vente aux enchères qui a eu lieu en 2012 et a eu un impact profond sur l'ensemble de l'industrie de l'intelligence artificielle.
En décembre 2012, Hinton, incapable de rester assis en raison d'une hernie discale, est resté avec deux de ses élèves pendant une semaine dans un hôtel-casino au pied des montagnes de ski du lac Tahoe. Lui et sa société nouvellement créée sans aucun produit acceptent les appels d'offres des sociétés les plus célèbres au monde, notamment Microsoft, Google, Deepmind et Baidu.
La scène la plus dramatique est apparue lorsque Hinton a dû faire face à la visite soudaine de Yu Kai, alors vice-doyen de l'institut de recherche envoyé par Baidu.Afin de "ne pas le laisser penser que j'étais vieux", il a demandé à ses étudiants de emballer à chaque fois afin de le laisser La douleur lombaire a soulagé la verrière qui a été temporairement construite avec des coussins de canapé, ce qui les a rendus assez agités. Lors d'une certaine visite, Hinton a fait face au sac à dos gauche de Yu Kai et a longtemps lutté avec les étudiants pour savoir s'il fallait rechercher des informations sur le prix de réserve de Baidu. Mais à la fin, la dignité les a fait abandonner. Enfin, une semaine plus tard, Hinton a accepté l'offre de Google, a vendu l'entreprise, qui était encore complètement vide, au géant pour 44 millions de dollars, et a ouvert le rideau de la guerre géante de l'IA.
Tout au long de sa carrière, de telles scènes pleines de détails et de conflits dramatiques peuvent être vues partout. Par conséquent, il n'est pas exagéré de l'appeler l'observateur le plus profond dans le domaine de l'IA.
Dans cette interview, Metz a une fois de plus démontré sa connaissance approfondie du domaine de l'IA, de l'histoire et des moments clés de l'apprentissage en profondeur à l'avenir de l'IA et son impact sur la société humaine. Il a également fait son évaluation de style observateur de la situation de l'intelligence artificielle en Chine en particulier.
Il pense que la raison pour laquelle Sam Altman peut faire ressortir OpenAI est principalement parce que sa forte capacité de négociation a contribué à la coopération entre OpenAI et Microsoft. Il estime également que l'écart entre la Chine et les États-Unis en matière d'IA n'est pas aussi loin que le pense le public, car la technologie existante elle-même n'a pas de fossé. En ce qui concerne l'avenir de l'IA, il a les mêmes inquiétudes que Hinton, et il s'inquiétera que l'émergence de l'IAG entraîne d'énormes changements dans la société. Les spectateurs sont clairs, voici les idées des observateurs de l'IA.
Concentrer sur:
1 Deux moments importants dans le développement de l'IA, l'un est la publication de l'article d'AlexNet, permettant à la communauté universitaire de comprendre que les réseaux de neurones peuvent obtenir un grand succès dans la reconnaissance d'images. Un autre est la sortie de ChatGPT, qui a ouvert les yeux du public.
2 Il est très probable que les entreprises chinoises rattraperont bientôt OpenAI en termes de modèles de langage, car l'écart global de connaissances, de financement et de ressources entre les deux n'est pas si important.
3 Le battage médiatique autour de l'IA existe parce que les gens ne connaissent pas grand-chose aux limites du système. GPT est faible dans le raisonnement et la prédiction, bien en dessous du niveau de l'AGI. Mais les risques de l'IA à ce stade sont bien réels.
4 Si AGI vient, la condition humaine sera pire. Parce que leur valeur en tant que travailleurs tomberait alors à zéro, et il serait moins coûteux de faire faire tout cela par des machines que d'embaucher des humains. Mais l'IA actuelle est encore loin de cet objectif.
L'écart entre la Chine et les États-Unis n'est pas si grand, l'IA n'a pas de fossé
Technologie Tencent :
Maintenant que l'histoire d'OpenAI est sous les projecteurs, vous avez beaucoup écrit sur sa fondation et son parcours dans votre livre. Pouvez-vous parler de Sam Altman ? Quelles qualités lui ont permis de mener OpenAI là où il en est aujourd'hui ?
Cade Metz:
**Sam est très ambitieux et il sait convaincre les gens de faire ce qu'il veut qu'ils fassent. Franchement, il est doué pour constituer des équipes et les mettre sur une certaine voie. ** Il ne s'agit pas seulement du niveau de développement des compétences. Ils ont besoin de beaucoup d'argent pour faire cela. La formation de ces types de systèmes coûte des dizaines de millions, voire des centaines de millions de dollars. J'ai dit qu'analyser tout le texte sur Internet et apprendre, et laisser ces systèmes apprendre par eux-mêmes, prend des mois et nécessite des systèmes informatiques massifs qui sont en fait détenus et contrôlés par de grandes entreprises technologiques.
Sam a levé plus d'un milliard de dollars en 2019 environ. Donc, une bonne partie de ses compétences consiste à négocier l'accord. ** C'était une affaire énorme, Sam a obtenu les fonds dont il avait besoin et la puissance de calcul dont il avait besoin. Plus tard, ils ont levé plus de 11 milliards de dollars supplémentaires auprès de ** Microsoft, pour un total de près de 13 milliards de dollars. C'est une grande raison pour laquelle il est si essentiel.
Technologie Tencent :
Vous avez mentionné Microsoft, mais il était complètement en retard sur ses concurrents lors de la dernière vague d'IA. Alors pourquoi Microsoft peut-il saisir cette opportunité dans cette vague d'IA et agir si rapidement ?
Cade Metz:
C'est une décision intéressante pour Microsoft. Ils étaient autrefois derrière la concurrence, mais ils ont réalisé l'importance de la technologie qu'ils construisaient. Ils ont également rencontré de nombreuses difficultés auparavant.Son adversaire Google et d'autres entreprises ont un scénario où cette technologie peut être utilisée : Google a d'abord déployé des réseaux de neurones à grande échelle sur les téléphones Android et son assistant numérique Google Home pour la reconnaissance vocale. Ainsi, lorsque vous utilisez ces haut-parleurs intelligents dans votre maison, ils peuvent répondre à vos questions. Google peut commencer à déployer cette technologie si rapidement car ils disposent des scénarios et du matériel pour la déployer. Microsoft n'a pas ce scénario.
Mais lorsque Microsoft a finalement essayé de le déployer, ils ont rencontré d'autres problèmes. Ils ont lancé un chatbot appelé Tay aux États-Unis il y a quelques années, et presque aussitôt qu'il est arrivé sur les étagères, il a commencé à générer des messages offensants, y compris racistes. Microsoft ne peut que le retirer bientôt.
**Ce n'est qu'un aspect de l'histoire à mesure que la technologie de l'IA évolue aux États-Unis, car ces systèmes génèrent parfois des textes inutiles qui sont biaisés contre certaines personnes et génèrent des discours de haine. Par conséquent, il est difficile pour les grandes entreprises de se décider à lancer ce produit et elles ne veulent pas prendre ce risque. Mais Microsoft s'est associé à OpenAI, qui lance le système, afin que les gens ne réagissent pas aussi fortement à ses défauts qu'à Microsoft. ** Les gens accepteront que ces bogues proviennent d'une petite entreprise inconnue, mais pas d'une entreprise bien connue comme Microsoft.
Technologie Tencent :
D'après votre observation, quel est l'écart entre la Chine et les États-Unis dans le domaine de l'intelligence artificielle ? Selon vous, quels sont les avantages de la Chine en matière d'intelligence artificielle ?
Cade Metz:
La Chine y travaille depuis un certain temps. Il existe de nombreuses personnes et entreprises qui comprennent la technologie impliquée ici, mais il peut y avoir des difficultés. Les puces informatiques nécessaires à l'entraînement de ces systèmes sont fabriquées au plus haut niveau par des entreprises américaines. Maintenant qu'il y a une interdiction commerciale, ces puces ne peuvent pas être vendues à la Chine. Cela peut être un inconvénient.
Nous verrons comment cela se passe lorsqu'il s'agit de construire cette technologie. ** Sam Altman a récemment déclaré qu'il estimait que la Chine avait deux ans de retard. Ceci est une estimation. Je pense que l'industrie dans son ensemble peut rattraper ce que lui et son entreprise font assez rapidement. Nous commençons déjà à voir cela, et je pense que cela peut également arriver en Chine. **
Technologie Tencent :
Cet écart devient-il plus grand ou plus petit ?
Cade Metz:
En raison de l'interdiction du commerce, c'est difficile à dire. C'est une difficulté à laquelle la Chine est confrontée. Autant que je sache, la Chine travaille dur pour construire, concevoir et fournir les puces et les équipements nécessaires aux centres de données.
** Que ce soit en Chine ou aux États-Unis, nous devrons faire face aux nombreux rôles potentiels joués par les frictions commerciales telles que la concurrence. Il est maintenant généralement admis que la technologie d'OpenAI est actuellement en avance sur la plupart de ses concurrents. Mais il existe de nombreuses autres entreprises dans le monde qui ont suffisamment de connaissances, d'argent et d'accès aux ressources nécessaires pour être vraiment compétitives. **
Par conséquent, nous en sommes encore aux premiers stades de la compétition en IA, et il reste encore de nombreuses voies à explorer. Le résultat doit encore attendre et voir.
Technologie Tencent :
Vous avez mentionné Baidu dans votre livre. La société chinoise a également commencé à expérimenter ce type de technologie d'IA en 2012, déjà au début de la course. Pourquoi pensez-vous qu'il n'a pas montré de force aujourd'hui ? Selon vous, quels sont les principaux facteurs qui contribuent à cette situation ?
Cade Metz:
** Je pense que les idées sont le moteur du domaine. ** L'apprentissage en profondeur est célèbre dans le monde entier et des chercheurs en Chine ont mis au point des techniques similaires. Mais tout comme aux États-Unis, les gens ont été étonnés de voir à quel point cette étape de formation à la rétroaction humaine que j'ai mentionnée plus tôt fonctionnait. **Ainsi, ils sont un pas en arrière par rapport à beaucoup d'autres aux États-Unis dans l'application de cette technique (entraînement avec rétroaction humaine) à de grands modèles de langage. **
Technologie Tencent :
Vous avez mentionné que de nombreuses autres entreprises sont également dans cette course, outre les grandes comme OpenAI, Google et Meta, y a-t-il des petites entreprises qui méritent d'être surveillées ?
Cade Metz:
Il existe une société appelée Anthropic, qui a été fondée par un groupe de personnes qui ont quitté OpenAI. L'entreprise n'est pas bien connue, mais elle va être importante dans cet espace. Ils ont aidé à construire une grande partie de la technologie qui a formé ChatGPT et ont construit leur propre chatbot, qui n'a pas encore été rendu public. J'estime que ses capacités seront comparables à ChatGPT.
Il y a une société à Toronto appelée Coherence qui fait quelque chose de similaire ; aux États-Unis, il y a une société appelée Character.AI fondée par d'anciens Googleurs ; il y a une autre société appelée Inflection AI, fondée par l'un des fondateurs de DeepMind of. DeepMind est un autre laboratoire important basé à Londres, détenu essentiellement par Google.
Technologie Tencent :
Pour les entreprises qui se développent sur le segment de l'IA, où sont leurs opportunités ?
Cade Metz:
La façon dont ces petits domaines fonctionnent est qu'une fois que quelqu'un a construit un système appelé grand modèle de langage, vous pouvez l'utiliser pour construire toutes sortes d'autres techniques. Vous pouvez créer un chatbot, vous pouvez créer un moteur de recherche, vous pouvez créer un tuteur personnel. ** Donc, ce que fait OpenAI, c'est qu'ils ont construit ce système de base. Ils l'appellent GPT-4, puis ils proposent ce système à toute autre entreprise qui souhaite l'utiliser. C'est une façon de créer d'autres applications.
C'est ce qu'on commence à voir. ** Je pense que vous verrez des entreprises comme OpenAI proposer ce type de service. Tout le monde peut l'utiliser pour créer ses propres applications dessus. ** Je pense donc qu'il existe toutes sortes d'opportunités où les entreprises peuvent prendre ce service de base, puis créer de nouvelles choses par-dessus et vendre ces applications. Mais le plus difficile est de construire ce service de base, et peu d'entreprises peuvent le faire. Aux États-Unis, il existe des géants tels que Google, Microsoft et Meta, et seules quelques startups disposent des capitaux et des talents nécessaires. Comme je l'ai déjà dit, vous avez besoin de centaines de millions de dollars pour construire ce système central. ** Il est donc actuellement difficile pour les petites entreprises de les concurrencer en termes de construction du modèle de base. **
Beaucoup de gens pensent qu'à mesure que les prix baissent et que les projets open source s'améliorent, il deviendra plus facile pour les gens de construire leurs propres systèmes de base, et cela finira par changer. Mais je ne suis pas sur.
Deux étapes importantes dans le développement de l'IA : une vente aux enchères et la naissance de ChatGPT
Technologie Tencent :
En tant qu'auteur senior en intelligence artificielle, vous vous êtes essentiellement concentré sur le domaine de l'apprentissage en profondeur au cours de vos dix années de carrière, et vous avez établi tous les rôles importants dans ce domaine et participé à divers moments décisifs entre les deux. . Qu'est-ce qui vous a poussé à vous intéresser à ce domaine ?
Cade Metz:
Vers 2011 ou 2012, j'ai rejoint Wired à San Francisco. C'est l'un des domaines sur lesquels j'ai décidé de me concentrer. A cette époque il y a plus de dix ans, on sentait déjà que ce domaine allait devenir très important. C'est à ce moment-là que se sont produits quelques moments charnières qui m'ont amené à m'intéresser à la technologie.
Hinton est le protagoniste du livre "The Deep Learning Revolution" et j'ai écrit sur son ascension et sur le concept clé des réseaux de neurones qui a entraîné de nombreuses avancées au cours des 10 dernières années. Il a finalement rejoint Google en 2013.
J'ai appris plus tard qu'il s'agissait d'une vente aux enchères entre certaines des plus grandes entreprises technologiques du monde, dont Google, Microsoft et Baidu en Chine. Ce fut un moment charnière, et vous pouviez voir que quelque chose commençait à se produire. Au fil des ans, j'ai commencé à couvrir de plus en plus l'espace et j'ai rencontré des gens comme Hinton et son collègue de longue date Yann Lecun, qui a finalement rejoint Facebook et maintenant Meta, entre autres personnes dans le domaine. Nous avons commencé à faire beaucoup de couverture dans Wired, puis c'est devenu de plus en plus gros. En fin de compte, j'ai décidé d'écrire un livre sur le domaine, que j'ai continué à couvrir lorsque je suis passé de Wired au New York Times.
Technologie Tencent :
En tant que journaliste qui suit l'IA depuis longtemps, c'est comme traverser un cycle.Vous avez vécu la période creuse dans le domaine de l'intelligence artificielle. Selon vous, qu'est-ce qui a poussé Hinton et d'autres à persister ?
Cade Metz:
Hinton a commencé à travailler sur les réseaux de neurones en 1972. À cette époque, presque personne ne croyait que cela réussirait, car ** tout le domaine de l'intelligence artificielle a abandonné la direction des réseaux de neurones. Mais ** Hinton est un homme de son propre esprit, qui croit vraiment en ce en quoi il croit, et il est inébranlable dans cette direction.
** Dans les années 1980, grâce en grande partie aux propres efforts de Hinton, la technologie a fait des progrès majeurs. Beaucoup de gens ont recommencé à croire en cette idée. Mais au début des années 90, les gens ont de nouveau abandonné, mais il a continué à travailler et il a toujours maintenu son attitude cohérente. ** Ils croyaient que l'idée continuerait à s'améliorer, et ils avaient raison. Une partie de ce qui rend cette histoire si intéressante est qu'ils continuent à travailler même face à tant de scepticisme, même de la part de leurs proches collègues.
** Le moment qui a vraiment ouvert les yeux de toute l'industrie a été ce qui est maintenant connu sous le nom de document AlexNet. Ce document de recherche, rédigé par Hinton et deux de ses étudiants à l'Université de Toronto, montre que les réseaux de neurones peuvent obtenir un grand succès dans la reconnaissance d'images**, en identifiant des objets sur des photos tels que des fleurs, des voitures, des personnes, des animaux, etc.
Lorsque l'article a été publié en 2012, il a ouvert les yeux de Google, Microsoft, Baidu et finalement Facebook. Nous pouvons voir cette guerre des talents, cette ruée vers l'application de cette idée au sein de certaines des plus grandes entreprises de la planète, non seulement pour la reconnaissance d'images, mais pour la reconnaissance vocale, la traduction, etc. Ce document a été un moment charnière. C'est pourquoi mon livre commence par ce papier, ** c'est le moment où Hinton a vendu sa société aux enchères au plus offrant, et cela a déclenché tout le reste. **
Depuis lors jusqu'à aujourd'hui, nous avons continué à nous améliorer. Le réveil mentionné ci-dessus de la prise de conscience de l'industrie en 2012 a été un moment critique, et 10 ans plus tard, ChatGPT a été publié, ce qui est un autre moment critique. Ces deux moments sont des tournants très importants lorsque nous regardons l'histoire de l'IA.
Technologie Tencent :
** Dans votre livre, vous décrivez le développement de l'apprentissage en profondeur, et des jalons de produits comme AlphaGo, Deepfake et la série GPT ont suscité de nombreuses discussions publiques. Mais jusqu'à l'apparition de ChatGPT, tout le monde sentait vraiment que la véritable révolution industrielle était en marche. Qu'est-ce qui rend la série GPT si différente ? **
Cade Metz:
c'est une excellente question. Les technologies liées à GPT et ChatGPT sont développées depuis un certain temps. Plusieurs entreprises ont développé cette technique au cours des cinq dernières années, OpenAI développant finalement Chat GPT, et des entreprises telles que Google, Meta (anciennement Facebook) et Microsoft ont également commencé à développer de soi-disant grands modèles de langage il y a cinq ans.
L'idée derrière la technologie est de construire un réseau de neurones, un système mathématique qui peut apprendre à partir des données. Donnez-lui autant de texte que possible, et il analyse ce texte, et dans le processus d'analyse de ce texte, il apprend à générer le texte lui-même. En analysant les articles de Wikipédia, les articles de blog, les journaux de discussion et divers contenus sur Internet, il a reconnu des modèles dans la façon dont nous assemblons les mots et avons appris à le faire. Nous avons vu cette technologie se concrétiser au cours des dernières années, et plusieurs systèmes intéressants ont été publiés.
OpenAI a publié GPT-2, GPT-3, ils sont tous très impressionnants. Nous pouvons voir ces systèmes commencer à produire du texte comme les humains. Mais c'est la sortie de ChatGPT qui a vraiment fait comprendre cela au grand public. D'autres entreprises ont publié leurs propres chatbots il y a même des mois, des semaines, comme Meta (ex-Facebook) a publié un chatbot dans la communauté scientifique, mais ce n'était pas seulement inintéressant pour les gens, il a également été ridiculisé. Parce que cela crée de la désinformation et que les gens en sont très mécontents. Meta l'a rapidement retiré. Mais peu de temps après, OpenAI a publié ChatGPT sur Twitter.
** Il est devenu populaire en partie à cause de la façon dont il a été publié et en partie à cause de la société qui l'a publié. Mais ChatGPT améliore certains aspects techniques clés. Parce qu'en construisant ces grands modèles de langage appris partout sur Internet, ils leur appliquent une rétroaction humaine. Ils ont demandé aux humains d'évaluer les réponses du chatbot. Demandent-ils aux humains d'évaluer une réponse comme bonne ? est-ce que c'est réel Est-ce que ça marche? Ils lui donnent un goût ou une aversion, puis ils réinjectent ces notes dans le système et le laissent apprendre de ces notes. **
De cette façon, ils ont pu l'affiner au point que presque chaque fois que le chatbot était interrogé, il produisait un texte convaincant. Ce n'est peut-être pas toujours vrai et génère toujours de la désinformation, mais ** cela communique aux gens d'une manière réactive que les humains utilisent réellement. Pas seulement avec des experts dans le domaine, mais avec n'importe qui. Cela a vraiment captivé l'imagination des gens. **Il y a eu un réel changement dans la perception de cette technologie, non seulement parmi les gens ordinaires, mais aussi parmi de nombreux chercheurs dans ce domaine technologique. La popularité de ChatGPT a inauguré une nouvelle ère de ce type de technologie et une nouvelle course vers une intelligence artificielle de plus en plus impressionnante.
Technologie Tencent :
Vous pensez donc que le facteur clé technique du succès de ChatGPT est principalement RLHF (Learning with Human Feedback) ?
Cade Metz:
Oui, si vous utilisez une version antérieure, comme **GPT-3, cela peut parfois être impressionnant lorsque vous le demandez d'une certaine manière. Par exemple, si vous lui demandez de prononcer un discours dans le style de Donald Trump, il y a environ une chance sur deux qu'il produise un discours impressionnant. C'est un peu comme lancer les dés, parfois cela vous donnera ce que vous voulez, et parfois non. Dans ce cas, le système n'attire pas l'attention des gens ordinaires. **Mais ils ont pris ce système de base, mais chaque fois que le système produisait une réponse, les annotateurs la notaient. Il peut prendre des notes d'humains, voir comment ils évaluent ces réponses et l'utiliser pour recycler le système. L'annotateur indique à GPT quel type de réponse est bon et quel type de réponse est mauvais.
Finalement, OpenAI a obtenu un chatbot qui peut converser comme un humain presque à chaque fois. Ils mettent ce système devant les gens ordinaires, et cette discussion animée est la façon dont les gens réagissent à son émergence. Sur Twitter, n'importe qui peut l'utiliser, et les gens y réagissent vraiment.
AGI est encore loin, mais son arrivée remplacera toute valeur de travail humain
Technologie Tencent :
Il y a quelque temps, Musk a déclaré dans une interview qu'AGI sera réalisé d'ici 5 ou 6 ans. Pensez-vous qu'AGI sera un objectif facile ?
Cade Metz:
C'est vraiment difficile à dire, et il y a beaucoup de controverse à ce sujet. **Nous savons que les systèmes d'IA d'aujourd'hui sont loin d'atteindre ce niveau. Ils peuvent produire un langage de façon impressionnante, mais ils ne peuvent pas raisonner comme les humains, et ils n'ont pas non plus le bon sens des humains. **
Beaucoup de gens croient que nous avons besoin de nouvelles façons de leur donner cette capacité, et nos méthodes actuelles ne peuvent pas leur faire atteindre l'AGI. Ils ont besoin d'en savoir plus sur le monde physique que le simple langage. Il y a beaucoup de débats et de désaccords à ce sujet, mais ce n'est certainement pas quelque chose auquel nous devons penser aujourd'hui, et nous ne sommes pas encore assez proches d'AGI.
Technologie Tencent :
Selon vous, que manque-t-il au système actuel par rapport à une véritable intelligence artificielle générale ?
Cade Metz:
Lorsque ces systèmes sont utilisés, les failles de l'IA actuelle peuvent être facilement trouvées. Si vous essayez de les faire raisonner comme les humains, parfois ils peuvent imiter, mais la plupart du temps ils ne le peuvent pas.
C'est la vraie difficulté. ** La plus grande différence entre eux et AGI est qu'ils génèrent un texte plausible et peuvent réellement raisonner. **
**Ces systèmes sont très bons pour traiter des choses qui se sont passées dans le passé, c'est-à-dire quelque chose qui est documenté sur Internet. Mais ils ne parlent pas de l'avenir et spéculent sur ce qui pourrait arriver. ** Vous et moi pouvons avoir cette conversation où nous parlons de l'avenir et pensons à ce qui pourrait arriver. Ces systèmes ne sont pas bons pour cela. Ils sont bons pour imiter ce qu'ils ont vu auparavant. Ils sont donc très bons pour passer des tests standardisés. Ils réussissent si bien à des tests comme le droit, les sciences et les mathématiques au secondaire qu'ils font l'objet de beaucoup de battage médiatique.
** Mais d'autres études ont montré que si vous ne leur donnez que des questions complètement nouvelles, des questions écrites après leur formation, ils ne fonctionnent pas aussi bien. Ainsi, alors qu'ils répondent à toutes ces questions standardisées, ils ne raisonnent pas nécessairement. ** Ce qu'ils font, c'est répéter ce qui a été vu auparavant.
Technologie Tencent :
En ce qui concerne la menace de l'IA, comme l'opacité, vous avez enregistré un passage intéressant de Hinton dans le livre "Les gens doivent vivre avec le problème de la 'boîte noire', même si vous ne pouvez pas voir le fonctionnement interne, ils feront ce qu'ils sont censés à faire", mais récemment, Hinton a quitté Google, et vous avez également fait une interview avec lui, dans laquelle il a exprimé de nombreuses inquiétudes concernant l'IA. Comment comprenez-vous le changement d'attitude de Hinton envers l'IA ?
Cade Metz:
Sa pensée a définitivement changé. Quand j'ai publié le livre, il pensait que les risques de l'IA étaient assez éloignés. Mais au cours de la dernière année, il a changé d'avis lorsqu'il a vu la technologie ChatGPT que nous voyons maintenant.
Il s'est rendu compte que, à certains égards, les systèmes sont plus puissants que les cerveaux humains. ** Vous et moi ne pouvons pas comprendre l'intégralité d'Internet, il est hors de portée humaine. Nous ne pouvons pas apprendre de tant de données, mais le système le peut. ** Il craint qu'ils ne soient utilisés pour diffuser de la désinformation, dans ce cas un texte qui n'est pas réel, une image qui n'est pas réelle, une vidéo qui n'est pas réelle.
** En plus de cela, il s'inquiète également du fait que le système commence à prendre les emplois des gens ; également préoccupé par certains des problèmes plus importants, tels que les systèmes automatisés utilisés sur le champ de bataille, utilisés comme armes ; il craint même que dans plus longtemps, nous perdrons le contrôle de l'IA. **
Technologie Tencent :
Le collègue de longue date de Hinton, Yann Lecun, et d'autres scientifiques de l'IA ont beaucoup parlé ces derniers temps de l'exagération par les médias des capacités et des menaces de l'IA. Pensez-vous qu'il a raison? De quelle manière les médias pourraient-ils compliquer ces questions plus qu'ils ne le sont réellement ?
Cade Metz:
** Je pense que les médias exagèrent. Lorsque Chat GPT a été publié pour la première fois, les gens n'en voyaient pas les défauts et il leur a fallu beaucoup de temps avant de se rendre compte qu'il générait de la désinformation pour induire les gens en erreur. Beaucoup de gens, y compris les journalistes, ont du mal à comprendre ce qui se passe. continuent d'induire les gens en erreur à mesure qu'ils se propagent. ** Dans ce cas, un sur-hyping peut facilement se produire.
Bien sûr, parfois l'exagération délibérée vient de malentendus, mais certaines personnes exagèrent exprès et d'autres inconsciemment. Mais je pense que c'est surtout parce que les gens ne comprennent pas complètement ce qu'ils voient.
Technologie Tencent :
Selon vous, quelle est la signification historique du boom actuel de l'IA ? Est-ce le début d'une nouvelle révolution industrielle ?
Cade Metz:
C'est possible. Je pense que nous continuerons d'apporter des améliorations à ces systèmes. **Ils pourront gérer non seulement du texte, mais aussi des images. Nous avons vu la dernière version de la technologie construite par OpenAI prendre une image et décrire ce qu'elle contient, en répondant aux questions à ce sujet. Ce n'est pas encore public, mais cela fait partie de ce qu'ils ont construit. Il promet que de plus en plus de compétences seront similaires à celles des humains et continueront à changer les emplois des gens.
Je pense donc que ce que nous avons vu au cours des six derniers mois suggère que nous allons avoir un très grand changement dans les prochaines années. Cette transformation semble être aussi profonde que la première révolution industrielle. Nous en sommes encore aux premiers stades. Ces choses vont souvent plus lentement que les gens ne le pensent. Mais je pense que nous allons dans cette direction.
Technologie Tencent :
Comment pensez-vous que l'IA va remodeler cette société ? Où est la valeur des êtres humains lorsque l'IAG est réalisée ?
Cade Metz:
Je pense que ce serait une situation difficile pour les humains d'avoir un système capable de faire tout ce que le cerveau humain peut faire, ce qu'on appelle l'IAG.
** Si une machine pouvait faire tout ce qu'un humain peut faire, alors la valeur d'un travailleur tomberait à zéro car il serait moins cher d'utiliser une machine que d'embaucher un humain. À mon avis, ce n'est pas une bonne situation pour les êtres humains. ** Mais l'IA n'en est pas encore là.
Prenons l'exemple des programmeurs informatiques. Aujourd'hui, le système peut très bien générer des programmes informatiques et des codes informatiques, mais le code peut encore présenter des défauts. Il a encore besoin d'un programmeur humain expérimenté pour prendre en charge le code qu'il a généré, l'éditer et l'intégrer. un programme plus vaste, en créant éventuellement une application. Au fur et à mesure que ces systèmes s'amélioreront avec le temps, ils remplaceront de plus en plus ce que font les humains. Le problème à ce stade est que l'IA va bientôt commencer à remplacer les programmeurs juniors moins expérimentés, les personnes qui sont au bas de l'industrie des programmeurs, qui font la même chose que l'IA, écrivent du code de base et le confient à des développeurs plus expérimentés. programmeurs personnes à intégrer.
** Alors que l'IA continue de s'améliorer, les machines changeront certainement de plus en plus les choses, mais nous n'en sommes pas au point où l'IA remplacera soudainement un grand nombre d'emplois. **
Une autre préoccupation que j'ai est que ces systèmes peuvent générer du texte et des images réalistes. Ils commencent même à générer de la vidéo à la volée, nous ne pourrons pas distinguer ce qui est réel de ce qui n'est pas sur Internet, et nous devrons absolument changer notre état d'esprit lorsque nous naviguons sur presque tout sur Internet. Vous devez demander aux masses si elles ont le pouvoir de changer leur façon de penser en général. **
Voir l'original
Le contenu est fourni à titre de référence uniquement, il ne s'agit pas d'une sollicitation ou d'une offre. Aucun conseil en investissement, fiscalité ou juridique n'est fourni. Consultez l'Avertissement pour plus de détails sur les risques.
Entretien avec le légendaire journaliste de l'IA Cade Metz : Il n'y a pas de fossé dans l'industrie, et la Chine va bientôt rattraper OpenAI
Auteur | Tencent Technology Hao Boyang
Le titre de "Three Big Three in Deep Learning" n'est certainement pas étranger aux lecteurs dans la montée en puissance de l'IA. Mais parmi les talents d'apprentissage profond, quels critères d'évaluation sont utilisés pour distinguer Hinton, Yann Lecun et Yoshua Bengio comme des géants ? Pas de concours, ni de débats, ni de classements, ce titre a été déterminé il y a déjà 18 ans par le reporter le plus célèbre dans le domaine de l'IA, Cade Metz.
En tant que rédacteur principal du magazine "Wired", rédacteur en chef de la rubrique sur l'intelligence artificielle du "New York Times" et auteur de "Deep Learning Revolution", Cade Metz a essentiellement interviewé tous les experts bien connus dans le domaine de l'IA en plus de dix ans. d'expérience professionnelle, Sam Altman l'a consulté avant de lancer ChatGPT, et Hinton lui a parlé après avoir quitté Google. Au contact de ces personnalités clés, il s'est également plongé dans les géants de l'IA tels que Microsoft, Google et Meta pour déterrer les moments clés et les scènes dramatiques derrière diverses décisions commerciales fondamentales. L'enchère secrète qui a changé le cours de l'intelligence artificielle il y a dix ans.
Le livre rapporte en détail la vente aux enchères qui a eu lieu en 2012 et a eu un impact profond sur l'ensemble de l'industrie de l'intelligence artificielle.
En décembre 2012, Hinton, incapable de rester assis en raison d'une hernie discale, est resté avec deux de ses élèves pendant une semaine dans un hôtel-casino au pied des montagnes de ski du lac Tahoe. Lui et sa société nouvellement créée sans aucun produit acceptent les appels d'offres des sociétés les plus célèbres au monde, notamment Microsoft, Google, Deepmind et Baidu.
La scène la plus dramatique est apparue lorsque Hinton a dû faire face à la visite soudaine de Yu Kai, alors vice-doyen de l'institut de recherche envoyé par Baidu.Afin de "ne pas le laisser penser que j'étais vieux", il a demandé à ses étudiants de emballer à chaque fois afin de le laisser La douleur lombaire a soulagé la verrière qui a été temporairement construite avec des coussins de canapé, ce qui les a rendus assez agités. Lors d'une certaine visite, Hinton a fait face au sac à dos gauche de Yu Kai et a longtemps lutté avec les étudiants pour savoir s'il fallait rechercher des informations sur le prix de réserve de Baidu. Mais à la fin, la dignité les a fait abandonner. Enfin, une semaine plus tard, Hinton a accepté l'offre de Google, a vendu l'entreprise, qui était encore complètement vide, au géant pour 44 millions de dollars, et a ouvert le rideau de la guerre géante de l'IA.
Tout au long de sa carrière, de telles scènes pleines de détails et de conflits dramatiques peuvent être vues partout. Par conséquent, il n'est pas exagéré de l'appeler l'observateur le plus profond dans le domaine de l'IA.
Dans cette interview, Metz a une fois de plus démontré sa connaissance approfondie du domaine de l'IA, de l'histoire et des moments clés de l'apprentissage en profondeur à l'avenir de l'IA et son impact sur la société humaine. Il a également fait son évaluation de style observateur de la situation de l'intelligence artificielle en Chine en particulier.
Il pense que la raison pour laquelle Sam Altman peut faire ressortir OpenAI est principalement parce que sa forte capacité de négociation a contribué à la coopération entre OpenAI et Microsoft. Il estime également que l'écart entre la Chine et les États-Unis en matière d'IA n'est pas aussi loin que le pense le public, car la technologie existante elle-même n'a pas de fossé. En ce qui concerne l'avenir de l'IA, il a les mêmes inquiétudes que Hinton, et il s'inquiétera que l'émergence de l'IAG entraîne d'énormes changements dans la société. Les spectateurs sont clairs, voici les idées des observateurs de l'IA.
L'écart entre la Chine et les États-Unis n'est pas si grand, l'IA n'a pas de fossé
Technologie Tencent :
Maintenant que l'histoire d'OpenAI est sous les projecteurs, vous avez beaucoup écrit sur sa fondation et son parcours dans votre livre. Pouvez-vous parler de Sam Altman ? Quelles qualités lui ont permis de mener OpenAI là où il en est aujourd'hui ?
Cade Metz:
**Sam est très ambitieux et il sait convaincre les gens de faire ce qu'il veut qu'ils fassent. Franchement, il est doué pour constituer des équipes et les mettre sur une certaine voie. ** Il ne s'agit pas seulement du niveau de développement des compétences. Ils ont besoin de beaucoup d'argent pour faire cela. La formation de ces types de systèmes coûte des dizaines de millions, voire des centaines de millions de dollars. J'ai dit qu'analyser tout le texte sur Internet et apprendre, et laisser ces systèmes apprendre par eux-mêmes, prend des mois et nécessite des systèmes informatiques massifs qui sont en fait détenus et contrôlés par de grandes entreprises technologiques.
Sam a levé plus d'un milliard de dollars en 2019 environ. Donc, une bonne partie de ses compétences consiste à négocier l'accord. ** C'était une affaire énorme, Sam a obtenu les fonds dont il avait besoin et la puissance de calcul dont il avait besoin. Plus tard, ils ont levé plus de 11 milliards de dollars supplémentaires auprès de ** Microsoft, pour un total de près de 13 milliards de dollars. C'est une grande raison pour laquelle il est si essentiel.
Technologie Tencent :
Vous avez mentionné Microsoft, mais il était complètement en retard sur ses concurrents lors de la dernière vague d'IA. Alors pourquoi Microsoft peut-il saisir cette opportunité dans cette vague d'IA et agir si rapidement ?
Cade Metz:
C'est une décision intéressante pour Microsoft. Ils étaient autrefois derrière la concurrence, mais ils ont réalisé l'importance de la technologie qu'ils construisaient. Ils ont également rencontré de nombreuses difficultés auparavant.Son adversaire Google et d'autres entreprises ont un scénario où cette technologie peut être utilisée : Google a d'abord déployé des réseaux de neurones à grande échelle sur les téléphones Android et son assistant numérique Google Home pour la reconnaissance vocale. Ainsi, lorsque vous utilisez ces haut-parleurs intelligents dans votre maison, ils peuvent répondre à vos questions. Google peut commencer à déployer cette technologie si rapidement car ils disposent des scénarios et du matériel pour la déployer. Microsoft n'a pas ce scénario.
Mais lorsque Microsoft a finalement essayé de le déployer, ils ont rencontré d'autres problèmes. Ils ont lancé un chatbot appelé Tay aux États-Unis il y a quelques années, et presque aussitôt qu'il est arrivé sur les étagères, il a commencé à générer des messages offensants, y compris racistes. Microsoft ne peut que le retirer bientôt.
**Ce n'est qu'un aspect de l'histoire à mesure que la technologie de l'IA évolue aux États-Unis, car ces systèmes génèrent parfois des textes inutiles qui sont biaisés contre certaines personnes et génèrent des discours de haine. Par conséquent, il est difficile pour les grandes entreprises de se décider à lancer ce produit et elles ne veulent pas prendre ce risque. Mais Microsoft s'est associé à OpenAI, qui lance le système, afin que les gens ne réagissent pas aussi fortement à ses défauts qu'à Microsoft. ** Les gens accepteront que ces bogues proviennent d'une petite entreprise inconnue, mais pas d'une entreprise bien connue comme Microsoft.
Technologie Tencent :
D'après votre observation, quel est l'écart entre la Chine et les États-Unis dans le domaine de l'intelligence artificielle ? Selon vous, quels sont les avantages de la Chine en matière d'intelligence artificielle ?
Cade Metz:
La Chine y travaille depuis un certain temps. Il existe de nombreuses personnes et entreprises qui comprennent la technologie impliquée ici, mais il peut y avoir des difficultés. Les puces informatiques nécessaires à l'entraînement de ces systèmes sont fabriquées au plus haut niveau par des entreprises américaines. Maintenant qu'il y a une interdiction commerciale, ces puces ne peuvent pas être vendues à la Chine. Cela peut être un inconvénient.
Nous verrons comment cela se passe lorsqu'il s'agit de construire cette technologie. ** Sam Altman a récemment déclaré qu'il estimait que la Chine avait deux ans de retard. Ceci est une estimation. Je pense que l'industrie dans son ensemble peut rattraper ce que lui et son entreprise font assez rapidement. Nous commençons déjà à voir cela, et je pense que cela peut également arriver en Chine. **
Technologie Tencent :
Cet écart devient-il plus grand ou plus petit ?
Cade Metz:
En raison de l'interdiction du commerce, c'est difficile à dire. C'est une difficulté à laquelle la Chine est confrontée. Autant que je sache, la Chine travaille dur pour construire, concevoir et fournir les puces et les équipements nécessaires aux centres de données.
** Que ce soit en Chine ou aux États-Unis, nous devrons faire face aux nombreux rôles potentiels joués par les frictions commerciales telles que la concurrence. Il est maintenant généralement admis que la technologie d'OpenAI est actuellement en avance sur la plupart de ses concurrents. Mais il existe de nombreuses autres entreprises dans le monde qui ont suffisamment de connaissances, d'argent et d'accès aux ressources nécessaires pour être vraiment compétitives. **
Par conséquent, nous en sommes encore aux premiers stades de la compétition en IA, et il reste encore de nombreuses voies à explorer. Le résultat doit encore attendre et voir.
Technologie Tencent :
Vous avez mentionné Baidu dans votre livre. La société chinoise a également commencé à expérimenter ce type de technologie d'IA en 2012, déjà au début de la course. Pourquoi pensez-vous qu'il n'a pas montré de force aujourd'hui ? Selon vous, quels sont les principaux facteurs qui contribuent à cette situation ?
Cade Metz:
** Je pense que les idées sont le moteur du domaine. ** L'apprentissage en profondeur est célèbre dans le monde entier et des chercheurs en Chine ont mis au point des techniques similaires. Mais tout comme aux États-Unis, les gens ont été étonnés de voir à quel point cette étape de formation à la rétroaction humaine que j'ai mentionnée plus tôt fonctionnait. **Ainsi, ils sont un pas en arrière par rapport à beaucoup d'autres aux États-Unis dans l'application de cette technique (entraînement avec rétroaction humaine) à de grands modèles de langage. **
Technologie Tencent :
Vous avez mentionné que de nombreuses autres entreprises sont également dans cette course, outre les grandes comme OpenAI, Google et Meta, y a-t-il des petites entreprises qui méritent d'être surveillées ?
Cade Metz:
Il existe une société appelée Anthropic, qui a été fondée par un groupe de personnes qui ont quitté OpenAI. L'entreprise n'est pas bien connue, mais elle va être importante dans cet espace. Ils ont aidé à construire une grande partie de la technologie qui a formé ChatGPT et ont construit leur propre chatbot, qui n'a pas encore été rendu public. J'estime que ses capacités seront comparables à ChatGPT.
Il y a une société à Toronto appelée Coherence qui fait quelque chose de similaire ; aux États-Unis, il y a une société appelée Character.AI fondée par d'anciens Googleurs ; il y a une autre société appelée Inflection AI, fondée par l'un des fondateurs de DeepMind of. DeepMind est un autre laboratoire important basé à Londres, détenu essentiellement par Google.
Technologie Tencent :
Pour les entreprises qui se développent sur le segment de l'IA, où sont leurs opportunités ?
Cade Metz:
La façon dont ces petits domaines fonctionnent est qu'une fois que quelqu'un a construit un système appelé grand modèle de langage, vous pouvez l'utiliser pour construire toutes sortes d'autres techniques. Vous pouvez créer un chatbot, vous pouvez créer un moteur de recherche, vous pouvez créer un tuteur personnel. ** Donc, ce que fait OpenAI, c'est qu'ils ont construit ce système de base. Ils l'appellent GPT-4, puis ils proposent ce système à toute autre entreprise qui souhaite l'utiliser. C'est une façon de créer d'autres applications.
C'est ce qu'on commence à voir. ** Je pense que vous verrez des entreprises comme OpenAI proposer ce type de service. Tout le monde peut l'utiliser pour créer ses propres applications dessus. ** Je pense donc qu'il existe toutes sortes d'opportunités où les entreprises peuvent prendre ce service de base, puis créer de nouvelles choses par-dessus et vendre ces applications. Mais le plus difficile est de construire ce service de base, et peu d'entreprises peuvent le faire. Aux États-Unis, il existe des géants tels que Google, Microsoft et Meta, et seules quelques startups disposent des capitaux et des talents nécessaires. Comme je l'ai déjà dit, vous avez besoin de centaines de millions de dollars pour construire ce système central. ** Il est donc actuellement difficile pour les petites entreprises de les concurrencer en termes de construction du modèle de base. **
Beaucoup de gens pensent qu'à mesure que les prix baissent et que les projets open source s'améliorent, il deviendra plus facile pour les gens de construire leurs propres systèmes de base, et cela finira par changer. Mais je ne suis pas sur.
Deux étapes importantes dans le développement de l'IA : une vente aux enchères et la naissance de ChatGPT
Technologie Tencent :
En tant qu'auteur senior en intelligence artificielle, vous vous êtes essentiellement concentré sur le domaine de l'apprentissage en profondeur au cours de vos dix années de carrière, et vous avez établi tous les rôles importants dans ce domaine et participé à divers moments décisifs entre les deux. . Qu'est-ce qui vous a poussé à vous intéresser à ce domaine ?
Cade Metz:
Vers 2011 ou 2012, j'ai rejoint Wired à San Francisco. C'est l'un des domaines sur lesquels j'ai décidé de me concentrer. A cette époque il y a plus de dix ans, on sentait déjà que ce domaine allait devenir très important. C'est à ce moment-là que se sont produits quelques moments charnières qui m'ont amené à m'intéresser à la technologie.
Hinton est le protagoniste du livre "The Deep Learning Revolution" et j'ai écrit sur son ascension et sur le concept clé des réseaux de neurones qui a entraîné de nombreuses avancées au cours des 10 dernières années. Il a finalement rejoint Google en 2013.
J'ai appris plus tard qu'il s'agissait d'une vente aux enchères entre certaines des plus grandes entreprises technologiques du monde, dont Google, Microsoft et Baidu en Chine. Ce fut un moment charnière, et vous pouviez voir que quelque chose commençait à se produire. Au fil des ans, j'ai commencé à couvrir de plus en plus l'espace et j'ai rencontré des gens comme Hinton et son collègue de longue date Yann Lecun, qui a finalement rejoint Facebook et maintenant Meta, entre autres personnes dans le domaine. Nous avons commencé à faire beaucoup de couverture dans Wired, puis c'est devenu de plus en plus gros. En fin de compte, j'ai décidé d'écrire un livre sur le domaine, que j'ai continué à couvrir lorsque je suis passé de Wired au New York Times.
Technologie Tencent :
En tant que journaliste qui suit l'IA depuis longtemps, c'est comme traverser un cycle.Vous avez vécu la période creuse dans le domaine de l'intelligence artificielle. Selon vous, qu'est-ce qui a poussé Hinton et d'autres à persister ?
Cade Metz:
Hinton a commencé à travailler sur les réseaux de neurones en 1972. À cette époque, presque personne ne croyait que cela réussirait, car ** tout le domaine de l'intelligence artificielle a abandonné la direction des réseaux de neurones. Mais ** Hinton est un homme de son propre esprit, qui croit vraiment en ce en quoi il croit, et il est inébranlable dans cette direction.
** Dans les années 1980, grâce en grande partie aux propres efforts de Hinton, la technologie a fait des progrès majeurs. Beaucoup de gens ont recommencé à croire en cette idée. Mais au début des années 90, les gens ont de nouveau abandonné, mais il a continué à travailler et il a toujours maintenu son attitude cohérente. ** Ils croyaient que l'idée continuerait à s'améliorer, et ils avaient raison. Une partie de ce qui rend cette histoire si intéressante est qu'ils continuent à travailler même face à tant de scepticisme, même de la part de leurs proches collègues.
** Le moment qui a vraiment ouvert les yeux de toute l'industrie a été ce qui est maintenant connu sous le nom de document AlexNet. Ce document de recherche, rédigé par Hinton et deux de ses étudiants à l'Université de Toronto, montre que les réseaux de neurones peuvent obtenir un grand succès dans la reconnaissance d'images**, en identifiant des objets sur des photos tels que des fleurs, des voitures, des personnes, des animaux, etc.
Lorsque l'article a été publié en 2012, il a ouvert les yeux de Google, Microsoft, Baidu et finalement Facebook. Nous pouvons voir cette guerre des talents, cette ruée vers l'application de cette idée au sein de certaines des plus grandes entreprises de la planète, non seulement pour la reconnaissance d'images, mais pour la reconnaissance vocale, la traduction, etc. Ce document a été un moment charnière. C'est pourquoi mon livre commence par ce papier, ** c'est le moment où Hinton a vendu sa société aux enchères au plus offrant, et cela a déclenché tout le reste. **
Depuis lors jusqu'à aujourd'hui, nous avons continué à nous améliorer. Le réveil mentionné ci-dessus de la prise de conscience de l'industrie en 2012 a été un moment critique, et 10 ans plus tard, ChatGPT a été publié, ce qui est un autre moment critique. Ces deux moments sont des tournants très importants lorsque nous regardons l'histoire de l'IA.
Technologie Tencent :
** Dans votre livre, vous décrivez le développement de l'apprentissage en profondeur, et des jalons de produits comme AlphaGo, Deepfake et la série GPT ont suscité de nombreuses discussions publiques. Mais jusqu'à l'apparition de ChatGPT, tout le monde sentait vraiment que la véritable révolution industrielle était en marche. Qu'est-ce qui rend la série GPT si différente ? **
Cade Metz:
c'est une excellente question. Les technologies liées à GPT et ChatGPT sont développées depuis un certain temps. Plusieurs entreprises ont développé cette technique au cours des cinq dernières années, OpenAI développant finalement Chat GPT, et des entreprises telles que Google, Meta (anciennement Facebook) et Microsoft ont également commencé à développer de soi-disant grands modèles de langage il y a cinq ans.
L'idée derrière la technologie est de construire un réseau de neurones, un système mathématique qui peut apprendre à partir des données. Donnez-lui autant de texte que possible, et il analyse ce texte, et dans le processus d'analyse de ce texte, il apprend à générer le texte lui-même. En analysant les articles de Wikipédia, les articles de blog, les journaux de discussion et divers contenus sur Internet, il a reconnu des modèles dans la façon dont nous assemblons les mots et avons appris à le faire. Nous avons vu cette technologie se concrétiser au cours des dernières années, et plusieurs systèmes intéressants ont été publiés.
OpenAI a publié GPT-2, GPT-3, ils sont tous très impressionnants. Nous pouvons voir ces systèmes commencer à produire du texte comme les humains. Mais c'est la sortie de ChatGPT qui a vraiment fait comprendre cela au grand public. D'autres entreprises ont publié leurs propres chatbots il y a même des mois, des semaines, comme Meta (ex-Facebook) a publié un chatbot dans la communauté scientifique, mais ce n'était pas seulement inintéressant pour les gens, il a également été ridiculisé. Parce que cela crée de la désinformation et que les gens en sont très mécontents. Meta l'a rapidement retiré. Mais peu de temps après, OpenAI a publié ChatGPT sur Twitter.
** Il est devenu populaire en partie à cause de la façon dont il a été publié et en partie à cause de la société qui l'a publié. Mais ChatGPT améliore certains aspects techniques clés. Parce qu'en construisant ces grands modèles de langage appris partout sur Internet, ils leur appliquent une rétroaction humaine. Ils ont demandé aux humains d'évaluer les réponses du chatbot. Demandent-ils aux humains d'évaluer une réponse comme bonne ? est-ce que c'est réel Est-ce que ça marche? Ils lui donnent un goût ou une aversion, puis ils réinjectent ces notes dans le système et le laissent apprendre de ces notes. **
De cette façon, ils ont pu l'affiner au point que presque chaque fois que le chatbot était interrogé, il produisait un texte convaincant. Ce n'est peut-être pas toujours vrai et génère toujours de la désinformation, mais ** cela communique aux gens d'une manière réactive que les humains utilisent réellement. Pas seulement avec des experts dans le domaine, mais avec n'importe qui. Cela a vraiment captivé l'imagination des gens. **Il y a eu un réel changement dans la perception de cette technologie, non seulement parmi les gens ordinaires, mais aussi parmi de nombreux chercheurs dans ce domaine technologique. La popularité de ChatGPT a inauguré une nouvelle ère de ce type de technologie et une nouvelle course vers une intelligence artificielle de plus en plus impressionnante.
Technologie Tencent :
Vous pensez donc que le facteur clé technique du succès de ChatGPT est principalement RLHF (Learning with Human Feedback) ?
Cade Metz:
Oui, si vous utilisez une version antérieure, comme **GPT-3, cela peut parfois être impressionnant lorsque vous le demandez d'une certaine manière. Par exemple, si vous lui demandez de prononcer un discours dans le style de Donald Trump, il y a environ une chance sur deux qu'il produise un discours impressionnant. C'est un peu comme lancer les dés, parfois cela vous donnera ce que vous voulez, et parfois non. Dans ce cas, le système n'attire pas l'attention des gens ordinaires. **Mais ils ont pris ce système de base, mais chaque fois que le système produisait une réponse, les annotateurs la notaient. Il peut prendre des notes d'humains, voir comment ils évaluent ces réponses et l'utiliser pour recycler le système. L'annotateur indique à GPT quel type de réponse est bon et quel type de réponse est mauvais.
Finalement, OpenAI a obtenu un chatbot qui peut converser comme un humain presque à chaque fois. Ils mettent ce système devant les gens ordinaires, et cette discussion animée est la façon dont les gens réagissent à son émergence. Sur Twitter, n'importe qui peut l'utiliser, et les gens y réagissent vraiment.
AGI est encore loin, mais son arrivée remplacera toute valeur de travail humain
Technologie Tencent :
Il y a quelque temps, Musk a déclaré dans une interview qu'AGI sera réalisé d'ici 5 ou 6 ans. Pensez-vous qu'AGI sera un objectif facile ?
Cade Metz:
C'est vraiment difficile à dire, et il y a beaucoup de controverse à ce sujet. **Nous savons que les systèmes d'IA d'aujourd'hui sont loin d'atteindre ce niveau. Ils peuvent produire un langage de façon impressionnante, mais ils ne peuvent pas raisonner comme les humains, et ils n'ont pas non plus le bon sens des humains. **
Beaucoup de gens croient que nous avons besoin de nouvelles façons de leur donner cette capacité, et nos méthodes actuelles ne peuvent pas leur faire atteindre l'AGI. Ils ont besoin d'en savoir plus sur le monde physique que le simple langage. Il y a beaucoup de débats et de désaccords à ce sujet, mais ce n'est certainement pas quelque chose auquel nous devons penser aujourd'hui, et nous ne sommes pas encore assez proches d'AGI.
Technologie Tencent :
Selon vous, que manque-t-il au système actuel par rapport à une véritable intelligence artificielle générale ?
Cade Metz:
Lorsque ces systèmes sont utilisés, les failles de l'IA actuelle peuvent être facilement trouvées. Si vous essayez de les faire raisonner comme les humains, parfois ils peuvent imiter, mais la plupart du temps ils ne le peuvent pas.
C'est la vraie difficulté. ** La plus grande différence entre eux et AGI est qu'ils génèrent un texte plausible et peuvent réellement raisonner. **
**Ces systèmes sont très bons pour traiter des choses qui se sont passées dans le passé, c'est-à-dire quelque chose qui est documenté sur Internet. Mais ils ne parlent pas de l'avenir et spéculent sur ce qui pourrait arriver. ** Vous et moi pouvons avoir cette conversation où nous parlons de l'avenir et pensons à ce qui pourrait arriver. Ces systèmes ne sont pas bons pour cela. Ils sont bons pour imiter ce qu'ils ont vu auparavant. Ils sont donc très bons pour passer des tests standardisés. Ils réussissent si bien à des tests comme le droit, les sciences et les mathématiques au secondaire qu'ils font l'objet de beaucoup de battage médiatique.
** Mais d'autres études ont montré que si vous ne leur donnez que des questions complètement nouvelles, des questions écrites après leur formation, ils ne fonctionnent pas aussi bien. Ainsi, alors qu'ils répondent à toutes ces questions standardisées, ils ne raisonnent pas nécessairement. ** Ce qu'ils font, c'est répéter ce qui a été vu auparavant.
Technologie Tencent :
En ce qui concerne la menace de l'IA, comme l'opacité, vous avez enregistré un passage intéressant de Hinton dans le livre "Les gens doivent vivre avec le problème de la 'boîte noire', même si vous ne pouvez pas voir le fonctionnement interne, ils feront ce qu'ils sont censés à faire", mais récemment, Hinton a quitté Google, et vous avez également fait une interview avec lui, dans laquelle il a exprimé de nombreuses inquiétudes concernant l'IA. Comment comprenez-vous le changement d'attitude de Hinton envers l'IA ?
Cade Metz:
Sa pensée a définitivement changé. Quand j'ai publié le livre, il pensait que les risques de l'IA étaient assez éloignés. Mais au cours de la dernière année, il a changé d'avis lorsqu'il a vu la technologie ChatGPT que nous voyons maintenant.
Il s'est rendu compte que, à certains égards, les systèmes sont plus puissants que les cerveaux humains. ** Vous et moi ne pouvons pas comprendre l'intégralité d'Internet, il est hors de portée humaine. Nous ne pouvons pas apprendre de tant de données, mais le système le peut. ** Il craint qu'ils ne soient utilisés pour diffuser de la désinformation, dans ce cas un texte qui n'est pas réel, une image qui n'est pas réelle, une vidéo qui n'est pas réelle.
** En plus de cela, il s'inquiète également du fait que le système commence à prendre les emplois des gens ; également préoccupé par certains des problèmes plus importants, tels que les systèmes automatisés utilisés sur le champ de bataille, utilisés comme armes ; il craint même que dans plus longtemps, nous perdrons le contrôle de l'IA. **
Technologie Tencent :
Le collègue de longue date de Hinton, Yann Lecun, et d'autres scientifiques de l'IA ont beaucoup parlé ces derniers temps de l'exagération par les médias des capacités et des menaces de l'IA. Pensez-vous qu'il a raison? De quelle manière les médias pourraient-ils compliquer ces questions plus qu'ils ne le sont réellement ?
Cade Metz:
** Je pense que les médias exagèrent. Lorsque Chat GPT a été publié pour la première fois, les gens n'en voyaient pas les défauts et il leur a fallu beaucoup de temps avant de se rendre compte qu'il générait de la désinformation pour induire les gens en erreur. Beaucoup de gens, y compris les journalistes, ont du mal à comprendre ce qui se passe. continuent d'induire les gens en erreur à mesure qu'ils se propagent. ** Dans ce cas, un sur-hyping peut facilement se produire.
Bien sûr, parfois l'exagération délibérée vient de malentendus, mais certaines personnes exagèrent exprès et d'autres inconsciemment. Mais je pense que c'est surtout parce que les gens ne comprennent pas complètement ce qu'ils voient.
Technologie Tencent :
Selon vous, quelle est la signification historique du boom actuel de l'IA ? Est-ce le début d'une nouvelle révolution industrielle ?
Cade Metz:
C'est possible. Je pense que nous continuerons d'apporter des améliorations à ces systèmes. **Ils pourront gérer non seulement du texte, mais aussi des images. Nous avons vu la dernière version de la technologie construite par OpenAI prendre une image et décrire ce qu'elle contient, en répondant aux questions à ce sujet. Ce n'est pas encore public, mais cela fait partie de ce qu'ils ont construit. Il promet que de plus en plus de compétences seront similaires à celles des humains et continueront à changer les emplois des gens.
Je pense donc que ce que nous avons vu au cours des six derniers mois suggère que nous allons avoir un très grand changement dans les prochaines années. Cette transformation semble être aussi profonde que la première révolution industrielle. Nous en sommes encore aux premiers stades. Ces choses vont souvent plus lentement que les gens ne le pensent. Mais je pense que nous allons dans cette direction.
Technologie Tencent :
Comment pensez-vous que l'IA va remodeler cette société ? Où est la valeur des êtres humains lorsque l'IAG est réalisée ?
Cade Metz:
Je pense que ce serait une situation difficile pour les humains d'avoir un système capable de faire tout ce que le cerveau humain peut faire, ce qu'on appelle l'IAG.
** Si une machine pouvait faire tout ce qu'un humain peut faire, alors la valeur d'un travailleur tomberait à zéro car il serait moins cher d'utiliser une machine que d'embaucher un humain. À mon avis, ce n'est pas une bonne situation pour les êtres humains. ** Mais l'IA n'en est pas encore là.
Prenons l'exemple des programmeurs informatiques. Aujourd'hui, le système peut très bien générer des programmes informatiques et des codes informatiques, mais le code peut encore présenter des défauts. Il a encore besoin d'un programmeur humain expérimenté pour prendre en charge le code qu'il a généré, l'éditer et l'intégrer. un programme plus vaste, en créant éventuellement une application. Au fur et à mesure que ces systèmes s'amélioreront avec le temps, ils remplaceront de plus en plus ce que font les humains. Le problème à ce stade est que l'IA va bientôt commencer à remplacer les programmeurs juniors moins expérimentés, les personnes qui sont au bas de l'industrie des programmeurs, qui font la même chose que l'IA, écrivent du code de base et le confient à des développeurs plus expérimentés. programmeurs personnes à intégrer.
** Alors que l'IA continue de s'améliorer, les machines changeront certainement de plus en plus les choses, mais nous n'en sommes pas au point où l'IA remplacera soudainement un grand nombre d'emplois. **
Une autre préoccupation que j'ai est que ces systèmes peuvent générer du texte et des images réalistes. Ils commencent même à générer de la vidéo à la volée, nous ne pourrons pas distinguer ce qui est réel de ce qui n'est pas sur Internet, et nous devrons absolument changer notre état d'esprit lorsque nous naviguons sur presque tout sur Internet. Vous devez demander aux masses si elles ont le pouvoir de changer leur façon de penser en général. **