Huang Renxun, vêtu d'une veste en cuir, se tenait sur une planche de surf bleue et a posé quelques poses de surf.
Il ne s'agit pas de VidCon, le "Internet Red Festival" aux États-Unis, mais d'une scène lors de la conférence des développeurs de Snowflake, une plateforme de données bien connue aux États-Unis.
Le 26 juin, heure locale, le fondateur de Nvidia, Huang Renxun, et le PDG de Snowflake, Frank Slootman, ont discuté de "comment apporter l'IA générative aux utilisateurs de l'entreprise". L'hôte est l'ancien Greylock GP, qui est maintenant le fondateur de l'agence d'investissement Conviction.
Lors de la réunion, comparé au manager professionnel mature et prudent de "l'hôte" Frank, le "Parrain en cuir" était étonnant comme toujours, non seulement en disant que la coopération entre les deux parties est "Nous sommes des amoureux, pas des combattants" ( Nous sommes des amoureux, pas des combattants), c'est d'autant plus plaisant que le modèle formé fourni pour Snowflake équivaut à "remise de 10%" aux clients.
Le même jour, Nvidia et Snowflake ont publié conjointement un autre grand mouvement : la société de puces numéro 1 au monde a coopéré avec la plate-forme de données cloud la plus populaire pour lancer une coopération conjointe. **Les utilisateurs de Snowflake peuvent utiliser directement le modèle d'IA pré-formé de Nvidia pour analyser les données de leur propre entreprise sur la plate-forme cloud sans quitter la plate-forme, et développer des "applications d'IA" pour leurs propres données. **
"Les changements majeurs actuels proviennent des données + algorithme d'IA + moteur de calcul. Grâce à notre coopération, nous pouvons réunir ces trois points", a déclaré Huang Renxun.
Points de discussion:
Grand modèle de langage + base de données spécifique à l'entreprise = application AI pour des problèmes spécifiques ;
Auparavant, c'était les données qui allaient au travail, mais maintenant c'est le travail qui va aux données, permettant à l'informatique d'aller là où se trouvent les données, en évitant les îlots de données ;
Le modèle de pré-formation fourni par Nvidia a été formé dans l'usine Nvidia AI à un coût de dizaines de millions de dollars, donc appeler le moteur de calcul sur Snowflake a déjà "réduit 0,5%" ;
À l'ère du logiciel 3.0, basé sur des modèles et des bases de données, les entreprises peuvent créer leurs propres applications exclusives en quelques jours ;
À l'avenir, les entreprises seront en mesure de produire de nombreux agents intelligents et de les faire fonctionner ;
Pour les entreprises, le vrai problème est de savoir comment mobiliser des données mixtes structurées et non structurées. Cela peut conduire à une mise à jour du modèle économique.
Ce qui suit est le contenu principal du dialogue entre les deux parties, édité par Geek Park :
01 Parlez de coopération : apportez le meilleur moteur de calcul aux données les plus précieuses
Franc:
NVIDIA joue actuellement un rôle important dans l'histoire. Pour nous, pouvoir apporter des données et des relations aux grandes entreprises. Nous devons permettre à cette technologie et à l'ensemble de la pile de services de l'utiliser efficacement. Je ne veux pas le décrire comme "un match fait au paradis", mais pour un profane, c'est une bonne occasion d'entrer dans cette porte d'opportunité.
Huang Renxun :
Nous sommes amants, pas rivaux. **Nous voulons apporter le meilleur moteur de calcul au monde aux données les plus précieuses au monde. Avec le recul, je travaille depuis longtemps, mais je ne suis pas si vieux. Frank, tu es plus vieux (rires). **
Récemment, les données sont énormes et les données sont précieuses pour des raisons bien connues. Il doit être sûr. Le déplacement des données est difficile et la gravité des données est réelle. Il nous a donc été beaucoup plus facile d'apporter notre moteur de calcul à Snowflake. Notre partenariat vise à accélérer Snowflake, mais il s'agit également d'apporter l'IA à Snowflake. **
**Le cœur est la combinaison de données + algorithme d'intelligence artificielle + moteur de calcul, notre partenariat combine les trois choses ensemble. **Des données incroyablement précieuses, une intelligence artificielle incroyablement performante, un moteur de calcul incroyablement performant.
Ce que nous pouvons faire ensemble, c'est aider les clients à prendre leurs données propriétaires et à les utiliser pour écrire des applications d'IA. Vous savez, la grande percée ici est que, pour la première fois, vous pouvez développer un grand modèle de langage. Vous le placez devant vos données, puis vous parlez à vos données comme vous parlez à un humain, et ces données sont augmentées dans un grand modèle de langage.
La combinaison d'un grand modèle de langage et d'une base de connaissances équivaut à une application d'IA. ** Celui-ci est simple, un grand modèle de langage transforme n'importe quelle base de données en une application. **
Pensez à toutes les applications incroyables que les gens ont écrites. À la base, il y a toujours eu des données précieuses. Maintenant, vous avez un moteur de requête général à l'avant, c'est super intelligent, vous pouvez le faire vous répondre, mais vous pouvez aussi le connecter à un proxy, ce qui est la percée apportée par Langchain et les bases de données vectorielles. Des choses révolutionnaires qui superposent les données et les grands modèles de langage se produisent partout, et tout le monde veut le faire. Et Frank et moi vous aiderons à le faire.
02 Software 3.0 : Créez une application d'IA pour résoudre un problème spécifique
héberger:
En regardant ce changement en tant qu'investisseur, le logiciel 1.0 est un code très déterministe écrit par des ingénieurs sur le plan fonctionnel ; le logiciel 2.0 optimise un réseau de neurones avec des données de formation étiquetées soigneusement collectées.
Vous aidez les gens à tirer parti de Software 3.0, un ensemble de modèles sous-jacents qui sont incroyablement capables par eux-mêmes, mais ils doivent toujours travailler avec des données d'entreprise et des ensembles de données personnalisés. Il est beaucoup moins cher de simplement développer ces applications contre eux.
**Une question pour ceux qui s'intéressent de près à ce domaine, le modèle sous-jacent est très général, peut-il tout faire ? Pourquoi avons-nous besoin de modèles personnalisés et de données d'entreprise ? **
Franc:
Nous avons donc des modèles très généralisés qui peuvent faire de la poésie, faire des résumés de The Great Gatsby, faire des problèmes de mathématiques.
Mais dans les affaires, nous n'en avons pas besoin. Ce dont nous avons besoin, c'est d'un copilote pour obtenir des informations extraordinaires sur un ensemble de données très restreint mais très complexe.
Nous devons comprendre les modèles commerciaux et la dynamique des entreprises. Cela n'a pas besoin d'être aussi coûteux en calcul, car un modèle n'a pas besoin d'être formé sur un million de choses, mais n'a besoin de connaître que très peu de sujets, mais profonds.
Par exemple. Je suis membre du conseil d'administration d'Instacart et l'un de nos gros clients, comme DoorDash et toutes les autres entreprises qui ont un problème, c'est qu'ils continuent d'augmenter leurs dépenses de marketing, un client entre, un client passe une commande et le client ne fait pas ne revient pas ou revient dans 90 jours, ce qui est très instable. Ils appellent cela le taux de désabonnement.
Il s'agit de l'analyse de problèmes complexes car il peut y avoir de nombreuses raisons pour lesquelles un client ne revient pas. Les gens veulent trouver les réponses à ces questions, et c'est dans les données, pas dans l'Internet général, et cela peut être trouvé grâce à l'intelligence artificielle. C'est un exemple où une grande valeur peut être générée.
héberger:
Comment ces modèles doivent-ils interagir avec les données d'entreprise ?
Huang Renxun :
Notre stratégie et nos produits sont des modèles pré-formés de pointe de toutes tailles, et parfois vous devez créer un très grand modèle pré-formé afin qu'il puisse être produit pour enseigner des modèles plus petits.
Et les modèles plus petits peuvent fonctionner sur presque tous les appareils, peut-être avec une latence très faible. Cependant, sa capacité de généralisation n'est pas élevée et la capacité de tir zéro (apprentissage à zéro échantillon) peut être plus limitée.
Vous pouvez donc avoir plusieurs modèles de types et de tailles différents, mais dans chaque cas, vous devez faire un réglage fin supervisé, vous devez faire un RLHF (apprentissage par renforcement avec rétroaction humaine) pour qu'il reste avec vos objectifs et vos principes. pour l'augmenter avec quelque chose comme une base de données vectorielle, afin que tout soit réuni sur une seule plate-forme. Nous avons les compétences, les connaissances et la plate-forme sous-jacente pour les aider à créer leur propre IA, puis à la connecter aux données de Snowflake.
Maintenant, ** ne devrait pas être l'objectif de chaque client d'entreprise de réfléchir à la manière de créer un grand modèle de langage, leur objectif devrait être, comment créer une application d'IA pour résoudre un problème spécifique ? **Cette application peut prendre 17 questions à faire pour finalement trouver la bonne réponse. Et puis vous pourriez dire, je veux écrire un programme, ça pourrait être un programme SQL, ça pourrait être un programme Python, pour que je puisse le faire automatiquement à l'avenir.
**Il vous reste à guider cette intelligence artificielle pour qu'elle puisse enfin vous donner la bonne réponse. **Mais après cela, vous pouvez créer une application qui peut fonctionner 24 heures sur 24 et 7 jours sur 7 en tant qu'agent (Agent), en recherchant des situations pertinentes et en vous faisant rapport à l'avance. Notre travail consiste donc à aider les clients à construire ces applications d'intelligence artificielle, spécifiques et personnalisées avec des garde-corps de sécurité.
En fin de compte, nous allons tous être des fabricants intelligents à l'avenir, employant des employés bien sûr, mais nous allons créer un groupe d'agents qui peuvent être créés avec quelque chose comme Lang Chain, des modèles connectés, des bases de connaissances, d'autres API, déployé dans le cloud et connectez-le à toutes les données Snowflake.
Vous pouvez exploiter ces IA à grande échelle et les améliorer en continu. Donc, chacun de nous fabriquera de l'IA, dirigera une usine d'IA. Nous placerons l'infrastructure sur la base de données de Snowflake, où les clients pourront utiliser leurs données, former et développer leurs modèles, exploiter leur IA, afin que Snowflake soit votre référentiel de données et votre banque.
Avec leur propre mine d'or de données, tous exécuteront des usines d'IA sur Snowflake. C'est le but.
03 Bien que "Nuclear Bomb" soit cher, l'utilisation directe du modèle équivaut à "10 % de réduction"
Huang Renxun :
Nous avons établi cinq usines d'IA dans NVIDIA, dont quatre sont les 500 meilleurs supercalculateurs du monde, et l'autre est en ligne. Nous utilisons ces superordinateurs pour faire des modèles de pré-formation. Ainsi, lorsque vous utilisez notre service de base Nemo AI dans Snowflake, vous obtenez un modèle pré-formé à la pointe de la technologie qui a déjà coûté des dizaines de millions de dollars, sans parler de la R&D. Il est donc préformé.
Ensuite, il y a tout un tas d'autres modèles qui sont utilisés pour le réglage fin, RLHF. Tous ces modèles sont beaucoup plus coûteux à former.
Alors maintenant, vous avez adapté le modèle pré-formé à vos fonctionnalités, à vos garde-corps, optimisé pour le type de compétences ou de fonctionnalités que vous souhaitez qu'il ait, augmenté de vos données. Il s'agirait donc d'une approche plus rentable.
Plus important encore, en quelques jours, pas des mois. Vous pouvez développer des applications d'IA qui se connectent à vos données chez Snowflake.
Vous devriez être en mesure de créer rapidement des applications d'IA à l'avenir.
Parce que nous le voyons se produire en temps réel maintenant. Il existe déjà des applications qui vous permettent de discuter avec des données, telles que ChatPDF.
héberger:
**Oui, à l'ère du logiciel 3.0, 95% des coûts de formation sont déjà couverts par d'autres. **
Huang Renxun :
(rires) Ouais, 95 % de réduction, je ne peux pas imaginer une meilleure offre.
héberger:
C'est le véritable facteur de motivation, et en tant qu'investisseur, je vois de très jeunes entreprises dans les domaines de l'analyse, de l'automatisation, du droit, etc., dont les applications ont atteint une réelle valeur commerciale en six mois ou moins. Une partie de cela est qu'ils commencent avec ces modèles pré-formés, ce qui est une énorme opportunité pour les entreprises.
Huang Renxun :
Chaque entreprise aura des centaines, voire 1 000 applications d'IA, simplement connectées à toutes sortes de données dans votre entreprise. Donc, nous devons tous être bons pour construire ces choses.
04 Auparavant, c'était les données qui recherchaient les entreprises, maintenant ce sont les entreprises qui recherchent les données
héberger:
L'une des questions que j'entends sans cesse de la part des grandes entreprises est que nous devons investir dans l'IA, avons-nous besoin d'une nouvelle pile ? Comment devrions-nous penser à nous connecter avec notre pile de données existante ?
Franc:
Je pense que ça évolue. Les modèles deviennent progressivement plus simples, plus sûrs et mieux gérés. Nous n'avons donc pas une vision très claire du fait que c'est l'architecture de référence que tout le monde utilisera ? Certains auront des paramètres pour certains services centraux. Microsoft a une version de l'IA dans Azure, et nombre de ses clients interagissent avec Azure.
** Mais nous ne savons pas quel modèle dominera, nous pensons que le marché se triera sur des choses comme la facilité d'utilisation et le coût. **Ce n'est que le début, pas l'état final.
Le secteur de la sécurité sera également impliqué et la question du droit d'auteur sera réformée. Maintenant que nous sommes fascinés par la technologie, les vrais problèmes seront traités en même temps.
Huang Renxun :
Nous vivons actuellement le premier changement fondamental de plate-forme informatique en 60 ans. Si vous venez de lire le communiqué de presse d'IBM 360, vous avez entendu parler des unités centrales de traitement, des sous-systèmes d'E/S, des contrôleurs DMA, de la mémoire virtuelle, du multitâche, de l'informatique évolutive et rétrocompatible, et de ces concepts, en fait, c'est tout en 1964, et ces concepts nous ont aidés à faire évoluer les processeurs au cours des six dernières décennies.
Cette expansion dure depuis 60 ans, mais elle a pris fin. Maintenant tout le monde comprend qu'on ne peut plus faire évoluer le CPU, et tout d'un coup, le logiciel change. La façon dont le logiciel est écrit, dont il fonctionne et ce qu'il peut faire est très différent de ce qu'il était auparavant. Nous appelons le logiciel logiciel précédent 2.0. C'est maintenant le logiciel 3.0.
La vérité est que ** l'informatique a fondamentalement changé. Nous voyons deux dynamiques fondamentales se produire en même temps, c'est pourquoi les choses tremblent violemment en ce moment. **
D'une part, vous ne pouvez plus continuer à acheter des processeurs. Si vous achetez un autre groupe de processeurs l'année prochaine, votre débit de calcul n'augmentera pas. Parce que la fin de la mise à l'échelle du processeur est arrivée. Vous paierez beaucoup plus et vous n'obtiendrez plus de débit. Donc, ** la réponse est que vous devez opter pour l'accélération (Nvidia Accelerated Computing Platform) **. Le lauréat du prix Turing a parlé d'accélération, Nvidia a été le pionnier de l'accélération et l'informatique accélérée est maintenant là.
D'autre part, l'ensemble du système d'exploitation de l'ordinateur a subi de profondes modifications. Nous avons une couche appelée NVIDIA AI Enterprise, et le déploiement du traitement, de la formation et du raisonnement des données a maintenant été intégré ou est en cours d'intégration dans Snowflake. Par conséquent, du début du traitement des données au déploiement final du grand modèle, tout derrière Le moteur de calcul a été accéléré. Nous allons alimenter Snowflake, où vous pourrez faire plus, et vous pourrez faire plus avec moins.
Si vous allez dans n'importe quel cloud, vous verrez que les GPU NVIDIA sont les entités informatiques les plus chères. Mais si vous y mettez une charge de travail, vous verrez que nous le faisons très vite. C'est comme si vous bénéficiiez d'une remise de 95 %. Nous sommes l'entité informatique la plus chère, mais nous sommes le TCO le plus rentable.
Donc, si votre travail consiste à exécuter une charge de travail, peut-être à former un grand modèle de langage, peut-être à affiner un grand modèle de langage, si vous voulez le faire, accélérez-le définitivement.
** Accélérez chaque charge de travail, c'est le remodelage de l'ensemble de la pile. ** Les processeurs changent à cause de cela, les systèmes d'exploitation changent à cause de cela, les grands modèles de langage sont différents, la façon dont vous écrivez des applications d'IA est différente.
À l'avenir, nous rédigerons tous des applications. Nous devons tous connecter notre et notre contexte, avec quelques commandes Python, à un grand modèle de langage et notre propre base de données ou celle de l'entreprise, et développer nos propres applications. Tout le monde sera un développeur d'applications.
héberger:
Mais la même chose est, ce sont toujours vos données. Encore faut-il le peaufiner.
Franc:
Il s'avère que nous pensons tous que plus vite coûte toujours plus cher. En fait, tout d'un coup, plus vite coûte moins cher, ce qui est un peu contre-intuitif. Alors parfois, les gens veulent réduire l'offre, pensant que c'est moins cher, et cela s'avère plus cher.
Une autre contradiction avec la précédente est que ** était auparavant des données allant au travail (des données allant au travail), mais maintenant, les entreprises recherchent des données (du travail allant aux données). ** Au cours des soixante dernières années, voire plus, nous avons laissé les données aller aux entreprises, ce qui a entraîné des silos d'informations à grande échelle. Et si vous voulez avoir une usine à IA, il sera très difficile d'utiliser la méthode précédente. Nous devons amener l'informatique là où se trouvent les données. Je pense que ce que nous faisons maintenant est la bonne voie.
05 Comment les entreprises peuvent obtenir la valeur la plus rapide et la plus élevée
Franc:
Être le plus rapide et obtenir le plus de valeur sont en fait deux problèmes très différents.
Si c'est le plus rapide, ** vous verrez bientôt que la méthode de recherche améliorée par l'IA est en ligne partout dans la base de données, car c'est la fonction la plus facile à ajouter. ** C'est incroyable que même une personne analphabète puisse obtenir des informations précieuses à partir de données maintenant, la démocratisation ultime de l'interaction. La fonction de recherche est grandement améliorée, il vous suffit de poser une question à l'interface principale, et ils peuvent apporter ces questions aux données pour leur propre requête. C'est le fruit à portée de main, le plus facile, nous pensons que c'est la première étape.
Ensuite, nous commençons à vraiment nous concentrer sur le vrai problème, à savoir les données d'entreprise propriétaires, mixtes structurées, non structurées, tout cela, comment mobilisons-nous ces données ? **
J'ai déjà mentionné les problèmes de taux de désabonnement et de gestion de la chaîne d'approvisionnement auxquels sont confrontées les entreprises C. Lorsque la chaîne d'approvisionnement est particulièrement complexe, si un événement se produit, comment réajuster une chaîne d'approvisionnement pour qu'elle fonctionne ? Qu'est-ce que je devrais faire maintenant Une chaîne d'approvisionnement est composée de nombreuses entités différentes, et non d'une seule entreprise. Historiquement, c'est un problème qui n'a jamais été résolu informatiquement. La gestion de la chaîne d'approvisionnement n'a jamais été une plate-forme, c'est plutôt un e-mail, un tableur, à quelques exceptions mineures près. C'est donc extrêmement excitant.
Ou nous pouvons recalculer l'investissement dans les grands centres d'appels et optimiser les prix de détail.Comme je l'ai dit, c'est le véritable potentiel de la redéfinition du modèle économique que les PDG des grandes entreprises attendaient avec impatience. **
06 Suggestions pour les entreprises :
Huang Renxun :
** Je me demanderais, premièrement, quelle est ma base de données la plus précieuse ? La deuxième chose, je me demanderais, si j'avais une personne super, super, super intelligente, et que toutes les données de l'entreprise passaient par cette super intelligence, que demanderais-je à cette personne ? **
Ceci est différent selon l'entreprise de chacun. La base de données clients de l'entreprise de Frank est très importante car il a de nombreux clients. Et ma propre entreprise, je n'ai pas beaucoup de clients, mais pour ma société, ma chaîne d'approvisionnement est super compliquée, et ma base de données de conception est super compliquée.
**Pour NVIDIA, nous ne pouvons pas créer de GPU sans intelligence artificielle. Parce qu'aucun de nos ingénieurs ne peut faire beaucoup d'itérations et d'explorations pour nous comme l'IA. **Ainsi, lorsque nous avons proposé l'intelligence artificielle, la première application était dans notre propre entreprise. De plus, il est impossible que Hopper (produit de supercalcul NVIDIA) soit conçu sans intelligence artificielle.
Nous appliquerons également notre propre IA à nos propres données. Notre base de données de bogues est un cas d'utilisation parfait pour cela. Si vous regardez la quantité de code chez NVIDIA AI, nous avons des centaines de packages logiciels qui, combinés, permettent à une application de fonctionner. Certaines des choses sur lesquelles nous travaillons actuellement sont de savoir comment utiliser l'IA pour déterminer comment corriger la sécurité, comment la maintenir au mieux, afin que nous n'ayons pas à interférer avec l'ensemble de la couche d'application supérieure tout en étant rétrocompatible .
C'est ce que l'IA peut vous apporter comme réponses. Nous pouvons utiliser un grand modèle de langage pour répondre à ces questions, trouver la réponse pour nous ou nous révéler quelque chose, puis les ingénieurs peuvent le réparer. Ou l'IA peut recommander une méthode de réparation, et les ingénieurs humains peuvent confirmer s'il s'agit d'une bonne méthode de réparation.
Je ne pense pas que tout le monde réalise à quel point l'intelligence, la perspicacité et l'influence se cachent dans les données qu'ils traitent chaque jour. ** C'est pourquoi nous devons tous nous impliquer et aider à créer cet avenir.
Désormais, pour la première fois, les données que vous stockez dans l'entrepôt de données peuvent être connectées à l'usine d'intelligence artificielle. ** Vous serez en mesure de produire de l'intelligence de l'information, la denrée la plus précieuse au monde. Vous êtes assis sur une mine d'or de ressources naturelles - les données exclusives de votre entreprise, et nous les connectons maintenant à un moteur d'intelligence artificielle, et l'autre extrémité génère des informations directement chaque jour, avec une quantité incroyable d'intelligence versant de l'autre côté, même pendant que vous dormez, il continue de sortir. C'est la meilleure chose qui soit.
Voir l'original
Le contenu est fourni à titre de référence uniquement, il ne s'agit pas d'une sollicitation ou d'une offre. Aucun conseil en investissement, fiscalité ou juridique n'est fourni. Consultez l'Avertissement pour plus de détails sur les risques.
Huang Renxun : la puissance de calcul de l'IA de Nvidia a été vendue avec une remise de 10 %
Auteur | Ling Zijun, Li Yuan
Éditeur | Jing Yu
Huang Renxun, vêtu d'une veste en cuir, se tenait sur une planche de surf bleue et a posé quelques poses de surf.
Il ne s'agit pas de VidCon, le "Internet Red Festival" aux États-Unis, mais d'une scène lors de la conférence des développeurs de Snowflake, une plateforme de données bien connue aux États-Unis.
Le 26 juin, heure locale, le fondateur de Nvidia, Huang Renxun, et le PDG de Snowflake, Frank Slootman, ont discuté de "comment apporter l'IA générative aux utilisateurs de l'entreprise". L'hôte est l'ancien Greylock GP, qui est maintenant le fondateur de l'agence d'investissement Conviction.
Lors de la réunion, comparé au manager professionnel mature et prudent de "l'hôte" Frank, le "Parrain en cuir" était étonnant comme toujours, non seulement en disant que la coopération entre les deux parties est "Nous sommes des amoureux, pas des combattants" ( Nous sommes des amoureux, pas des combattants), c'est d'autant plus plaisant que le modèle formé fourni pour Snowflake équivaut à "remise de 10%" aux clients.
Le même jour, Nvidia et Snowflake ont publié conjointement un autre grand mouvement : la société de puces numéro 1 au monde a coopéré avec la plate-forme de données cloud la plus populaire pour lancer une coopération conjointe. **Les utilisateurs de Snowflake peuvent utiliser directement le modèle d'IA pré-formé de Nvidia pour analyser les données de leur propre entreprise sur la plate-forme cloud sans quitter la plate-forme, et développer des "applications d'IA" pour leurs propres données. **
"Les changements majeurs actuels proviennent des données + algorithme d'IA + moteur de calcul. Grâce à notre coopération, nous pouvons réunir ces trois points", a déclaré Huang Renxun.
Points de discussion:
Ce qui suit est le contenu principal du dialogue entre les deux parties, édité par Geek Park :
01 Parlez de coopération : apportez le meilleur moteur de calcul aux données les plus précieuses
Franc:
NVIDIA joue actuellement un rôle important dans l'histoire. Pour nous, pouvoir apporter des données et des relations aux grandes entreprises. Nous devons permettre à cette technologie et à l'ensemble de la pile de services de l'utiliser efficacement. Je ne veux pas le décrire comme "un match fait au paradis", mais pour un profane, c'est une bonne occasion d'entrer dans cette porte d'opportunité.
Huang Renxun :
Nous sommes amants, pas rivaux. **Nous voulons apporter le meilleur moteur de calcul au monde aux données les plus précieuses au monde. Avec le recul, je travaille depuis longtemps, mais je ne suis pas si vieux. Frank, tu es plus vieux (rires). **
Récemment, les données sont énormes et les données sont précieuses pour des raisons bien connues. Il doit être sûr. Le déplacement des données est difficile et la gravité des données est réelle. Il nous a donc été beaucoup plus facile d'apporter notre moteur de calcul à Snowflake. Notre partenariat vise à accélérer Snowflake, mais il s'agit également d'apporter l'IA à Snowflake. **
**Le cœur est la combinaison de données + algorithme d'intelligence artificielle + moteur de calcul, notre partenariat combine les trois choses ensemble. **Des données incroyablement précieuses, une intelligence artificielle incroyablement performante, un moteur de calcul incroyablement performant.
Ce que nous pouvons faire ensemble, c'est aider les clients à prendre leurs données propriétaires et à les utiliser pour écrire des applications d'IA. Vous savez, la grande percée ici est que, pour la première fois, vous pouvez développer un grand modèle de langage. Vous le placez devant vos données, puis vous parlez à vos données comme vous parlez à un humain, et ces données sont augmentées dans un grand modèle de langage.
La combinaison d'un grand modèle de langage et d'une base de connaissances équivaut à une application d'IA. ** Celui-ci est simple, un grand modèle de langage transforme n'importe quelle base de données en une application. **
Pensez à toutes les applications incroyables que les gens ont écrites. À la base, il y a toujours eu des données précieuses. Maintenant, vous avez un moteur de requête général à l'avant, c'est super intelligent, vous pouvez le faire vous répondre, mais vous pouvez aussi le connecter à un proxy, ce qui est la percée apportée par Langchain et les bases de données vectorielles. Des choses révolutionnaires qui superposent les données et les grands modèles de langage se produisent partout, et tout le monde veut le faire. Et Frank et moi vous aiderons à le faire.
02 Software 3.0 : Créez une application d'IA pour résoudre un problème spécifique
héberger:
En regardant ce changement en tant qu'investisseur, le logiciel 1.0 est un code très déterministe écrit par des ingénieurs sur le plan fonctionnel ; le logiciel 2.0 optimise un réseau de neurones avec des données de formation étiquetées soigneusement collectées.
Vous aidez les gens à tirer parti de Software 3.0, un ensemble de modèles sous-jacents qui sont incroyablement capables par eux-mêmes, mais ils doivent toujours travailler avec des données d'entreprise et des ensembles de données personnalisés. Il est beaucoup moins cher de simplement développer ces applications contre eux.
**Une question pour ceux qui s'intéressent de près à ce domaine, le modèle sous-jacent est très général, peut-il tout faire ? Pourquoi avons-nous besoin de modèles personnalisés et de données d'entreprise ? **
Franc:
Nous avons donc des modèles très généralisés qui peuvent faire de la poésie, faire des résumés de The Great Gatsby, faire des problèmes de mathématiques.
Mais dans les affaires, nous n'en avons pas besoin. Ce dont nous avons besoin, c'est d'un copilote pour obtenir des informations extraordinaires sur un ensemble de données très restreint mais très complexe.
Nous devons comprendre les modèles commerciaux et la dynamique des entreprises. Cela n'a pas besoin d'être aussi coûteux en calcul, car un modèle n'a pas besoin d'être formé sur un million de choses, mais n'a besoin de connaître que très peu de sujets, mais profonds.
Par exemple. Je suis membre du conseil d'administration d'Instacart et l'un de nos gros clients, comme DoorDash et toutes les autres entreprises qui ont un problème, c'est qu'ils continuent d'augmenter leurs dépenses de marketing, un client entre, un client passe une commande et le client ne fait pas ne revient pas ou revient dans 90 jours, ce qui est très instable. Ils appellent cela le taux de désabonnement.
Il s'agit de l'analyse de problèmes complexes car il peut y avoir de nombreuses raisons pour lesquelles un client ne revient pas. Les gens veulent trouver les réponses à ces questions, et c'est dans les données, pas dans l'Internet général, et cela peut être trouvé grâce à l'intelligence artificielle. C'est un exemple où une grande valeur peut être générée.
héberger:
Comment ces modèles doivent-ils interagir avec les données d'entreprise ?
Huang Renxun :
Notre stratégie et nos produits sont des modèles pré-formés de pointe de toutes tailles, et parfois vous devez créer un très grand modèle pré-formé afin qu'il puisse être produit pour enseigner des modèles plus petits.
Et les modèles plus petits peuvent fonctionner sur presque tous les appareils, peut-être avec une latence très faible. Cependant, sa capacité de généralisation n'est pas élevée et la capacité de tir zéro (apprentissage à zéro échantillon) peut être plus limitée.
Vous pouvez donc avoir plusieurs modèles de types et de tailles différents, mais dans chaque cas, vous devez faire un réglage fin supervisé, vous devez faire un RLHF (apprentissage par renforcement avec rétroaction humaine) pour qu'il reste avec vos objectifs et vos principes. pour l'augmenter avec quelque chose comme une base de données vectorielle, afin que tout soit réuni sur une seule plate-forme. Nous avons les compétences, les connaissances et la plate-forme sous-jacente pour les aider à créer leur propre IA, puis à la connecter aux données de Snowflake.
Maintenant, ** ne devrait pas être l'objectif de chaque client d'entreprise de réfléchir à la manière de créer un grand modèle de langage, leur objectif devrait être, comment créer une application d'IA pour résoudre un problème spécifique ? **Cette application peut prendre 17 questions à faire pour finalement trouver la bonne réponse. Et puis vous pourriez dire, je veux écrire un programme, ça pourrait être un programme SQL, ça pourrait être un programme Python, pour que je puisse le faire automatiquement à l'avenir.
**Il vous reste à guider cette intelligence artificielle pour qu'elle puisse enfin vous donner la bonne réponse. **Mais après cela, vous pouvez créer une application qui peut fonctionner 24 heures sur 24 et 7 jours sur 7 en tant qu'agent (Agent), en recherchant des situations pertinentes et en vous faisant rapport à l'avance. Notre travail consiste donc à aider les clients à construire ces applications d'intelligence artificielle, spécifiques et personnalisées avec des garde-corps de sécurité.
En fin de compte, nous allons tous être des fabricants intelligents à l'avenir, employant des employés bien sûr, mais nous allons créer un groupe d'agents qui peuvent être créés avec quelque chose comme Lang Chain, des modèles connectés, des bases de connaissances, d'autres API, déployé dans le cloud et connectez-le à toutes les données Snowflake.
Vous pouvez exploiter ces IA à grande échelle et les améliorer en continu. Donc, chacun de nous fabriquera de l'IA, dirigera une usine d'IA. Nous placerons l'infrastructure sur la base de données de Snowflake, où les clients pourront utiliser leurs données, former et développer leurs modèles, exploiter leur IA, afin que Snowflake soit votre référentiel de données et votre banque.
Avec leur propre mine d'or de données, tous exécuteront des usines d'IA sur Snowflake. C'est le but.
03 Bien que "Nuclear Bomb" soit cher, l'utilisation directe du modèle équivaut à "10 % de réduction"
Huang Renxun :
Nous avons établi cinq usines d'IA dans NVIDIA, dont quatre sont les 500 meilleurs supercalculateurs du monde, et l'autre est en ligne. Nous utilisons ces superordinateurs pour faire des modèles de pré-formation. Ainsi, lorsque vous utilisez notre service de base Nemo AI dans Snowflake, vous obtenez un modèle pré-formé à la pointe de la technologie qui a déjà coûté des dizaines de millions de dollars, sans parler de la R&D. Il est donc préformé.
Ensuite, il y a tout un tas d'autres modèles qui sont utilisés pour le réglage fin, RLHF. Tous ces modèles sont beaucoup plus coûteux à former.
Alors maintenant, vous avez adapté le modèle pré-formé à vos fonctionnalités, à vos garde-corps, optimisé pour le type de compétences ou de fonctionnalités que vous souhaitez qu'il ait, augmenté de vos données. Il s'agirait donc d'une approche plus rentable.
Plus important encore, en quelques jours, pas des mois. Vous pouvez développer des applications d'IA qui se connectent à vos données chez Snowflake.
Vous devriez être en mesure de créer rapidement des applications d'IA à l'avenir.
Parce que nous le voyons se produire en temps réel maintenant. Il existe déjà des applications qui vous permettent de discuter avec des données, telles que ChatPDF.
héberger:
**Oui, à l'ère du logiciel 3.0, 95% des coûts de formation sont déjà couverts par d'autres. **
Huang Renxun :
(rires) Ouais, 95 % de réduction, je ne peux pas imaginer une meilleure offre.
héberger:
C'est le véritable facteur de motivation, et en tant qu'investisseur, je vois de très jeunes entreprises dans les domaines de l'analyse, de l'automatisation, du droit, etc., dont les applications ont atteint une réelle valeur commerciale en six mois ou moins. Une partie de cela est qu'ils commencent avec ces modèles pré-formés, ce qui est une énorme opportunité pour les entreprises.
Huang Renxun :
Chaque entreprise aura des centaines, voire 1 000 applications d'IA, simplement connectées à toutes sortes de données dans votre entreprise. Donc, nous devons tous être bons pour construire ces choses.
04 Auparavant, c'était les données qui recherchaient les entreprises, maintenant ce sont les entreprises qui recherchent les données
héberger:
L'une des questions que j'entends sans cesse de la part des grandes entreprises est que nous devons investir dans l'IA, avons-nous besoin d'une nouvelle pile ? Comment devrions-nous penser à nous connecter avec notre pile de données existante ?
Franc:
Je pense que ça évolue. Les modèles deviennent progressivement plus simples, plus sûrs et mieux gérés. Nous n'avons donc pas une vision très claire du fait que c'est l'architecture de référence que tout le monde utilisera ? Certains auront des paramètres pour certains services centraux. Microsoft a une version de l'IA dans Azure, et nombre de ses clients interagissent avec Azure.
** Mais nous ne savons pas quel modèle dominera, nous pensons que le marché se triera sur des choses comme la facilité d'utilisation et le coût. **Ce n'est que le début, pas l'état final.
Le secteur de la sécurité sera également impliqué et la question du droit d'auteur sera réformée. Maintenant que nous sommes fascinés par la technologie, les vrais problèmes seront traités en même temps.
Huang Renxun :
Nous vivons actuellement le premier changement fondamental de plate-forme informatique en 60 ans. Si vous venez de lire le communiqué de presse d'IBM 360, vous avez entendu parler des unités centrales de traitement, des sous-systèmes d'E/S, des contrôleurs DMA, de la mémoire virtuelle, du multitâche, de l'informatique évolutive et rétrocompatible, et de ces concepts, en fait, c'est tout en 1964, et ces concepts nous ont aidés à faire évoluer les processeurs au cours des six dernières décennies.
Cette expansion dure depuis 60 ans, mais elle a pris fin. Maintenant tout le monde comprend qu'on ne peut plus faire évoluer le CPU, et tout d'un coup, le logiciel change. La façon dont le logiciel est écrit, dont il fonctionne et ce qu'il peut faire est très différent de ce qu'il était auparavant. Nous appelons le logiciel logiciel précédent 2.0. C'est maintenant le logiciel 3.0.
La vérité est que ** l'informatique a fondamentalement changé. Nous voyons deux dynamiques fondamentales se produire en même temps, c'est pourquoi les choses tremblent violemment en ce moment. **
D'une part, vous ne pouvez plus continuer à acheter des processeurs. Si vous achetez un autre groupe de processeurs l'année prochaine, votre débit de calcul n'augmentera pas. Parce que la fin de la mise à l'échelle du processeur est arrivée. Vous paierez beaucoup plus et vous n'obtiendrez plus de débit. Donc, ** la réponse est que vous devez opter pour l'accélération (Nvidia Accelerated Computing Platform) **. Le lauréat du prix Turing a parlé d'accélération, Nvidia a été le pionnier de l'accélération et l'informatique accélérée est maintenant là.
D'autre part, l'ensemble du système d'exploitation de l'ordinateur a subi de profondes modifications. Nous avons une couche appelée NVIDIA AI Enterprise, et le déploiement du traitement, de la formation et du raisonnement des données a maintenant été intégré ou est en cours d'intégration dans Snowflake. Par conséquent, du début du traitement des données au déploiement final du grand modèle, tout derrière Le moteur de calcul a été accéléré. Nous allons alimenter Snowflake, où vous pourrez faire plus, et vous pourrez faire plus avec moins.
Si vous allez dans n'importe quel cloud, vous verrez que les GPU NVIDIA sont les entités informatiques les plus chères. Mais si vous y mettez une charge de travail, vous verrez que nous le faisons très vite. C'est comme si vous bénéficiiez d'une remise de 95 %. Nous sommes l'entité informatique la plus chère, mais nous sommes le TCO le plus rentable.
Donc, si votre travail consiste à exécuter une charge de travail, peut-être à former un grand modèle de langage, peut-être à affiner un grand modèle de langage, si vous voulez le faire, accélérez-le définitivement.
** Accélérez chaque charge de travail, c'est le remodelage de l'ensemble de la pile. ** Les processeurs changent à cause de cela, les systèmes d'exploitation changent à cause de cela, les grands modèles de langage sont différents, la façon dont vous écrivez des applications d'IA est différente.
À l'avenir, nous rédigerons tous des applications. Nous devons tous connecter notre et notre contexte, avec quelques commandes Python, à un grand modèle de langage et notre propre base de données ou celle de l'entreprise, et développer nos propres applications. Tout le monde sera un développeur d'applications.
héberger:
Mais la même chose est, ce sont toujours vos données. Encore faut-il le peaufiner.
Franc:
Il s'avère que nous pensons tous que plus vite coûte toujours plus cher. En fait, tout d'un coup, plus vite coûte moins cher, ce qui est un peu contre-intuitif. Alors parfois, les gens veulent réduire l'offre, pensant que c'est moins cher, et cela s'avère plus cher.
Une autre contradiction avec la précédente est que ** était auparavant des données allant au travail (des données allant au travail), mais maintenant, les entreprises recherchent des données (du travail allant aux données). ** Au cours des soixante dernières années, voire plus, nous avons laissé les données aller aux entreprises, ce qui a entraîné des silos d'informations à grande échelle. Et si vous voulez avoir une usine à IA, il sera très difficile d'utiliser la méthode précédente. Nous devons amener l'informatique là où se trouvent les données. Je pense que ce que nous faisons maintenant est la bonne voie.
05 Comment les entreprises peuvent obtenir la valeur la plus rapide et la plus élevée
Franc:
Être le plus rapide et obtenir le plus de valeur sont en fait deux problèmes très différents.
Si c'est le plus rapide, ** vous verrez bientôt que la méthode de recherche améliorée par l'IA est en ligne partout dans la base de données, car c'est la fonction la plus facile à ajouter. ** C'est incroyable que même une personne analphabète puisse obtenir des informations précieuses à partir de données maintenant, la démocratisation ultime de l'interaction. La fonction de recherche est grandement améliorée, il vous suffit de poser une question à l'interface principale, et ils peuvent apporter ces questions aux données pour leur propre requête. C'est le fruit à portée de main, le plus facile, nous pensons que c'est la première étape.
Ensuite, nous commençons à vraiment nous concentrer sur le vrai problème, à savoir les données d'entreprise propriétaires, mixtes structurées, non structurées, tout cela, comment mobilisons-nous ces données ? **
J'ai déjà mentionné les problèmes de taux de désabonnement et de gestion de la chaîne d'approvisionnement auxquels sont confrontées les entreprises C. Lorsque la chaîne d'approvisionnement est particulièrement complexe, si un événement se produit, comment réajuster une chaîne d'approvisionnement pour qu'elle fonctionne ? Qu'est-ce que je devrais faire maintenant Une chaîne d'approvisionnement est composée de nombreuses entités différentes, et non d'une seule entreprise. Historiquement, c'est un problème qui n'a jamais été résolu informatiquement. La gestion de la chaîne d'approvisionnement n'a jamais été une plate-forme, c'est plutôt un e-mail, un tableur, à quelques exceptions mineures près. C'est donc extrêmement excitant.
Ou nous pouvons recalculer l'investissement dans les grands centres d'appels et optimiser les prix de détail.Comme je l'ai dit, c'est le véritable potentiel de la redéfinition du modèle économique que les PDG des grandes entreprises attendaient avec impatience. **
06 Suggestions pour les entreprises :
Huang Renxun :
** Je me demanderais, premièrement, quelle est ma base de données la plus précieuse ? La deuxième chose, je me demanderais, si j'avais une personne super, super, super intelligente, et que toutes les données de l'entreprise passaient par cette super intelligence, que demanderais-je à cette personne ? **
Ceci est différent selon l'entreprise de chacun. La base de données clients de l'entreprise de Frank est très importante car il a de nombreux clients. Et ma propre entreprise, je n'ai pas beaucoup de clients, mais pour ma société, ma chaîne d'approvisionnement est super compliquée, et ma base de données de conception est super compliquée.
**Pour NVIDIA, nous ne pouvons pas créer de GPU sans intelligence artificielle. Parce qu'aucun de nos ingénieurs ne peut faire beaucoup d'itérations et d'explorations pour nous comme l'IA. **Ainsi, lorsque nous avons proposé l'intelligence artificielle, la première application était dans notre propre entreprise. De plus, il est impossible que Hopper (produit de supercalcul NVIDIA) soit conçu sans intelligence artificielle.
Nous appliquerons également notre propre IA à nos propres données. Notre base de données de bogues est un cas d'utilisation parfait pour cela. Si vous regardez la quantité de code chez NVIDIA AI, nous avons des centaines de packages logiciels qui, combinés, permettent à une application de fonctionner. Certaines des choses sur lesquelles nous travaillons actuellement sont de savoir comment utiliser l'IA pour déterminer comment corriger la sécurité, comment la maintenir au mieux, afin que nous n'ayons pas à interférer avec l'ensemble de la couche d'application supérieure tout en étant rétrocompatible .
C'est ce que l'IA peut vous apporter comme réponses. Nous pouvons utiliser un grand modèle de langage pour répondre à ces questions, trouver la réponse pour nous ou nous révéler quelque chose, puis les ingénieurs peuvent le réparer. Ou l'IA peut recommander une méthode de réparation, et les ingénieurs humains peuvent confirmer s'il s'agit d'une bonne méthode de réparation.
Je ne pense pas que tout le monde réalise à quel point l'intelligence, la perspicacité et l'influence se cachent dans les données qu'ils traitent chaque jour. ** C'est pourquoi nous devons tous nous impliquer et aider à créer cet avenir.
Désormais, pour la première fois, les données que vous stockez dans l'entrepôt de données peuvent être connectées à l'usine d'intelligence artificielle. ** Vous serez en mesure de produire de l'intelligence de l'information, la denrée la plus précieuse au monde. Vous êtes assis sur une mine d'or de ressources naturelles - les données exclusives de votre entreprise, et nous les connectons maintenant à un moteur d'intelligence artificielle, et l'autre extrémité génère des informations directement chaque jour, avec une quantité incroyable d'intelligence versant de l'autre côté, même pendant que vous dormez, il continue de sortir. C'est la meilleure chose qui soit.