Huang Renxun, vestindo uma jaqueta de couro, subiu em uma prancha azul e fez algumas poses de surf.
Este não é o VidCon, o "Internet Red Festival" nos Estados Unidos, mas uma cena na conferência de desenvolvedores do Snowflake, uma conhecida plataforma de dados nos Estados Unidos.
Em 26 de junho, hora local, o fundador da Nvidia, Huang Renxun, e o CEO da Snowflake, Frank Slootman, discutiram "como trazer IA generativa para usuários corporativos". O anfitrião é o ex-Greylock GP, que agora é o fundador da agência de investimentos Conviction.
Na reunião, comparado com o maduro e prudente gestor profissional do “anfitrião” Frank, o “Padrinho em Couro” surpreendeu como sempre, não só dizendo que a cooperação entre as duas partes é “Somos Amantes, não Lutadores” ( Somos amantes, não lutadores), é ainda mais engraçado que o modelo treinado fornecido para o floco de neve seja equivalente a "desconto de 10%" para os clientes.
No mesmo dia, a Nvidia e a Snowflake lançaram em conjunto outra grande jogada: a empresa de chips nº 1 do mundo cooperou com a plataforma de dados em nuvem mais popular para lançar uma cooperação conjunta. **Os usuários do Snowflake podem usar diretamente o modelo de IA pré-treinado da Nvidia para analisar os dados de sua própria empresa na plataforma de nuvem sem sair da plataforma e desenvolver "aplicativos de IA" para seus próprios dados. **
"As principais mudanças atuais vêm de dados + algoritmo de IA + mecanismo de computação. Por meio de nossa cooperação, podemos reunir esses três pontos", disse Huang Renxun.
Pontos de Discussão:
Modelo de linguagem grande + banco de dados específico da empresa = aplicativo AI para problemas específicos;
Antes era Data going to Work, mas agora é Work going to Data, permitindo que a computação vá onde os dados estão localizados, evitando ilhas de dados;
O modelo de pré-treinamento fornecido pela Nvidia foi treinado na fábrica da Nvidia AI a um custo de dezenas de milhões de dólares, portanto, chamar o mecanismo de computação no Snowflake já "descontou 0,5%";
Na era do software 3.0, com base em modelos e bancos de dados, as empresas podem construir seus próprios aplicativos exclusivos em poucos dias;
No futuro, as empresas poderão produzir muitos agentes inteligentes e executá-los;
Para as empresas, o verdadeiro problema é como mobilizar dados mistos estruturados e não estruturados. Isso pode levar a uma atualização do modelo de negócios.
A seguir, o conteúdo principal do diálogo entre as duas partes, editado pela Geek Park:
01 Fale sobre cooperação: traga o melhor mecanismo de computação para os dados mais valiosos
Franco:
A NVIDIA atualmente desempenha um papel importante na história. Para nós, poder levar dados e relacionamentos para grandes empresas. Precisamos habilitar essa tecnologia e toda a pilha de serviços para usá-la com eficiência. Não quero descrevê-lo como "um casamento feito no céu", mas para um leigo, é uma boa oportunidade de entrar nesta porta de oportunidade.
Huang Renxun:
Somos amantes, não rivais. **Queremos trazer o melhor mecanismo de computação do mundo para os dados mais valiosos do mundo. Olhando para trás, já trabalho há muito tempo, mas não sou tão velho. Frank, você é mais velho (risos). **
Recentemente, os dados são enormes e preciosos devido a razões bem conhecidas. Deve ser seguro. Mover dados é difícil e a gravidade dos dados é real. Portanto, foi muito mais fácil trazer nosso mecanismo de computação para o Snowflake. Nossa parceria visa acelerar o Snowflake, mas também trazer IA para o Snowflake. **
**O núcleo é a combinação de dados + algoritmo de inteligência artificial + mecanismo de computação, nossa parceria combina todas as três coisas. **Dados incrivelmente valiosos, inteligência artificial incrivelmente grande, mecanismo de cálculo incrivelmente bom.
O que podemos fazer juntos é ajudar os clientes a pegar seus dados proprietários e usá-los para escrever aplicativos de IA. Você sabe, o grande avanço aqui é que pela primeira vez você pode desenvolver um grande modelo de linguagem. Você o coloca na frente de seus dados e, em seguida, fala com seus dados como fala com um ser humano, e esses dados são aumentados em um grande modelo de linguagem.
A combinação de um grande modelo de linguagem mais uma base de conhecimento equivale a um aplicativo de IA. ** Este é simples, um grande modelo de linguagem transforma qualquer base de conhecimento de dados em um aplicativo. **
Pense em todos os aplicativos incríveis que as pessoas escreveram. Em sua essência, sempre houve alguns dados valiosos. Agora você tem um mecanismo de consulta geral na frente, é superinteligente, você pode fazê-lo responder a você, mas também pode conectá-lo a um proxy, que é o avanço que o Langchain e os bancos de dados vetoriais trazem. O material inovador de sobreposição de dados e grandes modelos de linguagem está acontecendo em todos os lugares, e todo mundo quer fazer isso. E Frank e eu vamos ajudá-lo a fazer isso.
02 Software 3.0: Crie um aplicativo de IA para resolver um problema específico
hospedar:
Como um investidor olha para essa mudança, o software 1.0 é um código muito determinístico escrito por engenheiros funcionalmente; o software 2.0 está otimizando uma rede neural com dados de treinamento rotulados cuidadosamente coletados.
Vocês estão ajudando as pessoas a aproveitar o Software 3.0, um conjunto de modelos subjacentes que são incrivelmente capazes por conta própria, mas ainda precisam trabalhar com dados corporativos e conjuntos de dados personalizados. É muito mais barato apenas desenvolver esses aplicativos contra eles.
** Uma pergunta para aqueles que procuram profundamente neste campo, o modelo subjacente é muito geral, pode fazer tudo? Por que precisamos de modelos personalizados e dados corporativos? **
Franco:
Portanto, temos modelos muito generalizados que podem fazer poesia, fazer resumos de O Grande Gatsby, resolver problemas matemáticos.
Mas, nos negócios, não precisamos disso, precisamos de um copiloto para obter insights extraordinários sobre um conjunto de dados muito estreito, mas muito complexo.
Precisamos entender os modelos de negócios e a dinâmica dos negócios. Isso não precisa ser tão caro computacionalmente, porque um modelo não precisa ser treinado em um milhão de coisas, mas apenas precisa saber muito poucos, mas tópicos profundos.
por exemplo. Estou no conselho da Instacart e um de nossos grandes clientes, como a DoorDash e todas as outras empresas que têm um problema é que continuam aumentando seus gastos com marketing, um cliente entra, um cliente faz um pedido e o cliente não não volta ou volta em 90 dias, o que é muito instável. Eles chamam isso de rotatividade.
Esta é a análise de questões complexas porque pode haver muitas razões pelas quais um cliente não volta. As pessoas querem encontrar as respostas para essas perguntas, e elas estão nos dados, não na Internet em geral, e podem ser encontradas por meio da inteligência artificial. Este é um exemplo de onde grande valor pode ser gerado.
hospedar:
Como esses modelos devem interagir com os dados corporativos?
Huang Renxun:
Nossa estratégia e produtos são modelos pré-treinados de última geração de todos os tamanhos e, às vezes, você precisa criar um modelo pré-treinado muito grande para que possa ser produzido para ensinar modelos menores.
E modelos menores podem ser executados em praticamente qualquer dispositivo, talvez com latência muito baixa. No entanto, sua capacidade de generalização não é alta e a capacidade de tiro zero (aprendizado de amostra zero) pode ser mais limitada.
Então você pode ter vários modelos de tipos e tamanhos diferentes, mas em cada caso você tem que fazer um ajuste fino supervisionado, você tem que fazer RLHF (aprendizagem por reforço com feedback humano) para que fique com seus objetivos e princípios Consistentemente, você precisa para aumentá-lo com algo como um banco de dados vetorial, para que tudo se reúna em uma plataforma. Temos as habilidades, o conhecimento e a plataforma subjacente para ajudá-los a criar sua própria IA e conectá-la aos dados do Snowflake.
Agora, ** não deveria ser o objetivo de todo cliente corporativo pensar em como construir um grande modelo de linguagem, o objetivo deles deveria ser, como construir um aplicativo de IA para resolver um problema específico? **Esse aplicativo pode levar 17 perguntas para finalmente chegar à resposta correta. E então você pode dizer, eu quero escrever um programa, pode ser um programa SQL, pode ser um programa Python, para que eu possa fazer isso automaticamente no futuro.
**Você ainda tem que guiar essa inteligência artificial para que ela finalmente lhe dê a resposta correta. **Mas depois disso, você pode criar um aplicativo que pode funcionar 24 horas por dia, 7 dias por semana, como um agente (Agent), procurando situações relevantes e reportando-se a você com antecedência. Então, nosso trabalho é ajudar os clientes a construir esses aplicativos de inteligência artificial, que são específicos e customizados com guarda-corpos de segurança.
Em última análise, seremos todos fabricantes inteligentes no futuro, empregando funcionários, é claro, mas criaremos vários agentes que podem ser criados com algo como Lang Chain, modelos conectados, bases de conhecimento, outras APIs, implantado na nuvem e conecte-o a todos os dados do Snowflake.
Você pode operar esses AIs em escala e melhorá-los continuamente. Portanto, cada um de nós fará IA, administrará uma fábrica de IA. Colocaremos a infraestrutura no banco de dados do Snowflake, onde os clientes podem usar seus dados, treinar e desenvolver seus modelos, operar sua IA, para que o Snowflake seja seu repositório e banco de dados.
Com sua própria mina de ouro de dados, todos executarão fábricas de IA no Snowflake. Este é o objetivo.
03 Embora a "Bomba Nuclear" seja cara, usar o modelo diretamente equivale a "10% de desconto"
Huang Renxun:
Estabelecemos cinco fábricas de IA na NVIDIA, quatro das quais são os 500 maiores supercomputadores do mundo e a outra está em operação. Usamos esses supercomputadores para fazer modelos de pré-treinamento. Portanto, quando você usa nosso serviço de base Nemo AI no Snowflake, obtém um modelo pré-treinado de última geração que já custou dezenas de milhões de dólares, sem falar em P&D. Portanto, é pré-treinado.
Depois, há um monte de outros modelos em torno dele que são usados para ajuste fino, RLHF. Todos esses modelos são muito mais caros para treinar.
Agora você adaptou o modelo pré-treinado aos seus recursos, aos seus guarda-corpos, otimizado para o tipo de habilidades ou recursos que deseja que ele tenha, aumentado com seus dados. Portanto, esta seria uma abordagem mais econômica.
Mais importante, dentro de dias, não meses. Você pode desenvolver aplicativos de IA que se conectam aos seus dados no Snowflake.
Você deve ser capaz de criar rapidamente aplicativos de IA no futuro.
Porque estamos vendo isso acontecendo em tempo real agora. Já existem aplicativos que permitem conversar com dados, como o ChatPDF.
hospedar:
**Sim, na era do software 3.0, 95% dos custos de treinamento já são cobertos por terceiros. **
Huang Renxun:
(risos) Sim, 95% de desconto, não consigo imaginar um negócio melhor.
hospedar:
Esse é o verdadeiro motivador e, como investidor, já vi empresas muito jovens em análise, automação, jurídico etc., cujos aplicativos alcançaram valor comercial real em seis meses ou menos. Parte disso é que eles estão começando com esses modelos pré-treinados, o que é uma grande oportunidade para as empresas.
Huang Renxun:
Cada empresa terá centenas, talvez até 1.000 aplicativos de IA, apenas conectados a todos os tipos de dados em sua empresa. Então, todos nós temos que ser bons em construir essas coisas.
04 Antes eram dados em busca de negócios, agora são negócios em busca de dados
hospedar:
Uma das perguntas que sempre ouço dos grandes empresários é que temos que investir em IA, precisamos de uma nova pilha? Como devemos pensar sobre a conexão com nossa pilha de dados existente?
Franco:
Acho que está evoluindo. Os modelos estão gradualmente se tornando mais simples, mais seguros e mais bem gerenciados. Então, não temos uma visão muito clara de que esta é a arquitetura de referência que todos usarão? Alguns terão configurações para algum serviço central. A Microsoft tem uma versão do AI no Azure e muitos de seus clientes estão interagindo com o Azure.
**Mas não sabemos qual modelo dominará, achamos que o mercado se classificará em itens como facilidade de uso e custo. ** Este é apenas o começo, não o estado final.
O setor de segurança também estará envolvido e a questão dos direitos autorais será reformada. Agora que somos fascinados pela tecnologia, problemas reais serão tratados ao mesmo tempo.
Huang Renxun:
Agora estamos experimentando a primeira mudança fundamental de plataforma de computação em 60 anos. Se você acabou de ler o comunicado de imprensa do IBM 360, já ouviu falar sobre unidades de processamento central, subsistemas IO, controladores DMA, memória virtual, multitarefa, computação escalável compatível com versões anteriores e anteriores e esses conceitos, na verdade, é tudo de 1964, e esses conceitos nos ajudaram a dimensionar CPUs nas últimas seis décadas.
Essa expansão já dura 60 anos, mas chegou ao fim. Agora todos entendem que não podemos mais dimensionar a CPU e, de repente, o software muda. A maneira como o software é escrito, a maneira como o software opera e o que o software pode fazer é muito diferente do que costumava ser. Chamamos o software anterior de software 2.0. Agora é software 3.0.
A verdade é que **a computação mudou fundamentalmente. Vemos duas dinâmicas fundamentais acontecendo ao mesmo tempo, e é por isso que as coisas estão tremendo violentamente agora. **
Por um lado, você não pode mais continuar comprando CPUs. Se você comprar outro grupo de CPUs no ano que vem, sua taxa de transferência de computação não aumentará. Porque chegou o fim do dimensionamento da CPU. Você pagará muito mais e não obterá mais produtividade. Então, a resposta é que você tem que ir para a aceleração (Nvidia Accelerated Computing Platform). O vencedor do Turing Award falou sobre aceleração, a Nvidia foi pioneira na aceleração e a computação acelerada está aqui.
Por outro lado, todo o sistema operativo do computador sofreu profundas alterações. Temos uma camada chamada NVIDIA AI Enterprise, e o processamento de dados, o treinamento e a implantação de raciocínio nela já foram integrados ou estão sendo integrados ao Snowflake. Portanto, desde o início do processamento de dados até a implantação final do grande modelo, tudo por trás O mecanismo de cálculo foi acelerado. Vamos alimentar o Snowflake, onde você poderá fazer mais e mais com menos.
Se você for a qualquer nuvem, verá que as GPUs NVIDIA são as entidades de computação mais caras lá. Mas se você colocar uma carga de trabalho nisso, verá que estamos fazendo isso muito rápido. É como se você tivesse um desconto de 95%. Somos a entidade de computação mais cara, mas somos o TCO mais econômico.
Portanto, se seu trabalho é executar uma carga de trabalho, talvez treinar um modelo de linguagem grande, talvez ajustar um modelo de linguagem grande, se você quiser fazer isso, definitivamente acelere.
** Acelere cada carga de trabalho, esta é a reformulação de toda a pilha. **Os processadores mudam por causa disso, os sistemas operacionais mudam por causa disso, os grandes modelos de linguagem são diferentes, a maneira como você escreve aplicativos de IA é diferente.
No futuro, todos nós escreveremos aplicativos. Todos nós temos que conectar nosso e nosso contexto, com alguns comandos Python, a um grande modelo de linguagem e nosso próprio banco de dados ou banco de dados da empresa, e desenvolver nossos próprios aplicativos. Todos serão desenvolvedores de aplicativos.
hospedar:
Mas a mesma coisa é que ainda são seus dados. Você ainda precisa ajustá-lo.
Franco:
Acontece que todos nós sentimos que mais rápido é sempre mais caro. Na verdade, de repente, mais rápido é mais barato, o que é meio contra-intuitivo. Então às vezes as pessoas querem diminuir a oferta, achando que é mais barato, e acaba ficando mais caro.
Outra contradição com a anterior é que ** costumava ser dados indo para o trabalho (dados indo para o trabalho), mas agora os negócios estão procurando por dados (trabalho indo para os dados). ** Nos últimos sessenta anos, ou mais, permitimos que os dados fossem para os negócios, o que resultou em silos de informações em larga escala. E se você quiser ter uma fábrica de IA, será muito difícil usar o método anterior. Devemos levar a computação para onde os dados estão. Acho que o que estamos fazendo agora é o caminho certo.
05 Como as empresas podem obter o maior e mais rápido valor
Franco:
Ser o mais rápido e obter o maior valor são, na verdade, dois problemas muito diferentes.
Se for o mais rápido, **você verá em breve que o método de pesquisa aprimorado por IA está online em todos os lugares do banco de dados, porque essa é a função mais fácil de adicionar. **É incrível que mesmo uma pessoa analfabeta possa obter informações valiosas de dados agora, a democratização definitiva da interação. A função de pesquisa foi bastante aprimorada, basta fazer uma pergunta na interface principal e eles podem trazer essas perguntas aos dados para sua própria consulta. Essa é a fruta mais fácil, a mais fácil, achamos que é o estágio um.
Em seguida, começamos a realmente focar no problema real, que são dados corporativos proprietários, mistos estruturados, não estruturados, todos esses, como mobilizamos esses dados? **
Já mencionei a taxa de rotatividade e os problemas de gerenciamento da cadeia de suprimentos enfrentados pelas empresas C. Quando a cadeia de suprimentos é particularmente complexa, se ocorrer um evento, como reajustamos uma cadeia de suprimentos para fazê-la funcionar? o que eu deveria fazer agora Uma cadeia de suprimentos é composta de muitas entidades diferentes, não de uma única empresa. Historicamente, este é um problema que nunca foi resolvido computacionalmente. O gerenciamento da cadeia de suprimentos nunca foi uma plataforma, é praticamente um e-mail, uma planilha, com algumas pequenas exceções. Portanto, isso é extremamente emocionante.
Ou podemos recalcular o investimento em grandes call centers e otimizar a precificação de varejo.Como eu disse, esse é o real potencial de redefinição do modelo de negócios que os CEOs de grandes empresas almejam. **
06 Sugestões para empresas:
Huang Renxun:
** Eu me perguntaria, número um, qual é o meu banco de dados mais valioso? A segunda coisa, eu me perguntaria, se eu tivesse uma pessoa super, super, super inteligente, e todos os dados da empresa passassem por essa superinteligência, o que eu perguntaria a essa pessoa? **
Isso é diferente de acordo com a empresa de cada pessoa. O banco de dados de clientes da empresa de Frank é muito importante porque ele tem muitos clientes. E minha própria empresa, não tenho tantos clientes, mas para minha empresa, minha cadeia de suprimentos é super complicada e meu banco de dados de design é super complicado.
**Para a NVIDIA, não podemos construir uma GPU sem inteligência artificial. Porque nenhum de nossos engenheiros pode fazer muita iteração e exploração para nós como a IA. **Portanto, quando propusemos a inteligência artificial, a primeira aplicação foi em nossa própria empresa. Além disso, é impossível para o Hopper (produto de supercomputação da NVIDIA) ser projetado sem inteligência artificial.
Também aplicaremos nossa própria IA aos nossos próprios dados. Nosso banco de dados de bugs é um caso de uso perfeito para isso. Se você observar a quantidade de código da NVIDIA AI, temos centenas de pacotes de software que, combinados, permitem a execução de um aplicativo. Algumas das coisas em que estamos trabalhando agora é como usar a IA para descobrir como corrigir a segurança, a melhor forma de mantê-la, para que não tenhamos que interferir em toda a camada superior do aplicativo enquanto somos compatíveis com versões anteriores. .
É isso que a IA pode lhe fornecer com as respostas. Podemos usar um grande modelo de linguagem para responder a essas perguntas, encontrar a resposta para nós ou revelar algo para nós, e então os engenheiros podem corrigi-lo. Ou a IA pode recomendar um método de reparo e os engenheiros humanos podem confirmar se é um bom método de reparo.
Acho que nem todos percebem quanta inteligência, insight e influência estão ocultos nos dados que processam todos os dias. **É por isso que todos nós precisamos nos envolver e ajudar a criar esse futuro.
Agora, pela primeira vez, os dados armazenados no data warehouse podem ser conectados à fábrica de inteligência artificial. **Você poderá produzir inteligência da informação, a mercadoria mais valiosa do mundo. Você está sentado em uma mina de ouro de recursos naturais - os dados proprietários da sua empresa, e agora estamos conectando-os a um mecanismo de inteligência artificial, e a outra ponta está gerando inteligência de informações diretamente todos os dias, com uma quantidade incrível de inteligência sendo despejada entra da outra ponta para fora, mesmo enquanto você dorme, ele continua saindo. É a melhor coisa de todas.
Ver original
O conteúdo é apenas para referência, não uma solicitação ou oferta. Nenhum aconselhamento fiscal, de investimento ou jurídico é fornecido. Consulte a isenção de responsabilidade para obter mais informações sobre riscos.
Huang Renxun: o poder de computação AI da Nvidia foi vendido com 10% de desconto
Autor | Ling Zijun, Li Yuan
Editor | Jing Yu
Huang Renxun, vestindo uma jaqueta de couro, subiu em uma prancha azul e fez algumas poses de surf.
Este não é o VidCon, o "Internet Red Festival" nos Estados Unidos, mas uma cena na conferência de desenvolvedores do Snowflake, uma conhecida plataforma de dados nos Estados Unidos.
Em 26 de junho, hora local, o fundador da Nvidia, Huang Renxun, e o CEO da Snowflake, Frank Slootman, discutiram "como trazer IA generativa para usuários corporativos". O anfitrião é o ex-Greylock GP, que agora é o fundador da agência de investimentos Conviction.
Na reunião, comparado com o maduro e prudente gestor profissional do “anfitrião” Frank, o “Padrinho em Couro” surpreendeu como sempre, não só dizendo que a cooperação entre as duas partes é “Somos Amantes, não Lutadores” ( Somos amantes, não lutadores), é ainda mais engraçado que o modelo treinado fornecido para o floco de neve seja equivalente a "desconto de 10%" para os clientes.
No mesmo dia, a Nvidia e a Snowflake lançaram em conjunto outra grande jogada: a empresa de chips nº 1 do mundo cooperou com a plataforma de dados em nuvem mais popular para lançar uma cooperação conjunta. **Os usuários do Snowflake podem usar diretamente o modelo de IA pré-treinado da Nvidia para analisar os dados de sua própria empresa na plataforma de nuvem sem sair da plataforma e desenvolver "aplicativos de IA" para seus próprios dados. **
"As principais mudanças atuais vêm de dados + algoritmo de IA + mecanismo de computação. Por meio de nossa cooperação, podemos reunir esses três pontos", disse Huang Renxun.
Pontos de Discussão:
A seguir, o conteúdo principal do diálogo entre as duas partes, editado pela Geek Park:
01 Fale sobre cooperação: traga o melhor mecanismo de computação para os dados mais valiosos
Franco:
A NVIDIA atualmente desempenha um papel importante na história. Para nós, poder levar dados e relacionamentos para grandes empresas. Precisamos habilitar essa tecnologia e toda a pilha de serviços para usá-la com eficiência. Não quero descrevê-lo como "um casamento feito no céu", mas para um leigo, é uma boa oportunidade de entrar nesta porta de oportunidade.
Huang Renxun:
Somos amantes, não rivais. **Queremos trazer o melhor mecanismo de computação do mundo para os dados mais valiosos do mundo. Olhando para trás, já trabalho há muito tempo, mas não sou tão velho. Frank, você é mais velho (risos). **
Recentemente, os dados são enormes e preciosos devido a razões bem conhecidas. Deve ser seguro. Mover dados é difícil e a gravidade dos dados é real. Portanto, foi muito mais fácil trazer nosso mecanismo de computação para o Snowflake. Nossa parceria visa acelerar o Snowflake, mas também trazer IA para o Snowflake. **
**O núcleo é a combinação de dados + algoritmo de inteligência artificial + mecanismo de computação, nossa parceria combina todas as três coisas. **Dados incrivelmente valiosos, inteligência artificial incrivelmente grande, mecanismo de cálculo incrivelmente bom.
O que podemos fazer juntos é ajudar os clientes a pegar seus dados proprietários e usá-los para escrever aplicativos de IA. Você sabe, o grande avanço aqui é que pela primeira vez você pode desenvolver um grande modelo de linguagem. Você o coloca na frente de seus dados e, em seguida, fala com seus dados como fala com um ser humano, e esses dados são aumentados em um grande modelo de linguagem.
A combinação de um grande modelo de linguagem mais uma base de conhecimento equivale a um aplicativo de IA. ** Este é simples, um grande modelo de linguagem transforma qualquer base de conhecimento de dados em um aplicativo. **
Pense em todos os aplicativos incríveis que as pessoas escreveram. Em sua essência, sempre houve alguns dados valiosos. Agora você tem um mecanismo de consulta geral na frente, é superinteligente, você pode fazê-lo responder a você, mas também pode conectá-lo a um proxy, que é o avanço que o Langchain e os bancos de dados vetoriais trazem. O material inovador de sobreposição de dados e grandes modelos de linguagem está acontecendo em todos os lugares, e todo mundo quer fazer isso. E Frank e eu vamos ajudá-lo a fazer isso.
02 Software 3.0: Crie um aplicativo de IA para resolver um problema específico
hospedar:
Como um investidor olha para essa mudança, o software 1.0 é um código muito determinístico escrito por engenheiros funcionalmente; o software 2.0 está otimizando uma rede neural com dados de treinamento rotulados cuidadosamente coletados.
Vocês estão ajudando as pessoas a aproveitar o Software 3.0, um conjunto de modelos subjacentes que são incrivelmente capazes por conta própria, mas ainda precisam trabalhar com dados corporativos e conjuntos de dados personalizados. É muito mais barato apenas desenvolver esses aplicativos contra eles.
** Uma pergunta para aqueles que procuram profundamente neste campo, o modelo subjacente é muito geral, pode fazer tudo? Por que precisamos de modelos personalizados e dados corporativos? **
Franco:
Portanto, temos modelos muito generalizados que podem fazer poesia, fazer resumos de O Grande Gatsby, resolver problemas matemáticos.
Mas, nos negócios, não precisamos disso, precisamos de um copiloto para obter insights extraordinários sobre um conjunto de dados muito estreito, mas muito complexo.
Precisamos entender os modelos de negócios e a dinâmica dos negócios. Isso não precisa ser tão caro computacionalmente, porque um modelo não precisa ser treinado em um milhão de coisas, mas apenas precisa saber muito poucos, mas tópicos profundos.
por exemplo. Estou no conselho da Instacart e um de nossos grandes clientes, como a DoorDash e todas as outras empresas que têm um problema é que continuam aumentando seus gastos com marketing, um cliente entra, um cliente faz um pedido e o cliente não não volta ou volta em 90 dias, o que é muito instável. Eles chamam isso de rotatividade.
Esta é a análise de questões complexas porque pode haver muitas razões pelas quais um cliente não volta. As pessoas querem encontrar as respostas para essas perguntas, e elas estão nos dados, não na Internet em geral, e podem ser encontradas por meio da inteligência artificial. Este é um exemplo de onde grande valor pode ser gerado.
hospedar:
Como esses modelos devem interagir com os dados corporativos?
Huang Renxun:
Nossa estratégia e produtos são modelos pré-treinados de última geração de todos os tamanhos e, às vezes, você precisa criar um modelo pré-treinado muito grande para que possa ser produzido para ensinar modelos menores.
E modelos menores podem ser executados em praticamente qualquer dispositivo, talvez com latência muito baixa. No entanto, sua capacidade de generalização não é alta e a capacidade de tiro zero (aprendizado de amostra zero) pode ser mais limitada.
Então você pode ter vários modelos de tipos e tamanhos diferentes, mas em cada caso você tem que fazer um ajuste fino supervisionado, você tem que fazer RLHF (aprendizagem por reforço com feedback humano) para que fique com seus objetivos e princípios Consistentemente, você precisa para aumentá-lo com algo como um banco de dados vetorial, para que tudo se reúna em uma plataforma. Temos as habilidades, o conhecimento e a plataforma subjacente para ajudá-los a criar sua própria IA e conectá-la aos dados do Snowflake.
Agora, ** não deveria ser o objetivo de todo cliente corporativo pensar em como construir um grande modelo de linguagem, o objetivo deles deveria ser, como construir um aplicativo de IA para resolver um problema específico? **Esse aplicativo pode levar 17 perguntas para finalmente chegar à resposta correta. E então você pode dizer, eu quero escrever um programa, pode ser um programa SQL, pode ser um programa Python, para que eu possa fazer isso automaticamente no futuro.
**Você ainda tem que guiar essa inteligência artificial para que ela finalmente lhe dê a resposta correta. **Mas depois disso, você pode criar um aplicativo que pode funcionar 24 horas por dia, 7 dias por semana, como um agente (Agent), procurando situações relevantes e reportando-se a você com antecedência. Então, nosso trabalho é ajudar os clientes a construir esses aplicativos de inteligência artificial, que são específicos e customizados com guarda-corpos de segurança.
Em última análise, seremos todos fabricantes inteligentes no futuro, empregando funcionários, é claro, mas criaremos vários agentes que podem ser criados com algo como Lang Chain, modelos conectados, bases de conhecimento, outras APIs, implantado na nuvem e conecte-o a todos os dados do Snowflake.
Você pode operar esses AIs em escala e melhorá-los continuamente. Portanto, cada um de nós fará IA, administrará uma fábrica de IA. Colocaremos a infraestrutura no banco de dados do Snowflake, onde os clientes podem usar seus dados, treinar e desenvolver seus modelos, operar sua IA, para que o Snowflake seja seu repositório e banco de dados.
Com sua própria mina de ouro de dados, todos executarão fábricas de IA no Snowflake. Este é o objetivo.
03 Embora a "Bomba Nuclear" seja cara, usar o modelo diretamente equivale a "10% de desconto"
Huang Renxun:
Estabelecemos cinco fábricas de IA na NVIDIA, quatro das quais são os 500 maiores supercomputadores do mundo e a outra está em operação. Usamos esses supercomputadores para fazer modelos de pré-treinamento. Portanto, quando você usa nosso serviço de base Nemo AI no Snowflake, obtém um modelo pré-treinado de última geração que já custou dezenas de milhões de dólares, sem falar em P&D. Portanto, é pré-treinado.
Depois, há um monte de outros modelos em torno dele que são usados para ajuste fino, RLHF. Todos esses modelos são muito mais caros para treinar.
Agora você adaptou o modelo pré-treinado aos seus recursos, aos seus guarda-corpos, otimizado para o tipo de habilidades ou recursos que deseja que ele tenha, aumentado com seus dados. Portanto, esta seria uma abordagem mais econômica.
Mais importante, dentro de dias, não meses. Você pode desenvolver aplicativos de IA que se conectam aos seus dados no Snowflake.
Você deve ser capaz de criar rapidamente aplicativos de IA no futuro.
Porque estamos vendo isso acontecendo em tempo real agora. Já existem aplicativos que permitem conversar com dados, como o ChatPDF.
hospedar:
**Sim, na era do software 3.0, 95% dos custos de treinamento já são cobertos por terceiros. **
Huang Renxun:
(risos) Sim, 95% de desconto, não consigo imaginar um negócio melhor.
hospedar:
Esse é o verdadeiro motivador e, como investidor, já vi empresas muito jovens em análise, automação, jurídico etc., cujos aplicativos alcançaram valor comercial real em seis meses ou menos. Parte disso é que eles estão começando com esses modelos pré-treinados, o que é uma grande oportunidade para as empresas.
Huang Renxun:
Cada empresa terá centenas, talvez até 1.000 aplicativos de IA, apenas conectados a todos os tipos de dados em sua empresa. Então, todos nós temos que ser bons em construir essas coisas.
04 Antes eram dados em busca de negócios, agora são negócios em busca de dados
hospedar:
Uma das perguntas que sempre ouço dos grandes empresários é que temos que investir em IA, precisamos de uma nova pilha? Como devemos pensar sobre a conexão com nossa pilha de dados existente?
Franco:
Acho que está evoluindo. Os modelos estão gradualmente se tornando mais simples, mais seguros e mais bem gerenciados. Então, não temos uma visão muito clara de que esta é a arquitetura de referência que todos usarão? Alguns terão configurações para algum serviço central. A Microsoft tem uma versão do AI no Azure e muitos de seus clientes estão interagindo com o Azure.
**Mas não sabemos qual modelo dominará, achamos que o mercado se classificará em itens como facilidade de uso e custo. ** Este é apenas o começo, não o estado final.
O setor de segurança também estará envolvido e a questão dos direitos autorais será reformada. Agora que somos fascinados pela tecnologia, problemas reais serão tratados ao mesmo tempo.
Huang Renxun:
Agora estamos experimentando a primeira mudança fundamental de plataforma de computação em 60 anos. Se você acabou de ler o comunicado de imprensa do IBM 360, já ouviu falar sobre unidades de processamento central, subsistemas IO, controladores DMA, memória virtual, multitarefa, computação escalável compatível com versões anteriores e anteriores e esses conceitos, na verdade, é tudo de 1964, e esses conceitos nos ajudaram a dimensionar CPUs nas últimas seis décadas.
Essa expansão já dura 60 anos, mas chegou ao fim. Agora todos entendem que não podemos mais dimensionar a CPU e, de repente, o software muda. A maneira como o software é escrito, a maneira como o software opera e o que o software pode fazer é muito diferente do que costumava ser. Chamamos o software anterior de software 2.0. Agora é software 3.0.
A verdade é que **a computação mudou fundamentalmente. Vemos duas dinâmicas fundamentais acontecendo ao mesmo tempo, e é por isso que as coisas estão tremendo violentamente agora. **
Por um lado, você não pode mais continuar comprando CPUs. Se você comprar outro grupo de CPUs no ano que vem, sua taxa de transferência de computação não aumentará. Porque chegou o fim do dimensionamento da CPU. Você pagará muito mais e não obterá mais produtividade. Então, a resposta é que você tem que ir para a aceleração (Nvidia Accelerated Computing Platform). O vencedor do Turing Award falou sobre aceleração, a Nvidia foi pioneira na aceleração e a computação acelerada está aqui.
Por outro lado, todo o sistema operativo do computador sofreu profundas alterações. Temos uma camada chamada NVIDIA AI Enterprise, e o processamento de dados, o treinamento e a implantação de raciocínio nela já foram integrados ou estão sendo integrados ao Snowflake. Portanto, desde o início do processamento de dados até a implantação final do grande modelo, tudo por trás O mecanismo de cálculo foi acelerado. Vamos alimentar o Snowflake, onde você poderá fazer mais e mais com menos.
Se você for a qualquer nuvem, verá que as GPUs NVIDIA são as entidades de computação mais caras lá. Mas se você colocar uma carga de trabalho nisso, verá que estamos fazendo isso muito rápido. É como se você tivesse um desconto de 95%. Somos a entidade de computação mais cara, mas somos o TCO mais econômico.
Portanto, se seu trabalho é executar uma carga de trabalho, talvez treinar um modelo de linguagem grande, talvez ajustar um modelo de linguagem grande, se você quiser fazer isso, definitivamente acelere.
** Acelere cada carga de trabalho, esta é a reformulação de toda a pilha. **Os processadores mudam por causa disso, os sistemas operacionais mudam por causa disso, os grandes modelos de linguagem são diferentes, a maneira como você escreve aplicativos de IA é diferente.
No futuro, todos nós escreveremos aplicativos. Todos nós temos que conectar nosso e nosso contexto, com alguns comandos Python, a um grande modelo de linguagem e nosso próprio banco de dados ou banco de dados da empresa, e desenvolver nossos próprios aplicativos. Todos serão desenvolvedores de aplicativos.
hospedar:
Mas a mesma coisa é que ainda são seus dados. Você ainda precisa ajustá-lo.
Franco:
Acontece que todos nós sentimos que mais rápido é sempre mais caro. Na verdade, de repente, mais rápido é mais barato, o que é meio contra-intuitivo. Então às vezes as pessoas querem diminuir a oferta, achando que é mais barato, e acaba ficando mais caro.
Outra contradição com a anterior é que ** costumava ser dados indo para o trabalho (dados indo para o trabalho), mas agora os negócios estão procurando por dados (trabalho indo para os dados). ** Nos últimos sessenta anos, ou mais, permitimos que os dados fossem para os negócios, o que resultou em silos de informações em larga escala. E se você quiser ter uma fábrica de IA, será muito difícil usar o método anterior. Devemos levar a computação para onde os dados estão. Acho que o que estamos fazendo agora é o caminho certo.
05 Como as empresas podem obter o maior e mais rápido valor
Franco:
Ser o mais rápido e obter o maior valor são, na verdade, dois problemas muito diferentes.
Se for o mais rápido, **você verá em breve que o método de pesquisa aprimorado por IA está online em todos os lugares do banco de dados, porque essa é a função mais fácil de adicionar. **É incrível que mesmo uma pessoa analfabeta possa obter informações valiosas de dados agora, a democratização definitiva da interação. A função de pesquisa foi bastante aprimorada, basta fazer uma pergunta na interface principal e eles podem trazer essas perguntas aos dados para sua própria consulta. Essa é a fruta mais fácil, a mais fácil, achamos que é o estágio um.
Em seguida, começamos a realmente focar no problema real, que são dados corporativos proprietários, mistos estruturados, não estruturados, todos esses, como mobilizamos esses dados? **
Já mencionei a taxa de rotatividade e os problemas de gerenciamento da cadeia de suprimentos enfrentados pelas empresas C. Quando a cadeia de suprimentos é particularmente complexa, se ocorrer um evento, como reajustamos uma cadeia de suprimentos para fazê-la funcionar? o que eu deveria fazer agora Uma cadeia de suprimentos é composta de muitas entidades diferentes, não de uma única empresa. Historicamente, este é um problema que nunca foi resolvido computacionalmente. O gerenciamento da cadeia de suprimentos nunca foi uma plataforma, é praticamente um e-mail, uma planilha, com algumas pequenas exceções. Portanto, isso é extremamente emocionante.
Ou podemos recalcular o investimento em grandes call centers e otimizar a precificação de varejo.Como eu disse, esse é o real potencial de redefinição do modelo de negócios que os CEOs de grandes empresas almejam. **
06 Sugestões para empresas:
Huang Renxun:
** Eu me perguntaria, número um, qual é o meu banco de dados mais valioso? A segunda coisa, eu me perguntaria, se eu tivesse uma pessoa super, super, super inteligente, e todos os dados da empresa passassem por essa superinteligência, o que eu perguntaria a essa pessoa? **
Isso é diferente de acordo com a empresa de cada pessoa. O banco de dados de clientes da empresa de Frank é muito importante porque ele tem muitos clientes. E minha própria empresa, não tenho tantos clientes, mas para minha empresa, minha cadeia de suprimentos é super complicada e meu banco de dados de design é super complicado.
**Para a NVIDIA, não podemos construir uma GPU sem inteligência artificial. Porque nenhum de nossos engenheiros pode fazer muita iteração e exploração para nós como a IA. **Portanto, quando propusemos a inteligência artificial, a primeira aplicação foi em nossa própria empresa. Além disso, é impossível para o Hopper (produto de supercomputação da NVIDIA) ser projetado sem inteligência artificial.
Também aplicaremos nossa própria IA aos nossos próprios dados. Nosso banco de dados de bugs é um caso de uso perfeito para isso. Se você observar a quantidade de código da NVIDIA AI, temos centenas de pacotes de software que, combinados, permitem a execução de um aplicativo. Algumas das coisas em que estamos trabalhando agora é como usar a IA para descobrir como corrigir a segurança, a melhor forma de mantê-la, para que não tenhamos que interferir em toda a camada superior do aplicativo enquanto somos compatíveis com versões anteriores. .
É isso que a IA pode lhe fornecer com as respostas. Podemos usar um grande modelo de linguagem para responder a essas perguntas, encontrar a resposta para nós ou revelar algo para nós, e então os engenheiros podem corrigi-lo. Ou a IA pode recomendar um método de reparo e os engenheiros humanos podem confirmar se é um bom método de reparo.
Acho que nem todos percebem quanta inteligência, insight e influência estão ocultos nos dados que processam todos os dias. **É por isso que todos nós precisamos nos envolver e ajudar a criar esse futuro.
Agora, pela primeira vez, os dados armazenados no data warehouse podem ser conectados à fábrica de inteligência artificial. **Você poderá produzir inteligência da informação, a mercadoria mais valiosa do mundo. Você está sentado em uma mina de ouro de recursos naturais - os dados proprietários da sua empresa, e agora estamos conectando-os a um mecanismo de inteligência artificial, e a outra ponta está gerando inteligência de informações diretamente todos os dias, com uma quantidade incrível de inteligência sendo despejada entra da outra ponta para fora, mesmo enquanto você dorme, ele continua saindo. É a melhor coisa de todas.