O objetivo da OpenAI é reduzir ao máximo o "custo da inteligência".
Escrito por: Raza Habib
Compilador: SinoDAO
Na semana passada, tive o prazer de conversar com Sam Altman e 20 outros desenvolvedores para discutir a API da OpenAI e seus planos de produto. Sam discutiu isso muito abertamente. As discussões abordaram questões práticas do desenvolvedor, bem como questões mais amplas relacionadas à missão da OpenAI e ao impacto da IA na sociedade. Aqui está um resumo dos pontos-chave:
1 Atualmente, o OpenAI é severamente limitado pela GPU
Um tema comum que surgiu repetidamente na discussão foi que o OpenAI atualmente está muito vinculado à GPU, o que atrasa muitos de seus planos de curto prazo. As maiores reclamações dos clientes são a confiabilidade e a velocidade da API. Sam reconheceu sua preocupação e explicou que grande parte do problema se devia à falta de GPUs.
No momento, não há como distribuir o contexto de 32k mais longo para mais pessoas. A OpenAI ainda não superou o problema de dimensionamento O(n^2) dos mecanismos de atenção, portanto, embora pareça provável que eles lançarão janelas de contexto de 100 mil a 1 milhão em breve (este ano), janelas maiores exigirão avanços de pesquisa.
A API de ajuste fino também está atualmente limitada pela disponibilidade da GPU. Eles ainda não usaram métodos de ajuste fino eficientes, como adaptadores ou LoRa, portanto, as operações de ajuste fino são computacionalmente caras. Melhor suporte de ajuste fino será fornecido no futuro. Eles podem até oferecer um mercado para modelos de contribuição da comunidade.
A provisão de capacidade dedicada é limitada pela disponibilidade de GPU. O OpenAI também oferece capacidade dedicada, fornecendo aos clientes uma cópia privada do modelo. Para usar este serviço, os clientes devem estar dispostos a pré-comprometer um gasto de US$ 100.000.
2 Roteiro de curto prazo da OpenAI
Sam compartilhou o que ele considera ser um roteiro provisório de curto prazo para a API OpenAI.
2023:
GPT-4 mais barato e mais rápido - essa é a principal prioridade deles. Em geral, o objetivo da OpenAI é reduzir o "custo da inteligência" o máximo possível, portanto, eles se esforçarão para continuar reduzindo o custo da API.
Janelas de contexto mais longas - janelas de contexto de até 1 milhão de tokens são viáveis em um futuro próximo.
API de ajuste fino - A API de ajuste fino será estendida aos modelos mais recentes, mas a forma específica será determinada de acordo com as reais necessidades expressas pelos desenvolvedores.
Stateful API - quando você chama a API de chat hoje, você tem que passar o mesmo histórico de conversa várias vezes e pagar o mesmo
Taxas de marcação. Uma versão da API que lembra o histórico de conversas estará disponível no futuro.
2024:
Multimodal - Isso faz parte da versão GPT-4, mas não será lançado para todos até que mais GPUs fiquem online.
3 O plugin "ainda não tem PMF", pode não aparecer na API por enquanto
Muitos desenvolvedores estão interessados em obter o plug-in ChatGPT por meio da API, mas Sam disse que não acha que será lançado por um tempo. O uso de plug-ins além da navegação mostra que eles não estão prontos o suficiente. Ele destacou que muitas pessoas pensam que querem colocar seu aplicativo dentro do ChatGPT, mas o que eles realmente querem é incorporar o ChatGPT em seu próprio aplicativo.
4 OpenAI se absterá de competir com seus clientes, exceto ChatGPT
Muitos desenvolvedores disseram que estavam nervosos com a possibilidade de o OpenAI lançar um produto que iria competir com eles. Sam disse que a OpenAI não lançará mais produtos fora do ChatGPT. As grandes empresas de plataforma têm um histórico de aplicativos matadores, e o ChatGPT permitirá que elas melhorem a API tornando-se clientes de seus próprios produtos, disse ele. A visão do ChatGPT é ser um assistente de trabalho superinteligente, mas há muitos outros casos de uso do GPT que o OpenAI não tocará.
5 A governança é necessária, mas o código aberto é tão importante quanto
Embora Sam tenha pedido que os modelos futuros sejam regulamentados, ele não acha que os modelos existentes sejam perigosos e acha que regulá-los ou bani-los seria um grande erro. Ele enfatizou novamente a importância do código aberto e disse que a OpenAI está considerando o GPT-3 de código aberto. Parte do motivo pelo qual eles não foram de código aberto é porque ele é cético sobre quantas pessoas e empresas são capazes de hospedar e entregar grandes LLMs.
6 Leis de escala ainda se aplicam
Tem havido muitos artigos ultimamente afirmando que "a era dos gigantescos modelos de IA acabou". Isso não é preciso.
Os dados internos da OpenAI mostram que as leis de escala do desempenho do modelo ainda se aplicam, tornando os modelos maiores continuarão a levar a um melhor desempenho. A taxa de escalonamento não pode ser mantida constante porque o OpenAI escalou o modelo milhões de vezes ao longo de alguns anos, e fazer isso no futuro não será sustentável. Isso não significa que a OpenAI não continuará trabalhando para tornar os modelos maiores, apenas significa que eles provavelmente dobrarão ou triplicarão de tamanho a cada ano, em vez de se multiplicarem.
O fato de que as leis de dimensionamento ainda se aplicam tem implicações importantes para o cronograma de desenvolvimento da AGI. A hipótese de dimensionamento é a visão de que provavelmente já temos a maioria dos fundamentos necessários para construir a AGI e que a maior parte do trabalho restante é estender os métodos existentes para modelos e conjuntos de dados maiores. Se a era do dimensionamento já passou, podemos esperar que a AGI esteja ainda mais distante. O fato de que as leis de escala ainda se aplicam fortemente sugere um cronograma mais curto.
Ver original
O conteúdo serve apenas de referência e não constitui uma solicitação ou oferta. Não é prestado qualquer aconselhamento em matéria de investimento, fiscal ou jurídica. Consulte a Declaração de exoneração de responsabilidade para obter mais informações sobre os riscos.
Sam Altman: Próximos passos para OpenAI
Escrito por: Raza Habib
Compilador: SinoDAO
Na semana passada, tive o prazer de conversar com Sam Altman e 20 outros desenvolvedores para discutir a API da OpenAI e seus planos de produto. Sam discutiu isso muito abertamente. As discussões abordaram questões práticas do desenvolvedor, bem como questões mais amplas relacionadas à missão da OpenAI e ao impacto da IA na sociedade. Aqui está um resumo dos pontos-chave:
1 Atualmente, o OpenAI é severamente limitado pela GPU
Um tema comum que surgiu repetidamente na discussão foi que o OpenAI atualmente está muito vinculado à GPU, o que atrasa muitos de seus planos de curto prazo. As maiores reclamações dos clientes são a confiabilidade e a velocidade da API. Sam reconheceu sua preocupação e explicou que grande parte do problema se devia à falta de GPUs.
No momento, não há como distribuir o contexto de 32k mais longo para mais pessoas. A OpenAI ainda não superou o problema de dimensionamento O(n^2) dos mecanismos de atenção, portanto, embora pareça provável que eles lançarão janelas de contexto de 100 mil a 1 milhão em breve (este ano), janelas maiores exigirão avanços de pesquisa.
A API de ajuste fino também está atualmente limitada pela disponibilidade da GPU. Eles ainda não usaram métodos de ajuste fino eficientes, como adaptadores ou LoRa, portanto, as operações de ajuste fino são computacionalmente caras. Melhor suporte de ajuste fino será fornecido no futuro. Eles podem até oferecer um mercado para modelos de contribuição da comunidade.
A provisão de capacidade dedicada é limitada pela disponibilidade de GPU. O OpenAI também oferece capacidade dedicada, fornecendo aos clientes uma cópia privada do modelo. Para usar este serviço, os clientes devem estar dispostos a pré-comprometer um gasto de US$ 100.000.
2 Roteiro de curto prazo da OpenAI
Sam compartilhou o que ele considera ser um roteiro provisório de curto prazo para a API OpenAI.
2023:
GPT-4 mais barato e mais rápido - essa é a principal prioridade deles. Em geral, o objetivo da OpenAI é reduzir o "custo da inteligência" o máximo possível, portanto, eles se esforçarão para continuar reduzindo o custo da API.
Janelas de contexto mais longas - janelas de contexto de até 1 milhão de tokens são viáveis em um futuro próximo.
API de ajuste fino - A API de ajuste fino será estendida aos modelos mais recentes, mas a forma específica será determinada de acordo com as reais necessidades expressas pelos desenvolvedores.
Stateful API - quando você chama a API de chat hoje, você tem que passar o mesmo histórico de conversa várias vezes e pagar o mesmo
Taxas de marcação. Uma versão da API que lembra o histórico de conversas estará disponível no futuro.
2024:
Multimodal - Isso faz parte da versão GPT-4, mas não será lançado para todos até que mais GPUs fiquem online.
3 O plugin "ainda não tem PMF", pode não aparecer na API por enquanto
Muitos desenvolvedores estão interessados em obter o plug-in ChatGPT por meio da API, mas Sam disse que não acha que será lançado por um tempo. O uso de plug-ins além da navegação mostra que eles não estão prontos o suficiente. Ele destacou que muitas pessoas pensam que querem colocar seu aplicativo dentro do ChatGPT, mas o que eles realmente querem é incorporar o ChatGPT em seu próprio aplicativo.
4 OpenAI se absterá de competir com seus clientes, exceto ChatGPT
Muitos desenvolvedores disseram que estavam nervosos com a possibilidade de o OpenAI lançar um produto que iria competir com eles. Sam disse que a OpenAI não lançará mais produtos fora do ChatGPT. As grandes empresas de plataforma têm um histórico de aplicativos matadores, e o ChatGPT permitirá que elas melhorem a API tornando-se clientes de seus próprios produtos, disse ele. A visão do ChatGPT é ser um assistente de trabalho superinteligente, mas há muitos outros casos de uso do GPT que o OpenAI não tocará.
5 A governança é necessária, mas o código aberto é tão importante quanto
Embora Sam tenha pedido que os modelos futuros sejam regulamentados, ele não acha que os modelos existentes sejam perigosos e acha que regulá-los ou bani-los seria um grande erro. Ele enfatizou novamente a importância do código aberto e disse que a OpenAI está considerando o GPT-3 de código aberto. Parte do motivo pelo qual eles não foram de código aberto é porque ele é cético sobre quantas pessoas e empresas são capazes de hospedar e entregar grandes LLMs.
6 Leis de escala ainda se aplicam
Tem havido muitos artigos ultimamente afirmando que "a era dos gigantescos modelos de IA acabou". Isso não é preciso.
Os dados internos da OpenAI mostram que as leis de escala do desempenho do modelo ainda se aplicam, tornando os modelos maiores continuarão a levar a um melhor desempenho. A taxa de escalonamento não pode ser mantida constante porque o OpenAI escalou o modelo milhões de vezes ao longo de alguns anos, e fazer isso no futuro não será sustentável. Isso não significa que a OpenAI não continuará trabalhando para tornar os modelos maiores, apenas significa que eles provavelmente dobrarão ou triplicarão de tamanho a cada ano, em vez de se multiplicarem.
O fato de que as leis de dimensionamento ainda se aplicam tem implicações importantes para o cronograma de desenvolvimento da AGI. A hipótese de dimensionamento é a visão de que provavelmente já temos a maioria dos fundamentos necessários para construir a AGI e que a maior parte do trabalho restante é estender os métodos existentes para modelos e conjuntos de dados maiores. Se a era do dimensionamento já passou, podemos esperar que a AGI esteja ainda mais distante. O fato de que as leis de escala ainda se aplicam fortemente sugere um cronograma mais curto.