Birisi sonunda GPT'nin statükosunu netleştirdi! OpenAI Daniel'in son konuşması çok popüler ve Musk tarafından özenle seçilmiş bir dahi olmalı.

Kaynak: Qubit

Windows Copilot'un piyasaya sürülmesinin ardından, Microsoft Build konferansının popülaritesi bir konuşmayla patladı.

Eski Tesla AI direktörü Andrej Karpathy konuşmasında düşünce ağacının AlphaGo'nun Monte Carlo Ağaç Aramasına (MCTS) benzer olduğuna inanıyordu!

Netizenler bağırdı: Bu, büyük dil modelinin ve GPT-4 modelinin nasıl kullanılacağına dair en ayrıntılı ve ilginç kılavuz!

Ayrıca Karpathy, eğitim ve verilerin genişletilmesi nedeniyle LLAMA 65B'nin "GPT-3 175B'den önemli ölçüde daha güçlü" olduğunu ortaya çıkardı ve büyük model anonim arena ChatBot Arena'yı tanıttı:

Claude, ChatGPT 3.5 ve ChatGPT 4 arasında puan alır.

Netizenler, Karpathy'nin konuşmalarının her zaman harika olduğunu ve bu kez her zaman olduğu gibi içeriğin herkesi hayal kırıklığına uğratmadığını söyledi.

Konuşma ile popüler olan şey, aynı zamanda Twitter netizenleri tarafından konuşmaya dayalı olarak derlenen bir not oldu.Toplam 31 not var ve repost sayısı 3000'i aştı:

Peki, çok izlenen bu konuşmada özellikle nelerden bahsedildi?

GPT asistanı nasıl eğitilir?

Karpathy'nin bu seferki konuşması esas olarak iki kısma ayrılıyor.

Birinci Bölüm, bir "GPT asistanının" nasıl eğitileceğinden bahsetti.

Karpathy, temel olarak AI asistanlarının dört eğitim aşamasını tanımlar: ön eğitim, denetimli ince ayar, ödül modelleme ve takviyeli öğrenme.

Her aşama bir veri kümesi gerektirir.

Eğitim öncesi aşamada, büyük miktarda veri seti toplamak için büyük miktarda bilgi işlem kaynağı gerekir. Denetimsiz büyük bir veri kümesi üzerinde bir temel model eğitin.

Karpathy bunu daha fazla örnekle tamamlıyor:

Daha küçük bir denetimli veri kümesi kullanarak, bu temel modele denetimli öğrenmeyle ince ayar yapmak, soruları yanıtlayabilen bir yardımcı model oluşturur.

Ayrıca bazı modellerin evrim sürecini de gösterdi.Yukarıdaki "evrim ağacı" resmini sanırım birçok kişi daha önce görmüştür.

Karpathy, şu anda en iyi açık kaynak modelinin Meta'nın LLaMA serisi olduğuna inanıyor (çünkü OpenAI, GPT-4 hakkında açık kaynaklı hiçbir şey yapmadı).

Burada açıkça belirtilmesi gereken, temel modelin yardımcı model olmadığıdır.

Temel model soruyu cevaplayabilse de verdiği cevap güvenilir değildir ve soruyu cevaplamak için kullanılabilecek yardımcı modeldir. Denetimli ince ayar ile temel model üzerinde eğitilmiş bir yardımcı model, yanıtlar oluşturmada ve metin yapısını anlamada temel modelden daha iyi performans gösterecektir.

Takviyeli öğrenme, dil modellerini eğitirken başka bir kritik süreçtir.

İnsan etiketli yüksek kaliteli verilerle eğitim vererek, performansını artırmak için bir kayıp işlevi oluşturmak için ödül modellemesi kullanılabilir. Daha sonra pozitif etiketi artırarak ve negatif etiket olasılığını azaltarak pekiştirme eğitimi gerçekleştirilir.

Yaratıcı görevlerde, yapay zeka modellerini geliştirmek için insan yargısının kullanılması çok önemlidir ve insan geri bildirimi eklemek, modelleri daha etkili bir şekilde eğitebilir.

İnsan geri bildirimi ile yoğun öğrenmenin ardından bir RLHF modeli elde edilebilir.

Modelin eğitilmesinden sonraki adım, bu modellerin sorunları çözmek için nasıl etkin bir şekilde kullanılacağıdır.

Model nasıl daha iyi kullanılır?

İkinci Bölüm'de Karpathy, ipucu verme stratejilerine, ince ayarlara, hızla büyüyen araç ekosistemine ve gelecekteki genişlemeye odaklanıyor.

Karpathy, göstermek için belirli örnekler verdi:

Bir makale yazarken birçok zihinsel faaliyet gerçekleştireceğiz ve bu ifademizin doğru olup olmadığını düşünmemiz gerekiyor. GPT için bu yalnızca bir belirteç dizisidir.

Ve ipucu() bu bilişsel farkı telafi edebilir.

Karpathy ayrıca Düşünce Zinciri ipucunun nasıl çalıştığını açıklıyor.

Çıkarım sorunları için, Transformer'ın doğal dil işlemede daha iyi performans göstermesini istiyorsanız, bilgiyi doğrudan çok karmaşık bir problem haline getirmek yerine adım adım işlemesine izin vermelisiniz.

Birkaç örnek verirseniz, bu örneğin şablonunu taklit edecek ve nihai oluşturulan sonuçlar daha iyi olacaktır.

Model yalnızca sıradaki soruları yanıtlayabilir ve ürettiği şey yanlışsa yeniden oluşturmasını isteyebilirsiniz.

Kontrol etmesini istemezseniz, kendi kendine kontrol etmeyecektir.

Bu, 1. ve 2. soruları içerir.

Ekonomi alanında Nobel ödüllü Daniel Kahneman, "Hızlı ve Yavaş Düşünmek" adlı kitabında insan bilişsel sisteminin 1 ve 2 olmak üzere iki alt sistem içerdiğini öne sürdü. 1 temel olarak sezgiye dayalıdır, 2 ise mantıksal bir analiz sistemidir.

Layman açısından, 1 hızlı ve otomatik bir süreçtir ve 2 iyi düşünülmüş bir kısımdır.

Bu, son zamanlarda popüler olan "Düşünce Ağacı" gazetesinde de belirtilmiştir.

Düşünceli, sadece bir soruya cevap vermek değil, daha çok Python birleştirme koduyla birlikte kullanılmak, birçoğunu birbirine dizmek anlamına gelir. Modelin birden fazla ipucu tutması ve hangi ipuçlarını genişleteceğini bulmak için bazı ağaç arama algoritmaları gerçekleştirmesi gerekir.

Karpathy, bu düşünce tarzının AlphaGo'ya çok benzediğini düşünüyor:

AlphaGo Go oynarken, bir sonraki taşın nereye yerleştirileceğini düşünmesi gerekir. Başlangıçta insanları taklit ederek öğrendi. Ama bunun da ötesinde, birden çok olasılığa sahip stratejilere götüren bir Monte Carlo ağaç araması yapar. Birden fazla olası hareketi değerlendirebilir ve yalnızca daha iyi olan stratejileri tutabilir. Sanırım AlphaGo'ya eşdeğer.

Bu bağlamda Karpathy, AutoGPT'den de bahsetti:

Şu anda çok iyi çalıştığını düşünmüyorum ve pratik kullanım için önermiyorum. Sadece zamanla gidişattan ilham alabileceğimizi düşünüyorum.

İkinci olarak, geri alma ile geliştirilmiş nesil (yeniden agumented nesil) ve etkili ipuçları olan başka bir küçük darbe daha var.

Pencere bağlamının içeriği, çalışma zamanında transformatörlerin çalışma belleğidir ve eğer görevle ilgili bilgileri bağlama koyabilirseniz, bu bilgilere anında erişimi olduğu için çok iyi performans gösterecektir.

Kısacası, ilgili veriler indekslenebilir, böylece modellere verimli bir şekilde erişilebilir.

Transformers'ın başvuracak bir ana belgesi de olsaydı daha iyi performans gösterirdi.

Son olarak Karpathy, büyük dil modellerinde Kısıtlama ve ince ayardan kısaca bahsetti. Büyük dil modelleri, kısıtlama ipuçları ve ince ayar yoluyla geliştirilebilir. Kısıtlama ipuçları, büyük dil modellerinin çıktısında şablonları zorunlu kılarken, ince ayar performansı artırmak için modelin ağırlıklarını ayarlar.

Düşük riskli uygulamalar için büyük dil modellerini kullanmanızı, bunları her zaman insan denetimiyle birleştirmenizi, onları bir ilham ve tavsiye kaynağı olarak görmenizi, tamamen otonom ajanlar yapmaktansa yardımcı pilotları düşünmenizi öneririm.

Andrej Karpathy Hakkında

Dr. Andrej Karpathy'nin mezun olduktan sonraki ilk işi OpenAI'de bilgisayar görüşü okumaktı.

Daha sonra OpenAI'nin kurucu ortaklarından Musk, Karpathy'ye ilgi duydu ve insanları Tesla'ya kazdı. Ancak bu olay nedeniyle de Musk ve OpenAI tamamen düştü ve sonunda atıldı. Tesla'da Karpathy, Otopilot ve FSD gibi projelerin başıdır.

Bu yılın Şubat ayında, Tesla'dan ayrıldıktan yedi ay sonra, Karpathy tekrar OpenAI'ye katıldı.

Son zamanlarda, biraz erken Kambriyen patlamasının bir işareti gibi olan açık kaynaklı bir büyük dil modeli ekosisteminin geliştirilmesine şu anda çok fazla ilgi olduğunu tweetledi.

Portal: [1] konuşma videosu) [2] düşünce" yazısı)

Referans bağlantısı: [1]