AI endüstrisindeki son gelişmeler bazıları tarafından dördüncü sanayi devrimi olarak görülüyor. Büyük modellerin ortaya çıkışı, her sektördeki verimliliği önemli ölçüde artırdı; Boston Consulting Group, GPT'nin ABD'deki iş verimliliğini yaklaşık %20 artırdığını düşünüyor. Aynı zamanda, büyük modellerin getirdiği genelleme yeteneği, yeni bir yazılım tasarım paradigması olarak görülüyor; geçmişteki hassas kod tasarımından, yazılıma daha iyi performans ve daha geniş modalite giriş ve çıkışlarını destekleyen daha genelleştirilmiş büyük model çerçevelerinin entegrasyonuna geçiş yapılıyor. Derin öğrenme teknolojisi gerçekten de AI endüstrisine dördüncü bir refah dalgası getirdi ve bu akım kripto para endüstrisini de etkiledi.
Bu rapor, AI endüstrisinin gelişim tarihini, teknoloji sınıflandırmalarını ve derin öğrenme teknolojisinin endüstri üzerindeki etkisini detaylı bir şekilde inceleyecektir. Ardından derin öğrenmedeki GPU, bulut bilişim, veri kaynakları, kenar cihazları gibi sanayi zincirinin yukarı ve aşağı akışını ve bunların gelişim durumu ile trendlerini derinlemesine analiz edecektir. Son olarak, kripto para birimi ile AI endüstrisi arasındaki ilişkiyi esasen detaylı bir şekilde ele alarak, kripto para birimine bağlı AI sanayi zinciri yapısını gözden geçirecektir.
AI sektörünün gelişim tarihi
Yapay zeka endüstrisi 1950'li yıllarda başladı. Yapay zekanın vizyonunu gerçekleştirmek amacıyla, akademik dünya ve sanayi farklı dönemlerde farklı disiplin arka planlarında yapay zekayı gerçekleştirmek için çeşitli yaklaşımlar geliştirdi.
Modern yapay zeka teknolojisi, "makine öğrenimi" terimini temel alır; bu teknoloji anlayışı, makinelerin veri kullanarak görevlerde tekrar tekrar iterasyon yaparak sistem performansını iyileştirmesini sağlar. Temel adımlar, verilerin algoritmaya gönderilmesi, bu verilerin modelin eğitilmesi için kullanılması, modelin test edilmesi ve dağıtılması, ardından modelin otomatik tahmin görevlerini tamamlamak için kullanılmasıdır.
Şu anda makine öğreniminde üç ana akım bulunmaktadır: bağlantıcılık, sembolistlik ve davranışçılık. Bunlar sırasıyla insan sinir sistemini, düşüncesini ve davranışını taklit etmektedir.
Şu anda sinir ağlarıyla temsil edilen bağlantıcılığın üstünlük sağladığı ( derin öğrenme olarak da bilinir ), bunun başlıca nedeni bu mimarinin bir giriş katmanı, bir çıkış katmanı ve birden fazla gizli katmana sahip olmasıdır. Katman sayısı ve nöron ( parametre ) sayısı yeterince fazla olduğunda, karmaşık genel görevleri modellemek için yeterli fırsatlar sağlanır. Veri girişi ile, nöron parametreleri sürekli olarak ayarlanabilir, en sonunda birçok veri deneyimledikten sonra bu nöron en iyi duruma ulaşır ( parametre ), bu da "derinlik" olarak adlandırılır - yeterince fazla katman ve nöron.
Bir örnek vermek gerekirse, bu basitçe bir fonksiyonun oluşturulması olarak anlaşılabilir. Bu fonksiyon, X=2 olduğunda Y=3, X=3 olduğunda Y=5 olur. Eğer bu fonksiyonun tüm X değerlerine karşılık gelmesini istiyorsak, fonksiyonun derecesini ve parametrelerini sürekli olarak eklememiz gerekir. Örneğin, bu koşulu sağlayan bir fonksiyon Y = 2X -1 olarak oluşturulabilir. Ancak, eğer X=2, Y=11 olan bir veri varsa, bu üç veri noktasına uygun yeni bir fonksiyon oluşturmak gerekir. GPU kullanarak yapılan kaba kuvvet hesaplamaları, Y = X2 -3X +5'in daha uygun olduğunu göstermiştir. Ancak verilerle tam olarak örtüşmesine gerek yoktur, sadece dengeyi koruması ve benzer bir çıktı vermesi yeterlidir. Burada X2, X ve X0 farklı nöronları temsil ederken, 1, -3, 5 ise bu nöronların parametreleridir.
Bu durumda, sinir ağına büyük miktarda veri girişi yapıldığında, yeni verileri uyumlu hale getirmek için nöron sayısını artırabilir ve iterasyon parametrelerini ayarlayabilirsiniz, böylece tüm verilere uyum sağlayabilirsiniz.
Sinir ağına dayalı derin öğrenme teknolojisi de birçok teknik iterasyon ve evrim geçirmiştir. En erken dönem sinir ağlarından, ileri beslemeli sinir ağları, RNN, CNN, GAN'a, en son olarak da modern büyük modellerin, örneğin GPT gibi, kullandığı Transformer teknolojisine evrildi. Transformer teknolojisi, sinir ağlarının bir evrim yönüdür; tüm modlar için bir dönüştürücü (Transformer) ekleyerek, ses, video, resim gibi ( verileri karşılık gelen sayılara kodlamak için kullanılır ve ardından sinir ağına beslenir. Böylece sinir ağı her tür veriyi modelleyebilir, yani çok modallık gerçekleştirilir.
Yapay zeka gelişimi, üç teknik dalga geçirmiştir. İlk dalga 1960'lı yıllardadır ve bu, yapay zeka teknolojisinin ortaya çıkmasından on yıl sonrasıdır. Bu dalga, sembolist tekniklerin geliştirilmesiyle ortaya çıkmıştır ve bu teknoloji, genel doğal dil işleme ve insan-makine diyalogu sorunlarını çözmüştür. Aynı dönemde, uzman sistemler ortaya çıkmıştır; bu, Stanford Üniversitesi'nin NASA'nın teşvikiyle tamamladığı DENRAL uzman sistemidir. Bu sistem, çok güçlü bir kimya bilgisine sahiptir ve sorular aracılığıyla çıkarım yaparak kimya uzmanıyla aynı yanıtları üretmektedir. Bu kimya uzman sistemi, kimya bilgi bankası ve çıkarım sisteminin birleşimi olarak görülebilir.
Uzman sistemlerden sonra, 1990'lı yıllarda İsrailli Amerikalı bilim insanı ve filozof Judea Pearl), Bayes ağı olarak da bilinen inanç ağını önerdi. Aynı dönemde, Brooks davranışa dayalı robotik önerdi ve davranışçılığın doğuşunu işaret etti.
1997 yılında, ünlü bir teknoloji şirketinin derin mavi "Blue" 3.5:2.5 ile satranç şampiyonu Kasparov(Kasparov)'u yendi, bu zafer yapay zekanın bir dönüm noktası olarak kabul edildi ve AI teknolojisi ikinci gelişim zirvesini yaşadı.
Üçüncü AI teknolojisi dalgası 2006 yılında meydana geldi. Derin öğrenmenin üç büyük ismi Yann LeCun, Geoffrey Hinton ve Yoshua Bengio, yapay sinir ağlarını temel alan bir algoritma olan derin öğrenme kavramını ortaya koydular. Ardından, derin öğrenme algoritmaları RNN, GAN'dan Transformer ve Stable Diffusion'a kadar evrimleşti, bu iki algoritma bu üçüncü teknolojik dalgayı şekillendirdi ve bu, bağlantıcılığın altın çağıdır.
Derin öğrenme teknolojisinin keşfi ve evrimi ile birlikte birçok ikonik olay yavaş yavaş ortaya çıkmıştır, bunlar arasında:
2011 yılında, tanınmış bir teknoloji şirketinin Watson('ı, Tehlikeli Sınırlar) adlı bilgi yarışmasında insanları yenerek şampiyon oldu.
2014 yılında, Goodfellow GAN( Generatif Düşman Ağı, Generative Adversarial Network)'ı önerdi. İki sinir ağının birbirleriyle oyun oynaması yoluyla öğrenerek, gerçek gibi görünen fotoğraflar üretebiliyor. Aynı zamanda Goodfellow, derin öğrenme alanında önemli bir başlangıç kitabı olan "Deep Learning" adlı bir kitap yazdı, bu nedenle "çiçek kitabı" olarak adlandırılır.
2015 yılında, Hinton ve arkadaşları "Nature" dergisinde derin öğrenme algoritmasını önerdi, bu derin öğrenme yönteminin önerilmesi, akademik çevrelerde ve sanayi alanında büyük yankı uyandırdı.
2015 yılında, tanınmış bir AI araştırma kurumu kuruldu, birçok tanınmış kişi 1 milyar dolar ortak yatırım yapacağını açıkladı.
2016 yılında, derin öğrenme teknolojisine dayanan AlphaGo, Go dünyası şampiyonu ve profesyonel dokuzuncu kademe oyuncusu Lee Sedol ile Go insan-makine savaşına girdi ve toplamda 4-1 galip geldi.
2017'de, tanınmış bir robot şirketi tarafından geliştirilen Sophia adlı insansı robot, tarihte birinci sınıf vatandaşlık kazanan ilk robot olarak adlandırıldı ve zengin yüz ifadeleri ile insan dilini anlama yeteneğine sahip.
2017 yılında, yapay zeka alanında zengin bir yetenek ve teknoloji birikimine sahip bir ünlü teknoloji şirketi, "Attention is all you need" başlıklı bir makale yayımladı ve Transformer algoritmasını tanıttı; büyük ölçekli dil modelleri ortaya çıkmaya başladı.
2018'de, tanınmış bir AI araştırma kuruluşu, Transformer algoritmasına dayalı olarak inşa edilmiş GPT( Generative Pre-trained Transformer)'i yayınladı, bu, o dönemdeki en büyük dil modellerinden biriydi.
2018 yılında, tanınmış bir AI ekibi derin öğrenmeye dayalı AlphaGo'yu yayınladı, proteinlerin yapı tahmininde bulunabiliyor ve yapay zeka alanında büyük bir ilerleme işareti olarak görülüyor.
2019'da, tanınmış bir AI araştırma kurumu GPT-2'yi duyurdu, bu model 1.5 milyar parametreye sahip.
2020 yılında, tanınmış bir AI araştırma kuruluşu tarafından geliştirilen GPT-3, 175 milyar parametreye sahip olup, önceki versiyon GPT-2'den 100 kat daha fazladır. Bu model, 570 GB metin kullanılarak eğitilmiştir ve çok sayıda NLP( doğal dil işleme) görevinde( soru yanıtlama, çeviri, makale yazma) gibi alanlarda en ileri düzeyde performans sergileyebilmektedir.
2021 yılında, tanınmış bir AI araştırma kurumu GPT-4'ü yayımladı, bu modelin 1.76 trilyon parametreye sahip olduğu ve GPT-3'ün 10 katı olduğu belirtildi.
2023 Ocak ayında GPT-4 modeline dayalı ChatGPT uygulaması piyasaya sürüldü, Mart ayında ChatGPT bir milyar kullanıcıya ulaştı ve tarihte bir milyar kullanıcıya en hızlı ulaşan uygulama oldu.
2024'te, tanınmış bir AI araştırma kuruluşu GPT-4 omni'yi piyasaya sürdü.
Not: Yapay zeka ile ilgili çok sayıda makale, birçok akım ve çeşitli teknik evrimler olduğundan, burada esasen derin öğrenme veya bağlantıcıcılığın gelişim tarihini takip etmektedir; diğer akımlar ve teknikler hâlâ hızlı bir gelişim sürecindedir.
Derin Öğrenme Sanayi Zinciri
Mevcut büyük model dilleri, sinir ağlarına dayalı derin öğrenme yöntemlerini kullanmaktadır. Başında GPT'nin yer aldığı büyük modeller, yapay zeka alanında bir dalga oluşturmuş, çok sayıda oyuncu bu alana girmiştir. Pazarın veri ve hesaplama gücüne olan talebinin büyük bir patlama yaşadığını da görüyoruz. Bu nedenle, raporun bu bölümünde, derin öğrenme algoritmalarının endüstri zincirini keşfetmeye odaklanıyoruz. Derin öğrenme algoritmalarının hakim olduğu yapay zeka sektöründe, tedarik zincirinin yukarı ve aşağısının nasıl oluştuğu, yukarı ve aşağıdaki mevcut durum ile arz-talep ilişkisi ve gelecekteki gelişmelerin nasıl olacağıdır.
Öncelikle netleştirmemiz gereken, Transformer teknolojisine dayalı GPT liderliğindeki LLM'lerin ( büyük modelinin ) eğitimi sırasında toplamda üç adımın olduğu.
Eğitimden önce, Transformer'a dayandığı için, dönüştürücünün metin girişi sayılara dönüştürmesi gerekir, bu işleme "Tokenization" denir, ardından bu sayılara Token denir. Genel bir kural olarak, bir İngilizce kelime veya karakter kabaca bir Token olarak kabul edilebilirken, her bir Çince karakter kabaca iki Token olarak kabul edilebilir. Bu, GPT'nin fiyatlandırmada kullandığı temel birimdir.
İlk adım, ön eğitim. Giriş katmanına yeterince veri çifti vererek, raporun ilk bölümünde örneği verilen (X,Y) gibi, model altında her bir nöronun en iyi parametrelerini bulmak için, bu aşamada büyük miktarda veriye ihtiyaç vardır ve bu süreç, nöronların çeşitli parametreleri denemesi için tekrar tekrar döngü yapması gerektiğinden en fazla hesaplama gücü gerektiren süreçtir. Bir veri çifti seti eğitim tamamlandıktan sonra, genellikle aynı veri seti parametreleri yinelemek için ikinci bir eğitim için kullanılır.
İkinci adım, ince ayar. İnce ayar, daha az ama çok yüksek kaliteli bir veri seti ile eğitim vermektir. Bu tür bir değişim, modelin çıktısının kalitesini artırır çünkü ön eğitim büyük miktarda veriye ihtiyaç duyar, ancak birçok veri hatalar veya düşük kalitede olabilir. İnce ayar adımı, kaliteli verilerle modelin kalitesini artırabilir.
Üçüncü adım, pekiştirmeli öğrenme. Öncelikle tamamen yeni bir model oluşturulacak, buna "ödül modeli" diyoruz, bu modelin amacı oldukça basit, çıktının sonuçlarını sıralamaktır, bu nedenle bu modeli gerçekleştirmek oldukça kolaydır, çünkü iş senaryosu oldukça dikeydir. Daha sonra bu modeli kullanarak büyük modelimizin çıktısının yüksek kaliteli olup olmadığını belirleyeceğiz, böylece bir ödül modeli ile büyük modelin parametrelerini otomatik olarak yineleyebiliriz. ( Ancak bazen modelin çıktısının kalitesini değerlendirmek için insan müdahalesi gereklidir )
Kısacası, büyük modellerin eğitim sürecinde, ön eğitimin veri miktarı için çok yüksek gereksinimleri vardır ve gereken GPU hesap gücü de en fazladır. İnce ayar ise parametreleri geliştirmek için daha yüksek kaliteli verilere ihtiyaç duyar, pekiştirmeli öğrenme ise daha yüksek kaliteli sonuçlar elde etmek için bir ödül modeli aracılığıyla parametreleri tekrar tekrar yineleyebilir.
Eğitim sürecinde, parametre sayısı arttıkça genelleme yeteneğinin üst sınırı da artar. Örneğin, Y = aX + b fonksiyonu örneğinde, aslında iki nöron bulunmaktadır: X ve X0. Bu nedenle, parametreler nasıl değişirse değişsin, uyum sağlayabileceği veri son derece sınırlıdır çünkü özünde hala bir doğru çizgisidir. Eğer nöron sayısı artarsa, daha fazla parametre iterasyona tabi tutulabilir ve daha fazla veriyi uyumlu hale getirebilir. Bu, büyük modellerin büyük başarılar elde etmesinin nedenidir ve aynı zamanda halk arasında büyük model olarak adlandırılmasının sebebidir; özünde büyük miktarda nöron ve parametre, büyük miktarda veri vardır ve aynı zamanda büyük miktarda hesaplama gücü gereklidir.
Bu nedenle, büyük modelin performansını etkileyen başlıca üç faktör vardır: parametre sayısı, veri miktarı ve kalitesi, hesaplama gücü. Bu üçü, büyük modelin sonuç kalitesini ve genelleme yeteneğini birlikte etkiler. Parametre sayısının p, veri miktarının ise n( Token sayısı ile hesaplandığını varsayalım. Bu durumda, gereken hesaplama miktarını genel bir kural ile hesaplayabiliriz, böylece ne kadar hesaplama gücü satın almamız gerektiğini ve eğitim süresini tahmin edebiliriz.
![Yeni başlayanlar için bilgi丨AI x Kripto: Sıfırdan Zirveye])
This page may contain third-party content, which is provided for information purposes only (not representations/warranties) and should not be considered as an endorsement of its views by Gate, nor as financial or professional advice. See Disclaimer for details.
Derinlik analizi: AI ve Kripto Varlıklar'ın birleşimi Gelişim sürecinden endüstri zinciri panoramasına
AI x Crypto: Sıfırdan Zirveye
AI endüstrisindeki son gelişmeler bazıları tarafından dördüncü sanayi devrimi olarak görülüyor. Büyük modellerin ortaya çıkışı, her sektördeki verimliliği önemli ölçüde artırdı; Boston Consulting Group, GPT'nin ABD'deki iş verimliliğini yaklaşık %20 artırdığını düşünüyor. Aynı zamanda, büyük modellerin getirdiği genelleme yeteneği, yeni bir yazılım tasarım paradigması olarak görülüyor; geçmişteki hassas kod tasarımından, yazılıma daha iyi performans ve daha geniş modalite giriş ve çıkışlarını destekleyen daha genelleştirilmiş büyük model çerçevelerinin entegrasyonuna geçiş yapılıyor. Derin öğrenme teknolojisi gerçekten de AI endüstrisine dördüncü bir refah dalgası getirdi ve bu akım kripto para endüstrisini de etkiledi.
Bu rapor, AI endüstrisinin gelişim tarihini, teknoloji sınıflandırmalarını ve derin öğrenme teknolojisinin endüstri üzerindeki etkisini detaylı bir şekilde inceleyecektir. Ardından derin öğrenmedeki GPU, bulut bilişim, veri kaynakları, kenar cihazları gibi sanayi zincirinin yukarı ve aşağı akışını ve bunların gelişim durumu ile trendlerini derinlemesine analiz edecektir. Son olarak, kripto para birimi ile AI endüstrisi arasındaki ilişkiyi esasen detaylı bir şekilde ele alarak, kripto para birimine bağlı AI sanayi zinciri yapısını gözden geçirecektir.
AI sektörünün gelişim tarihi
Yapay zeka endüstrisi 1950'li yıllarda başladı. Yapay zekanın vizyonunu gerçekleştirmek amacıyla, akademik dünya ve sanayi farklı dönemlerde farklı disiplin arka planlarında yapay zekayı gerçekleştirmek için çeşitli yaklaşımlar geliştirdi.
Modern yapay zeka teknolojisi, "makine öğrenimi" terimini temel alır; bu teknoloji anlayışı, makinelerin veri kullanarak görevlerde tekrar tekrar iterasyon yaparak sistem performansını iyileştirmesini sağlar. Temel adımlar, verilerin algoritmaya gönderilmesi, bu verilerin modelin eğitilmesi için kullanılması, modelin test edilmesi ve dağıtılması, ardından modelin otomatik tahmin görevlerini tamamlamak için kullanılmasıdır.
Şu anda makine öğreniminde üç ana akım bulunmaktadır: bağlantıcılık, sembolistlik ve davranışçılık. Bunlar sırasıyla insan sinir sistemini, düşüncesini ve davranışını taklit etmektedir.
Şu anda sinir ağlarıyla temsil edilen bağlantıcılığın üstünlük sağladığı ( derin öğrenme olarak da bilinir ), bunun başlıca nedeni bu mimarinin bir giriş katmanı, bir çıkış katmanı ve birden fazla gizli katmana sahip olmasıdır. Katman sayısı ve nöron ( parametre ) sayısı yeterince fazla olduğunda, karmaşık genel görevleri modellemek için yeterli fırsatlar sağlanır. Veri girişi ile, nöron parametreleri sürekli olarak ayarlanabilir, en sonunda birçok veri deneyimledikten sonra bu nöron en iyi duruma ulaşır ( parametre ), bu da "derinlik" olarak adlandırılır - yeterince fazla katman ve nöron.
Bir örnek vermek gerekirse, bu basitçe bir fonksiyonun oluşturulması olarak anlaşılabilir. Bu fonksiyon, X=2 olduğunda Y=3, X=3 olduğunda Y=5 olur. Eğer bu fonksiyonun tüm X değerlerine karşılık gelmesini istiyorsak, fonksiyonun derecesini ve parametrelerini sürekli olarak eklememiz gerekir. Örneğin, bu koşulu sağlayan bir fonksiyon Y = 2X -1 olarak oluşturulabilir. Ancak, eğer X=2, Y=11 olan bir veri varsa, bu üç veri noktasına uygun yeni bir fonksiyon oluşturmak gerekir. GPU kullanarak yapılan kaba kuvvet hesaplamaları, Y = X2 -3X +5'in daha uygun olduğunu göstermiştir. Ancak verilerle tam olarak örtüşmesine gerek yoktur, sadece dengeyi koruması ve benzer bir çıktı vermesi yeterlidir. Burada X2, X ve X0 farklı nöronları temsil ederken, 1, -3, 5 ise bu nöronların parametreleridir.
Bu durumda, sinir ağına büyük miktarda veri girişi yapıldığında, yeni verileri uyumlu hale getirmek için nöron sayısını artırabilir ve iterasyon parametrelerini ayarlayabilirsiniz, böylece tüm verilere uyum sağlayabilirsiniz.
Sinir ağına dayalı derin öğrenme teknolojisi de birçok teknik iterasyon ve evrim geçirmiştir. En erken dönem sinir ağlarından, ileri beslemeli sinir ağları, RNN, CNN, GAN'a, en son olarak da modern büyük modellerin, örneğin GPT gibi, kullandığı Transformer teknolojisine evrildi. Transformer teknolojisi, sinir ağlarının bir evrim yönüdür; tüm modlar için bir dönüştürücü (Transformer) ekleyerek, ses, video, resim gibi ( verileri karşılık gelen sayılara kodlamak için kullanılır ve ardından sinir ağına beslenir. Böylece sinir ağı her tür veriyi modelleyebilir, yani çok modallık gerçekleştirilir.
Yapay zeka gelişimi, üç teknik dalga geçirmiştir. İlk dalga 1960'lı yıllardadır ve bu, yapay zeka teknolojisinin ortaya çıkmasından on yıl sonrasıdır. Bu dalga, sembolist tekniklerin geliştirilmesiyle ortaya çıkmıştır ve bu teknoloji, genel doğal dil işleme ve insan-makine diyalogu sorunlarını çözmüştür. Aynı dönemde, uzman sistemler ortaya çıkmıştır; bu, Stanford Üniversitesi'nin NASA'nın teşvikiyle tamamladığı DENRAL uzman sistemidir. Bu sistem, çok güçlü bir kimya bilgisine sahiptir ve sorular aracılığıyla çıkarım yaparak kimya uzmanıyla aynı yanıtları üretmektedir. Bu kimya uzman sistemi, kimya bilgi bankası ve çıkarım sisteminin birleşimi olarak görülebilir.
Uzman sistemlerden sonra, 1990'lı yıllarda İsrailli Amerikalı bilim insanı ve filozof Judea Pearl), Bayes ağı olarak da bilinen inanç ağını önerdi. Aynı dönemde, Brooks davranışa dayalı robotik önerdi ve davranışçılığın doğuşunu işaret etti.
1997 yılında, ünlü bir teknoloji şirketinin derin mavi "Blue" 3.5:2.5 ile satranç şampiyonu Kasparov(Kasparov)'u yendi, bu zafer yapay zekanın bir dönüm noktası olarak kabul edildi ve AI teknolojisi ikinci gelişim zirvesini yaşadı.
Üçüncü AI teknolojisi dalgası 2006 yılında meydana geldi. Derin öğrenmenin üç büyük ismi Yann LeCun, Geoffrey Hinton ve Yoshua Bengio, yapay sinir ağlarını temel alan bir algoritma olan derin öğrenme kavramını ortaya koydular. Ardından, derin öğrenme algoritmaları RNN, GAN'dan Transformer ve Stable Diffusion'a kadar evrimleşti, bu iki algoritma bu üçüncü teknolojik dalgayı şekillendirdi ve bu, bağlantıcılığın altın çağıdır.
Derin öğrenme teknolojisinin keşfi ve evrimi ile birlikte birçok ikonik olay yavaş yavaş ortaya çıkmıştır, bunlar arasında:
2011 yılında, tanınmış bir teknoloji şirketinin Watson('ı, Tehlikeli Sınırlar) adlı bilgi yarışmasında insanları yenerek şampiyon oldu.
2014 yılında, Goodfellow GAN( Generatif Düşman Ağı, Generative Adversarial Network)'ı önerdi. İki sinir ağının birbirleriyle oyun oynaması yoluyla öğrenerek, gerçek gibi görünen fotoğraflar üretebiliyor. Aynı zamanda Goodfellow, derin öğrenme alanında önemli bir başlangıç kitabı olan "Deep Learning" adlı bir kitap yazdı, bu nedenle "çiçek kitabı" olarak adlandırılır.
2015 yılında, Hinton ve arkadaşları "Nature" dergisinde derin öğrenme algoritmasını önerdi, bu derin öğrenme yönteminin önerilmesi, akademik çevrelerde ve sanayi alanında büyük yankı uyandırdı.
2015 yılında, tanınmış bir AI araştırma kurumu kuruldu, birçok tanınmış kişi 1 milyar dolar ortak yatırım yapacağını açıkladı.
2016 yılında, derin öğrenme teknolojisine dayanan AlphaGo, Go dünyası şampiyonu ve profesyonel dokuzuncu kademe oyuncusu Lee Sedol ile Go insan-makine savaşına girdi ve toplamda 4-1 galip geldi.
2017'de, tanınmış bir robot şirketi tarafından geliştirilen Sophia adlı insansı robot, tarihte birinci sınıf vatandaşlık kazanan ilk robot olarak adlandırıldı ve zengin yüz ifadeleri ile insan dilini anlama yeteneğine sahip.
2017 yılında, yapay zeka alanında zengin bir yetenek ve teknoloji birikimine sahip bir ünlü teknoloji şirketi, "Attention is all you need" başlıklı bir makale yayımladı ve Transformer algoritmasını tanıttı; büyük ölçekli dil modelleri ortaya çıkmaya başladı.
2018'de, tanınmış bir AI araştırma kuruluşu, Transformer algoritmasına dayalı olarak inşa edilmiş GPT( Generative Pre-trained Transformer)'i yayınladı, bu, o dönemdeki en büyük dil modellerinden biriydi.
2018 yılında, tanınmış bir AI ekibi derin öğrenmeye dayalı AlphaGo'yu yayınladı, proteinlerin yapı tahmininde bulunabiliyor ve yapay zeka alanında büyük bir ilerleme işareti olarak görülüyor.
2019'da, tanınmış bir AI araştırma kurumu GPT-2'yi duyurdu, bu model 1.5 milyar parametreye sahip.
2020 yılında, tanınmış bir AI araştırma kuruluşu tarafından geliştirilen GPT-3, 175 milyar parametreye sahip olup, önceki versiyon GPT-2'den 100 kat daha fazladır. Bu model, 570 GB metin kullanılarak eğitilmiştir ve çok sayıda NLP( doğal dil işleme) görevinde( soru yanıtlama, çeviri, makale yazma) gibi alanlarda en ileri düzeyde performans sergileyebilmektedir.
2021 yılında, tanınmış bir AI araştırma kurumu GPT-4'ü yayımladı, bu modelin 1.76 trilyon parametreye sahip olduğu ve GPT-3'ün 10 katı olduğu belirtildi.
2023 Ocak ayında GPT-4 modeline dayalı ChatGPT uygulaması piyasaya sürüldü, Mart ayında ChatGPT bir milyar kullanıcıya ulaştı ve tarihte bir milyar kullanıcıya en hızlı ulaşan uygulama oldu.
2024'te, tanınmış bir AI araştırma kuruluşu GPT-4 omni'yi piyasaya sürdü.
Not: Yapay zeka ile ilgili çok sayıda makale, birçok akım ve çeşitli teknik evrimler olduğundan, burada esasen derin öğrenme veya bağlantıcıcılığın gelişim tarihini takip etmektedir; diğer akımlar ve teknikler hâlâ hızlı bir gelişim sürecindedir.
Derin Öğrenme Sanayi Zinciri
Mevcut büyük model dilleri, sinir ağlarına dayalı derin öğrenme yöntemlerini kullanmaktadır. Başında GPT'nin yer aldığı büyük modeller, yapay zeka alanında bir dalga oluşturmuş, çok sayıda oyuncu bu alana girmiştir. Pazarın veri ve hesaplama gücüne olan talebinin büyük bir patlama yaşadığını da görüyoruz. Bu nedenle, raporun bu bölümünde, derin öğrenme algoritmalarının endüstri zincirini keşfetmeye odaklanıyoruz. Derin öğrenme algoritmalarının hakim olduğu yapay zeka sektöründe, tedarik zincirinin yukarı ve aşağısının nasıl oluştuğu, yukarı ve aşağıdaki mevcut durum ile arz-talep ilişkisi ve gelecekteki gelişmelerin nasıl olacağıdır.
Öncelikle netleştirmemiz gereken, Transformer teknolojisine dayalı GPT liderliğindeki LLM'lerin ( büyük modelinin ) eğitimi sırasında toplamda üç adımın olduğu.
Eğitimden önce, Transformer'a dayandığı için, dönüştürücünün metin girişi sayılara dönüştürmesi gerekir, bu işleme "Tokenization" denir, ardından bu sayılara Token denir. Genel bir kural olarak, bir İngilizce kelime veya karakter kabaca bir Token olarak kabul edilebilirken, her bir Çince karakter kabaca iki Token olarak kabul edilebilir. Bu, GPT'nin fiyatlandırmada kullandığı temel birimdir.
İlk adım, ön eğitim. Giriş katmanına yeterince veri çifti vererek, raporun ilk bölümünde örneği verilen (X,Y) gibi, model altında her bir nöronun en iyi parametrelerini bulmak için, bu aşamada büyük miktarda veriye ihtiyaç vardır ve bu süreç, nöronların çeşitli parametreleri denemesi için tekrar tekrar döngü yapması gerektiğinden en fazla hesaplama gücü gerektiren süreçtir. Bir veri çifti seti eğitim tamamlandıktan sonra, genellikle aynı veri seti parametreleri yinelemek için ikinci bir eğitim için kullanılır.
İkinci adım, ince ayar. İnce ayar, daha az ama çok yüksek kaliteli bir veri seti ile eğitim vermektir. Bu tür bir değişim, modelin çıktısının kalitesini artırır çünkü ön eğitim büyük miktarda veriye ihtiyaç duyar, ancak birçok veri hatalar veya düşük kalitede olabilir. İnce ayar adımı, kaliteli verilerle modelin kalitesini artırabilir.
Üçüncü adım, pekiştirmeli öğrenme. Öncelikle tamamen yeni bir model oluşturulacak, buna "ödül modeli" diyoruz, bu modelin amacı oldukça basit, çıktının sonuçlarını sıralamaktır, bu nedenle bu modeli gerçekleştirmek oldukça kolaydır, çünkü iş senaryosu oldukça dikeydir. Daha sonra bu modeli kullanarak büyük modelimizin çıktısının yüksek kaliteli olup olmadığını belirleyeceğiz, böylece bir ödül modeli ile büyük modelin parametrelerini otomatik olarak yineleyebiliriz. ( Ancak bazen modelin çıktısının kalitesini değerlendirmek için insan müdahalesi gereklidir )
Kısacası, büyük modellerin eğitim sürecinde, ön eğitimin veri miktarı için çok yüksek gereksinimleri vardır ve gereken GPU hesap gücü de en fazladır. İnce ayar ise parametreleri geliştirmek için daha yüksek kaliteli verilere ihtiyaç duyar, pekiştirmeli öğrenme ise daha yüksek kaliteli sonuçlar elde etmek için bir ödül modeli aracılığıyla parametreleri tekrar tekrar yineleyebilir.
Eğitim sürecinde, parametre sayısı arttıkça genelleme yeteneğinin üst sınırı da artar. Örneğin, Y = aX + b fonksiyonu örneğinde, aslında iki nöron bulunmaktadır: X ve X0. Bu nedenle, parametreler nasıl değişirse değişsin, uyum sağlayabileceği veri son derece sınırlıdır çünkü özünde hala bir doğru çizgisidir. Eğer nöron sayısı artarsa, daha fazla parametre iterasyona tabi tutulabilir ve daha fazla veriyi uyumlu hale getirebilir. Bu, büyük modellerin büyük başarılar elde etmesinin nedenidir ve aynı zamanda halk arasında büyük model olarak adlandırılmasının sebebidir; özünde büyük miktarda nöron ve parametre, büyük miktarda veri vardır ve aynı zamanda büyük miktarda hesaplama gücü gereklidir.
Bu nedenle, büyük modelin performansını etkileyen başlıca üç faktör vardır: parametre sayısı, veri miktarı ve kalitesi, hesaplama gücü. Bu üçü, büyük modelin sonuç kalitesini ve genelleme yeteneğini birlikte etkiler. Parametre sayısının p, veri miktarının ise n( Token sayısı ile hesaplandığını varsayalım. Bu durumda, gereken hesaplama miktarını genel bir kural ile hesaplayabiliriz, böylece ne kadar hesaplama gücü satın almamız gerektiğini ve eğitim süresini tahmin edebiliriz.
![Yeni başlayanlar için bilgi丨AI x Kripto: Sıfırdan Zirveye])