Perkembangan industri AI baru-baru ini dianggap oleh beberapa orang sebagai revolusi industri keempat. Munculnya model besar secara signifikan meningkatkan efisiensi di berbagai sektor, dan Boston Consulting menyatakan bahwa GPT telah meningkatkan efisiensi kerja di AS sekitar 20%. Sementara itu, kemampuan generalisasi yang dibawa oleh model besar dianggap sebagai paradigma desain perangkat lunak baru, beralih dari desain kode yang tepat di masa lalu ke kerangka model besar yang lebih umum yang disematkan dalam perangkat lunak, sehingga perangkat lunak memiliki kinerja yang lebih baik dan mendukung input dan output modal yang lebih luas. Teknologi pembelajaran mendalam memang membawa kemakmuran keempat bagi industri AI, dan gelombang ini juga mempengaruhi industri cryptocurrency.
Laporan ini akan membahas secara mendetail sejarah perkembangan industri AI, klasifikasi teknologi, serta dampak penemuan teknologi pembelajaran mendalam terhadap industri. Kemudian, akan dianalisis secara mendalam rantai industri hulu dan hilir dalam pembelajaran mendalam seperti GPU, komputasi awan, sumber data, dan perangkat tepi serta kondisi dan tren perkembangannya. Terakhir, laporan ini secara esensial akan membahas hubungan antara cryptocurrency dan industri AI, serta menyusun pola rantai industri AI terkait cryptocurrency.
Sejarah Pengembangan Industri AI
Industri AI dimulai dari tahun 1950-an, untuk mewujudkan visi kecerdasan buatan, akademisi dan industri di berbagai era dan latar belakang disiplin yang berbeda, mengembangkan berbagai aliran untuk mewujudkan kecerdasan buatan.
Teknologi kecerdasan buatan modern terutama menggunakan istilah "machine learning", yang merupakan konsep di mana mesin mengandalkan data untuk berulang kali beriterasi dalam tugas untuk meningkatkan kinerja sistem. Langkah utama adalah mengirimkan data ke algoritma, menggunakan data ini untuk melatih model, menguji dan menerapkan model, serta menggunakan model untuk menyelesaikan tugas prediksi otomatis.
Saat ini, ada tiga aliran utama dalam pembelajaran mesin, yaitu koneksionisme, simbolisme, dan behaviorisme, yang masing-masing meniru sistem saraf manusia, pemikiran, dan perilaku.
Saat ini, konektivisme yang diwakili oleh jaringan saraf mendominasi ( yang juga dikenal sebagai pembelajaran mendalam ). Alasan utamanya adalah arsitektur ini memiliki satu lapisan input, satu lapisan output, tetapi memiliki beberapa lapisan tersembunyi. Begitu jumlah lapisan dan neuron ( parameter ) cukup banyak, akan ada cukup kesempatan untuk menyesuaikan tugas umum yang kompleks. Melalui input data, parameter neuron dapat disesuaikan terus menerus. Setelah mengalami banyak data, neuron tersebut akan mencapai kondisi optimal ( parameter ), inilah yang disebut "kedalaman" - jumlah lapisan dan neuron yang cukup banyak.
Sebagai contoh, dapat dipahami dengan sederhana bahwa telah dibangun sebuah fungsi, di mana fungsi tersebut menghasilkan Y=3 saat X=2, dan Y=5 saat X=3. Jika ingin agar fungsi ini dapat menangani semua nilai X, maka perlu terus menambahkan derajat fungsi dan parameternya. Misalnya, dapat dibangun fungsi yang memenuhi kondisi ini yaitu Y = 2X -1, tetapi jika ada data di mana X=2, Y=11, maka perlu membangun kembali fungsi yang sesuai dengan ketiga titik data ini, menggunakan GPU untuk melakukan brute force menemukan Y = X2 -3X +5 yang cukup sesuai, tetapi tidak perlu sepenuhnya cocok dengan data, hanya perlu mematuhi keseimbangan, output yang kira-kira mirip sudah cukup. Di sini, X2 dan X, X0 mewakili neuron yang berbeda, sementara 1, -3, 5 adalah parameternya.
Pada saat ini, jika memasukkan sejumlah besar data ke dalam jaringan saraf, dapat menambah neuron dan parameter iterasi untuk menyesuaikan data baru, sehingga dapat menyesuaikan semua data.
Teknologi pembelajaran mendalam berbasis jaringan saraf juga mengalami beberapa iterasi dan evolusi teknologi, dari jaringan saraf awal, hingga jaringan saraf umpan maju, RNN, CNN, GAN, akhirnya berevolusi menjadi model besar modern seperti GPT yang menggunakan teknologi Transformer. Teknologi Transformer hanyalah salah satu arah evolusi jaringan saraf, yang menambahkan sebuah pengonversi ( Transformer ), untuk mengkodekan semua modalitas ( seperti audio, video, gambar, dll ) menjadi nilai yang sesuai untuk merepresentasikan, dan kemudian memasukkannya ke dalam jaringan saraf, sehingga jaringan saraf dapat menyesuaikan dengan jenis data apa pun, yaitu untuk mencapai multimodal.
Perkembangan AI telah mengalami tiga gelombang teknologi. Gelombang pertama terjadi pada tahun 1960-an, yaitu sepuluh tahun setelah teknologi AI diusulkan. Gelombang ini dipicu oleh perkembangan teknologi simbolik, yang menyelesaikan masalah pemrosesan bahasa alami umum dan dialog manusia-mesin. Pada saat yang sama, sistem pakar lahir, yaitu sistem pakar DENRAL yang diselesaikan di bawah pengawasan NASA oleh Universitas Stanford. Sistem ini memiliki pengetahuan kimia yang sangat kuat, melakukan inferensi melalui pertanyaan untuk menghasilkan jawaban yang sama dengan ahli kimia. Sistem pakar kimia ini dapat dianggap sebagai kombinasi dari basis pengetahuan kimia dan sistem inferensi.
Setelah sistem pakar, pada tahun 1990-an, ilmuwan dan filsuf asal Israel yang tinggal di Amerika, Judea Pearl(, mengusulkan jaringan Bayesian, yang juga dikenal sebagai jaringan kepercayaan. Pada periode yang sama, Brooks mengusulkan robotika berbasis perilaku, menandai lahirnya behaviorisme.
Pada tahun 1997, sistem komputer Deep Blue yang dikembangkan oleh sebuah perusahaan teknologi terkenal mengalahkan juara catur Garry Kasparov dengan skor 3.5:2.5, kemenangan ini dianggap sebagai tonggak sejarah dalam kecerdasan buatan, dan teknologi AI memasuki puncak perkembangan kedua.
Gelombang ketiga teknologi AI terjadi pada tahun 2006. Tiga raksasa pembelajaran mendalam, Yann LeCun, Geoffrey Hinton, dan Yoshua Bengio, mengusulkan konsep pembelajaran mendalam, sebuah algoritma yang menggunakan jaringan saraf buatan sebagai arsitektur untuk melakukan pembelajaran representasi data. Setelah itu, algoritma pembelajaran mendalam secara bertahap berevolusi, dari RNN, GAN hingga Transformer dan Stable Diffusion, kedua algoritma ini secara bersama-sama membentuk gelombang teknologi ketiga ini, dan ini juga merupakan masa kejayaan koneksionisme.
Banyak peristiwa ikonik juga muncul seiring dengan eksplorasi dan evolusi teknologi pembelajaran mendalam, termasuk:
Pada tahun 2011, Watson) dari perusahaan teknologi terkenal berhasil mengalahkan manusia dan meraih juara dalam acara kuis "Jeopardy(".
Pada tahun 2014, Goodfellow mengusulkan GAN) Jaringan Generatif Adversarial, Generative Adversarial Network(, yang dapat menghasilkan foto yang tampak nyata dengan cara membiarkan dua jaringan saraf saling berkompetisi untuk belajar. Sementara itu, Goodfellow juga menulis sebuah buku berjudul "Deep Learning", yang disebut buku bunga, merupakan salah satu buku pengantar penting di bidang pembelajaran mendalam.
Pada tahun 2015, Hinton dan rekan-rekannya mengajukan algoritma pembelajaran mendalam dalam jurnal "Nature", metode pembelajaran mendalam ini segera memicu reaksi besar di kalangan akademisi dan industri.
Pada tahun 2015, sebuah lembaga penelitian AI ternama didirikan, dan beberapa tokoh terkenal mengumumkan investasi bersama sebesar 1 miliar dolar AS.
Pada tahun 2016, AlphaGo yang berbasis teknologi pembelajaran mendalam melawan juara dunia Go, pemain profesional sembilan dan Li Shishi, dengan skor total 4-1.
Pada tahun 2017, sebuah perusahaan robot terkenal mengembangkan robot humanoid bernama Sophia, yang disebut sebagai robot pertama dalam sejarah yang mendapatkan status kewarganegaraan satu kelas, dengan kemampuan ekspresi wajah yang kaya serta pemahaman bahasa manusia.
Pada tahun 2017, sebuah perusahaan teknologi terkenal yang memiliki banyak bakat dan cadangan teknologi di bidang kecerdasan buatan menerbitkan makalah berjudul "Attention is all you need" yang memperkenalkan algoritma Transformer, dan model bahasa berskala besar mulai muncul.
Pada tahun 2018, sebuah lembaga penelitian AI terkenal merilis GPT)Generative Pre-trained Transformer( yang dibangun berdasarkan algoritma Transformer, yang merupakan salah satu model bahasa terbesar pada saat itu.
Pada tahun 2018, sebuah tim AI terkenal merilis AlphaGo yang berbasis pembelajaran mendalam, mampu memprediksi struktur protein, dianggap sebagai tanda kemajuan besar di bidang kecerdasan buatan.
Pada tahun 2019, sebuah lembaga penelitian AI terkenal merilis GPT-2, model ini memiliki 1,5 miliar parameter.
Pada tahun 2020, sebuah lembaga penelitian AI terkenal mengembangkan GPT-3, yang memiliki 175 miliar parameter, 100 kali lebih tinggi dari versi sebelumnya, GPT-2. Model ini dilatih menggunakan 570GB teks dan dapat mencapai kinerja terdepan dalam berbagai tugas NLP) seperti menjawab pertanyaan, menerjemahkan, dan menulis artikel(.
Pada tahun 2021, sebuah lembaga penelitian AI terkemuka merilis GPT-4, model ini memiliki 1,76 triliun parameter, sepuluh kali lipat dari GPT-3.
Aplikasi ChatGPT berbasis model GPT-4 diluncurkan pada Januari 2023, pada bulan Maret ChatGPT mencapai seratus juta pengguna, menjadi aplikasi yang paling cepat mencapai seratus juta pengguna dalam sejarah.
Pada tahun 2024, sebuah lembaga penelitian AI terkenal meluncurkan GPT-4 omni.
Catatan: Karena banyaknya makalah tentang kecerdasan buatan, berbagai aliran, dan evolusi teknologi yang berbeda, di sini terutama mengikuti sejarah perkembangan pembelajaran mendalam atau koneksionisme, sementara aliran dan teknologi lainnya masih berada dalam proses perkembangan yang cepat.
![Pengenalan untuk Pemula丨AI x Crypto: Dari Nol ke Puncak])https://img-cdn.gateio.im/webp-social/moments-0c9bdea33a39a2c07d1f06760ed7e804.webp(
Rantai industri pembelajaran mendalam
Model bahasa besar saat ini menggunakan metode pembelajaran mendalam berbasis jaringan saraf. Dipimpin oleh GPT, model besar ini menciptakan gelombang baru dalam kecerdasan buatan, dengan banyak pemain memasuki jalur ini, kita juga melihat permintaan pasar untuk data dan daya komputasi meningkat secara signifikan. Oleh karena itu, dalam bagian laporan ini, kami terutama menjelajahi rantai industri algoritma pembelajaran mendalam, bagaimana hulu dan hilir di industri AI yang didominasi oleh algoritma pembelajaran mendalam ini terbentuk, serta bagaimana kondisi saat ini dan hubungan penawaran dan permintaan, serta perkembangan di masa depan.
Pertama-tama, yang perlu kita klarifikasi adalah bahwa saat melakukan pelatihan model besar berbasis LLMs yang dipimpin oleh GPT dengan teknologi Transformer), terdapat tiga langkah yang harus diikuti.
Sebelum pelatihan, karena berbasis Transformer, konverter perlu mengubah input teks menjadi nilai, proses ini disebut "Tokenization", setelah itu nilai-nilai ini disebut Token. Dalam aturan umum, satu kata atau karakter dalam bahasa Inggris dapat dianggap sebagai satu Token, sedangkan setiap karakter Tionghoa dapat dianggap sebagai dua Token. Ini juga merupakan unit dasar yang digunakan dalam penilaian GPT.
Langkah pertama, pra-pelatihan. Dengan memberikan lapisan input cukup banyak pasangan data, seperti yang dicontohkan pada bagian pertama laporan (X,Y), untuk mencari parameter terbaik dari setiap neuron di bawah model tersebut, pada saat ini diperlukan banyak data, dan proses ini juga merupakan proses yang paling memakan daya komputasi, karena neuron harus diulang-ulang mencoba berbagai parameter. Setelah satu batch pasangan data selesai dilatih, biasanya akan menggunakan batch data yang sama untuk pelatihan kedua guna mengiterasi parameter.
Langkah kedua, fine-tuning. Fine-tuning adalah memberikan sejumlah data yang lebih sedikit, tetapi berkualitas sangat tinggi, untuk melatih, perubahan semacam ini akan membuat keluaran model memiliki kualitas yang lebih tinggi, karena pre-training membutuhkan banyak data, tetapi banyak data mungkin mengandung kesalahan atau berkualitas rendah. Langkah fine-tuning dapat meningkatkan kualitas model melalui data berkualitas tinggi.
Langkah ketiga, pembelajaran penguatan. Pertama, akan dibangun sebuah model baru yang kita sebut "model penghargaan", tujuan dari model ini sangat sederhana, yaitu untuk mengurutkan hasil keluaran, sehingga implementasi model ini akan cukup sederhana, karena skenario bisnisnya cukup vertikal. Setelah itu, model ini digunakan untuk menentukan apakah keluaran dari model besar kita berkualitas tinggi, sehingga kita dapat menggunakan model penghargaan untuk secara otomatis mengiterasi parameter model besar. ( Namun kadang-kadang juga diperlukan keterlibatan manusia untuk menilai kualitas keluaran model )
Singkatnya, dalam proses pelatihan model besar, pra-pelatihan memiliki tuntutan yang sangat tinggi terhadap jumlah data, dan kekuatan komputasi GPU yang dibutuhkan juga paling banyak, sementara penyetelan memerlukan data berkualitas lebih tinggi untuk memperbaiki parameter, pembelajaran penguatan dapat mengulang parameter melalui model penghargaan untuk menghasilkan hasil yang lebih berkualitas.
Selama proses pelatihan, semakin banyak parameter, maka batasan kemampuan generalisasi semakin tinggi. Misalnya, dalam contoh fungsi Y = aX + b, sebenarnya ada dua neuron X dan X0, sehingga variasi parameter sangat terbatas dalam data yang dapat diusulkan, karena pada dasarnya tetap merupakan garis lurus. Jika jumlah neuron lebih banyak, maka lebih banyak parameter dapat diiterasi, sehingga dapat menyesuaikan lebih banyak data. Inilah mengapa model besar menghasilkan keajaiban, dan juga mengapa disebut model besar, pada dasarnya terdiri dari jumlah neuron dan parameter yang sangat besar, serta data yang sangat besar, yang juga memerlukan daya komputasi yang sangat besar.
Oleh karena itu, kinerja model besar terutama ditentukan oleh tiga aspek: jumlah parameter, jumlah dan kualitas data, serta daya komputasi. Ketiga aspek ini secara bersama-sama mempengaruhi kualitas hasil dan kemampuan generalisasi model besar. Kita asumsikan jumlah parameter adalah p, jumlah data adalah n( dihitung berdasarkan jumlah Token), maka kita dapat menghitung kebutuhan daya komputasi yang diperlukan dengan menggunakan aturan praktis umum, sehingga kita dapat memperkirakan kebutuhan daya komputasi yang perlu dibeli serta waktu pelatihan.
 dan tidak boleh dianggap sebagai dukungan terhadap pandangannya oleh Gate, atau sebagai nasihat keuangan atau profesional. Lihat Penafian untuk detailnya.
Kedalaman Analisis: Perpaduan AI dan Aset Kripto dari Sejarah Perkembangan hingga Panorama Rantai Industri
AI x Crypto: Dari Nol ke Puncak
Perkembangan industri AI baru-baru ini dianggap oleh beberapa orang sebagai revolusi industri keempat. Munculnya model besar secara signifikan meningkatkan efisiensi di berbagai sektor, dan Boston Consulting menyatakan bahwa GPT telah meningkatkan efisiensi kerja di AS sekitar 20%. Sementara itu, kemampuan generalisasi yang dibawa oleh model besar dianggap sebagai paradigma desain perangkat lunak baru, beralih dari desain kode yang tepat di masa lalu ke kerangka model besar yang lebih umum yang disematkan dalam perangkat lunak, sehingga perangkat lunak memiliki kinerja yang lebih baik dan mendukung input dan output modal yang lebih luas. Teknologi pembelajaran mendalam memang membawa kemakmuran keempat bagi industri AI, dan gelombang ini juga mempengaruhi industri cryptocurrency.
Laporan ini akan membahas secara mendetail sejarah perkembangan industri AI, klasifikasi teknologi, serta dampak penemuan teknologi pembelajaran mendalam terhadap industri. Kemudian, akan dianalisis secara mendalam rantai industri hulu dan hilir dalam pembelajaran mendalam seperti GPU, komputasi awan, sumber data, dan perangkat tepi serta kondisi dan tren perkembangannya. Terakhir, laporan ini secara esensial akan membahas hubungan antara cryptocurrency dan industri AI, serta menyusun pola rantai industri AI terkait cryptocurrency.
Sejarah Pengembangan Industri AI
Industri AI dimulai dari tahun 1950-an, untuk mewujudkan visi kecerdasan buatan, akademisi dan industri di berbagai era dan latar belakang disiplin yang berbeda, mengembangkan berbagai aliran untuk mewujudkan kecerdasan buatan.
Teknologi kecerdasan buatan modern terutama menggunakan istilah "machine learning", yang merupakan konsep di mana mesin mengandalkan data untuk berulang kali beriterasi dalam tugas untuk meningkatkan kinerja sistem. Langkah utama adalah mengirimkan data ke algoritma, menggunakan data ini untuk melatih model, menguji dan menerapkan model, serta menggunakan model untuk menyelesaikan tugas prediksi otomatis.
Saat ini, ada tiga aliran utama dalam pembelajaran mesin, yaitu koneksionisme, simbolisme, dan behaviorisme, yang masing-masing meniru sistem saraf manusia, pemikiran, dan perilaku.
Saat ini, konektivisme yang diwakili oleh jaringan saraf mendominasi ( yang juga dikenal sebagai pembelajaran mendalam ). Alasan utamanya adalah arsitektur ini memiliki satu lapisan input, satu lapisan output, tetapi memiliki beberapa lapisan tersembunyi. Begitu jumlah lapisan dan neuron ( parameter ) cukup banyak, akan ada cukup kesempatan untuk menyesuaikan tugas umum yang kompleks. Melalui input data, parameter neuron dapat disesuaikan terus menerus. Setelah mengalami banyak data, neuron tersebut akan mencapai kondisi optimal ( parameter ), inilah yang disebut "kedalaman" - jumlah lapisan dan neuron yang cukup banyak.
Sebagai contoh, dapat dipahami dengan sederhana bahwa telah dibangun sebuah fungsi, di mana fungsi tersebut menghasilkan Y=3 saat X=2, dan Y=5 saat X=3. Jika ingin agar fungsi ini dapat menangani semua nilai X, maka perlu terus menambahkan derajat fungsi dan parameternya. Misalnya, dapat dibangun fungsi yang memenuhi kondisi ini yaitu Y = 2X -1, tetapi jika ada data di mana X=2, Y=11, maka perlu membangun kembali fungsi yang sesuai dengan ketiga titik data ini, menggunakan GPU untuk melakukan brute force menemukan Y = X2 -3X +5 yang cukup sesuai, tetapi tidak perlu sepenuhnya cocok dengan data, hanya perlu mematuhi keseimbangan, output yang kira-kira mirip sudah cukup. Di sini, X2 dan X, X0 mewakili neuron yang berbeda, sementara 1, -3, 5 adalah parameternya.
Pada saat ini, jika memasukkan sejumlah besar data ke dalam jaringan saraf, dapat menambah neuron dan parameter iterasi untuk menyesuaikan data baru, sehingga dapat menyesuaikan semua data.
Teknologi pembelajaran mendalam berbasis jaringan saraf juga mengalami beberapa iterasi dan evolusi teknologi, dari jaringan saraf awal, hingga jaringan saraf umpan maju, RNN, CNN, GAN, akhirnya berevolusi menjadi model besar modern seperti GPT yang menggunakan teknologi Transformer. Teknologi Transformer hanyalah salah satu arah evolusi jaringan saraf, yang menambahkan sebuah pengonversi ( Transformer ), untuk mengkodekan semua modalitas ( seperti audio, video, gambar, dll ) menjadi nilai yang sesuai untuk merepresentasikan, dan kemudian memasukkannya ke dalam jaringan saraf, sehingga jaringan saraf dapat menyesuaikan dengan jenis data apa pun, yaitu untuk mencapai multimodal.
Perkembangan AI telah mengalami tiga gelombang teknologi. Gelombang pertama terjadi pada tahun 1960-an, yaitu sepuluh tahun setelah teknologi AI diusulkan. Gelombang ini dipicu oleh perkembangan teknologi simbolik, yang menyelesaikan masalah pemrosesan bahasa alami umum dan dialog manusia-mesin. Pada saat yang sama, sistem pakar lahir, yaitu sistem pakar DENRAL yang diselesaikan di bawah pengawasan NASA oleh Universitas Stanford. Sistem ini memiliki pengetahuan kimia yang sangat kuat, melakukan inferensi melalui pertanyaan untuk menghasilkan jawaban yang sama dengan ahli kimia. Sistem pakar kimia ini dapat dianggap sebagai kombinasi dari basis pengetahuan kimia dan sistem inferensi.
Setelah sistem pakar, pada tahun 1990-an, ilmuwan dan filsuf asal Israel yang tinggal di Amerika, Judea Pearl(, mengusulkan jaringan Bayesian, yang juga dikenal sebagai jaringan kepercayaan. Pada periode yang sama, Brooks mengusulkan robotika berbasis perilaku, menandai lahirnya behaviorisme.
Pada tahun 1997, sistem komputer Deep Blue yang dikembangkan oleh sebuah perusahaan teknologi terkenal mengalahkan juara catur Garry Kasparov dengan skor 3.5:2.5, kemenangan ini dianggap sebagai tonggak sejarah dalam kecerdasan buatan, dan teknologi AI memasuki puncak perkembangan kedua.
Gelombang ketiga teknologi AI terjadi pada tahun 2006. Tiga raksasa pembelajaran mendalam, Yann LeCun, Geoffrey Hinton, dan Yoshua Bengio, mengusulkan konsep pembelajaran mendalam, sebuah algoritma yang menggunakan jaringan saraf buatan sebagai arsitektur untuk melakukan pembelajaran representasi data. Setelah itu, algoritma pembelajaran mendalam secara bertahap berevolusi, dari RNN, GAN hingga Transformer dan Stable Diffusion, kedua algoritma ini secara bersama-sama membentuk gelombang teknologi ketiga ini, dan ini juga merupakan masa kejayaan koneksionisme.
Banyak peristiwa ikonik juga muncul seiring dengan eksplorasi dan evolusi teknologi pembelajaran mendalam, termasuk:
Pada tahun 2011, Watson) dari perusahaan teknologi terkenal berhasil mengalahkan manusia dan meraih juara dalam acara kuis "Jeopardy(".
Pada tahun 2014, Goodfellow mengusulkan GAN) Jaringan Generatif Adversarial, Generative Adversarial Network(, yang dapat menghasilkan foto yang tampak nyata dengan cara membiarkan dua jaringan saraf saling berkompetisi untuk belajar. Sementara itu, Goodfellow juga menulis sebuah buku berjudul "Deep Learning", yang disebut buku bunga, merupakan salah satu buku pengantar penting di bidang pembelajaran mendalam.
Pada tahun 2015, Hinton dan rekan-rekannya mengajukan algoritma pembelajaran mendalam dalam jurnal "Nature", metode pembelajaran mendalam ini segera memicu reaksi besar di kalangan akademisi dan industri.
Pada tahun 2015, sebuah lembaga penelitian AI ternama didirikan, dan beberapa tokoh terkenal mengumumkan investasi bersama sebesar 1 miliar dolar AS.
Pada tahun 2016, AlphaGo yang berbasis teknologi pembelajaran mendalam melawan juara dunia Go, pemain profesional sembilan dan Li Shishi, dengan skor total 4-1.
Pada tahun 2017, sebuah perusahaan robot terkenal mengembangkan robot humanoid bernama Sophia, yang disebut sebagai robot pertama dalam sejarah yang mendapatkan status kewarganegaraan satu kelas, dengan kemampuan ekspresi wajah yang kaya serta pemahaman bahasa manusia.
Pada tahun 2017, sebuah perusahaan teknologi terkenal yang memiliki banyak bakat dan cadangan teknologi di bidang kecerdasan buatan menerbitkan makalah berjudul "Attention is all you need" yang memperkenalkan algoritma Transformer, dan model bahasa berskala besar mulai muncul.
Pada tahun 2018, sebuah lembaga penelitian AI terkenal merilis GPT)Generative Pre-trained Transformer( yang dibangun berdasarkan algoritma Transformer, yang merupakan salah satu model bahasa terbesar pada saat itu.
Pada tahun 2018, sebuah tim AI terkenal merilis AlphaGo yang berbasis pembelajaran mendalam, mampu memprediksi struktur protein, dianggap sebagai tanda kemajuan besar di bidang kecerdasan buatan.
Pada tahun 2019, sebuah lembaga penelitian AI terkenal merilis GPT-2, model ini memiliki 1,5 miliar parameter.
Pada tahun 2020, sebuah lembaga penelitian AI terkenal mengembangkan GPT-3, yang memiliki 175 miliar parameter, 100 kali lebih tinggi dari versi sebelumnya, GPT-2. Model ini dilatih menggunakan 570GB teks dan dapat mencapai kinerja terdepan dalam berbagai tugas NLP) seperti menjawab pertanyaan, menerjemahkan, dan menulis artikel(.
Pada tahun 2021, sebuah lembaga penelitian AI terkemuka merilis GPT-4, model ini memiliki 1,76 triliun parameter, sepuluh kali lipat dari GPT-3.
Aplikasi ChatGPT berbasis model GPT-4 diluncurkan pada Januari 2023, pada bulan Maret ChatGPT mencapai seratus juta pengguna, menjadi aplikasi yang paling cepat mencapai seratus juta pengguna dalam sejarah.
Pada tahun 2024, sebuah lembaga penelitian AI terkenal meluncurkan GPT-4 omni.
Catatan: Karena banyaknya makalah tentang kecerdasan buatan, berbagai aliran, dan evolusi teknologi yang berbeda, di sini terutama mengikuti sejarah perkembangan pembelajaran mendalam atau koneksionisme, sementara aliran dan teknologi lainnya masih berada dalam proses perkembangan yang cepat.
![Pengenalan untuk Pemula丨AI x Crypto: Dari Nol ke Puncak])https://img-cdn.gateio.im/webp-social/moments-0c9bdea33a39a2c07d1f06760ed7e804.webp(
Rantai industri pembelajaran mendalam
Model bahasa besar saat ini menggunakan metode pembelajaran mendalam berbasis jaringan saraf. Dipimpin oleh GPT, model besar ini menciptakan gelombang baru dalam kecerdasan buatan, dengan banyak pemain memasuki jalur ini, kita juga melihat permintaan pasar untuk data dan daya komputasi meningkat secara signifikan. Oleh karena itu, dalam bagian laporan ini, kami terutama menjelajahi rantai industri algoritma pembelajaran mendalam, bagaimana hulu dan hilir di industri AI yang didominasi oleh algoritma pembelajaran mendalam ini terbentuk, serta bagaimana kondisi saat ini dan hubungan penawaran dan permintaan, serta perkembangan di masa depan.
Pertama-tama, yang perlu kita klarifikasi adalah bahwa saat melakukan pelatihan model besar berbasis LLMs yang dipimpin oleh GPT dengan teknologi Transformer), terdapat tiga langkah yang harus diikuti.
Sebelum pelatihan, karena berbasis Transformer, konverter perlu mengubah input teks menjadi nilai, proses ini disebut "Tokenization", setelah itu nilai-nilai ini disebut Token. Dalam aturan umum, satu kata atau karakter dalam bahasa Inggris dapat dianggap sebagai satu Token, sedangkan setiap karakter Tionghoa dapat dianggap sebagai dua Token. Ini juga merupakan unit dasar yang digunakan dalam penilaian GPT.
Langkah pertama, pra-pelatihan. Dengan memberikan lapisan input cukup banyak pasangan data, seperti yang dicontohkan pada bagian pertama laporan (X,Y), untuk mencari parameter terbaik dari setiap neuron di bawah model tersebut, pada saat ini diperlukan banyak data, dan proses ini juga merupakan proses yang paling memakan daya komputasi, karena neuron harus diulang-ulang mencoba berbagai parameter. Setelah satu batch pasangan data selesai dilatih, biasanya akan menggunakan batch data yang sama untuk pelatihan kedua guna mengiterasi parameter.
Langkah kedua, fine-tuning. Fine-tuning adalah memberikan sejumlah data yang lebih sedikit, tetapi berkualitas sangat tinggi, untuk melatih, perubahan semacam ini akan membuat keluaran model memiliki kualitas yang lebih tinggi, karena pre-training membutuhkan banyak data, tetapi banyak data mungkin mengandung kesalahan atau berkualitas rendah. Langkah fine-tuning dapat meningkatkan kualitas model melalui data berkualitas tinggi.
Langkah ketiga, pembelajaran penguatan. Pertama, akan dibangun sebuah model baru yang kita sebut "model penghargaan", tujuan dari model ini sangat sederhana, yaitu untuk mengurutkan hasil keluaran, sehingga implementasi model ini akan cukup sederhana, karena skenario bisnisnya cukup vertikal. Setelah itu, model ini digunakan untuk menentukan apakah keluaran dari model besar kita berkualitas tinggi, sehingga kita dapat menggunakan model penghargaan untuk secara otomatis mengiterasi parameter model besar. ( Namun kadang-kadang juga diperlukan keterlibatan manusia untuk menilai kualitas keluaran model )
Singkatnya, dalam proses pelatihan model besar, pra-pelatihan memiliki tuntutan yang sangat tinggi terhadap jumlah data, dan kekuatan komputasi GPU yang dibutuhkan juga paling banyak, sementara penyetelan memerlukan data berkualitas lebih tinggi untuk memperbaiki parameter, pembelajaran penguatan dapat mengulang parameter melalui model penghargaan untuk menghasilkan hasil yang lebih berkualitas.
Selama proses pelatihan, semakin banyak parameter, maka batasan kemampuan generalisasi semakin tinggi. Misalnya, dalam contoh fungsi Y = aX + b, sebenarnya ada dua neuron X dan X0, sehingga variasi parameter sangat terbatas dalam data yang dapat diusulkan, karena pada dasarnya tetap merupakan garis lurus. Jika jumlah neuron lebih banyak, maka lebih banyak parameter dapat diiterasi, sehingga dapat menyesuaikan lebih banyak data. Inilah mengapa model besar menghasilkan keajaiban, dan juga mengapa disebut model besar, pada dasarnya terdiri dari jumlah neuron dan parameter yang sangat besar, serta data yang sangat besar, yang juga memerlukan daya komputasi yang sangat besar.
Oleh karena itu, kinerja model besar terutama ditentukan oleh tiga aspek: jumlah parameter, jumlah dan kualitas data, serta daya komputasi. Ketiga aspek ini secara bersama-sama mempengaruhi kualitas hasil dan kemampuan generalisasi model besar. Kita asumsikan jumlah parameter adalah p, jumlah data adalah n( dihitung berdasarkan jumlah Token), maka kita dapat menghitung kebutuhan daya komputasi yang diperlukan dengan menggunakan aturan praktis umum, sehingga kita dapat memperkirakan kebutuhan daya komputasi yang perlu dibeli serta waktu pelatihan.
![Pendidikan Pemula丨AI x Crypto：Dari Nol ke Puncak](