PertanyaanBacaan 1 menit
Bagaimana cara kerja large language model
Large language model adalah program yang mempelajari pola dari teks tulisan dalam jumlah sangat besar, lalu memakai pola itu untuk menebak kata berikutnya, atau potongan kata berikutnya. Tebakan itu diulang terus-menerus sampai jadi kalimat, jawaban, esai, bahkan kode. Para peneliti masih memperdebatkan seberapa jauh model benar-benar memahami isinya.
bre Pertanyaan yang Dijawab di Podcast
Jawaban singkat
Large language model tidak menyimpan daftar jawaban siap pakai. Yang ada adalah kumpulan angka yang sangat besar, disebut parameter, yang disetel selama pelatihan sampai model makin jago menebak.
Tujuannya sederhana: menebak kata berikutnya dengan baik. Tapi untuk bisa melakukannya, model tampaknya harus menangkap tata bahasa, fakta, gaya bahasa, dan kebiasaan bernalar sepanjang jalan.
Apa yang sudah diketahui dan apa yang masih diperdebatkan
Model menghasilkan teks yang masuk akal secara pola, bukan kebenaran yang sudah dicek. Karena itu ia bisa terdengar yakin padahal salah, dan bisa mengarang detail. Hal ini dikenal sebagai halusinasi dan merupakan keterbatasan yang sudah diketahui.
Yang belum disepakati: seberapa jauh sebuah model benar-benar paham, dan bagaimana persisnya ia sampai pada jawaban tertentu. Para peneliti masih meneliti apa yang terjadi di dalam jaringan ini, dan pertanyaan terbuka itu bagian dari ceritanya.
Yang akan dibahas dalam episode di bre
Sebuah episode akan menelusuri bagian-bagiannya secara berurutan:
- Teks dipecah menjadi token, lalu tiap token diubah menjadi deretan angka yang bisa diolah model.
- Tugas intinya adalah menebak token berikutnya, dan rangkaian tebakan itu membentuk paragraf utuh.
- Desain transformer dan attention, yang membantu model menimbang kata-kata sebelumnya mana yang paling penting.
- Cara pelatihan menyesuaikan angka: model menebak, dinilai dengan teks asli, lalu parameternya digeser sedikit.
- Dari model mentah menjadi asisten lewat fine-tuning dengan contoh dan umpan balik.
- Mengapa model bisa keliru, dan apa artinya bagi cara memakainya, serta apa yang belum sepenuhnya dipahami.
Cara mendengarkan dan bertanya
Di bre, kamu cukup mengetik topik atau menambahkan catatanmu sendiri, lalu satu sampai tiga host AI membahasnya dalam bentuk podcast. Host-nya AI dan bisa salah juga, jadi anggap episode sebagai titik awal dan periksa lagi hal yang penting.
Saat mendengarkan, tekan Talk untuk bertanya pada host lewat suara atau ketikan. Host menjawab dari isi episode, atau bilang kalau hal itu tidak dibahas.
Pertanyaan yang sering diajukan
- Apakah large language model cuma autocomplete?
- Dasarnya sama, yaitu menebak apa yang datang berikutnya, tetapi skalanya jauh lebih besar dan desainnya menimbang banyak konteks. Skala itu membuatnya bisa menulis teks panjang yang runtut. Apakah itu berarti paham, masih diperdebatkan para peneliti.
- Dari mana model bahasa mendapat pengetahuannya?
- Dari pelatihan pada kumpulan teks yang sangat besar, seperti buku, situs web, dan kode. Model tidak menyimpan salinan dokumen itu seperti perpustakaan. Ia menyetel angkanya untuk menangkap pola, makanya ingatannya terhadap fakta bisa kurang sempurna.
- Mengapa model bahasa suka mengarang?
- Model dilatih untuk menghasilkan teks yang masuk akal, bukan untuk memeriksa fakta. Kalau polanya mengarah ke jawaban yang terdengar benar tapi keliru, model bisa tetap menyampaikannya dengan yakin. Ini sering disebut halusinasi dan merupakan keterbatasan yang sudah diketahui.
- Apa itu transformer dalam model bahasa?
- Transformer adalah desain jaringan saraf di balik sebagian besar model bahasa modern. Fitur utamanya, attention, membuat model menimbang seberapa relevan tiap kata sebelumnya saat menebak kata berikutnya, sehingga lebih mampu menangani teks panjang dan konteks.
Pertanyaan yang Dijawab di Podcast
- Seberapa besar alam semesta?Alam semesta teramati selebar sekitar 93 miliar tahun cahaya. Seluruhnya bisa jauh lebih besar atau tak terhingga. Ini yang kita tahu dan belum.
- Bagaimana statistik bisa menyesatkan kita?Statistik bisa menyesatkan lewat rata-rata, sampel, persentase, dan grafik tanpa satu angka pun yang salah. Begini caranya dan apa yang perlu ditanyakan.
- Bagaimana awal mula musik jazzJazz tumbuh di New Orleans pada awal 1900-an dari blues, ragtime, musik band tiup, dan tradisi musik Afrika. Ini ceritanya dan bagian yang masih samar.
- Bagaimana kehidupan pertama kali muncul di BumiBelum ada yang tahu pasti bagaimana kehidupan bermula di Bumi. Simak apa yang sudah diketahui, apa yang masih diperdebatkan, dan cara episode bre membahasnya.
- Bagaimana alfabet berkembang dari masa ke masaTelusuri alfabet dari hieroglif Mesir dan penutur Semit ke huruf Fenisia, Yunani, dan Latin, lengkap dengan bagian yang buktinya masih belum pasti.
- Bagaimana Wabah Hitam mengubah EropaWabah Hitam menewaskan sangat banyak orang di Eropa pada 1340-an. Simak dampaknya pada tenaga kerja, upah, Gereja, dan hidup sehari-hari.
Setiap episode dibuat oleh AI saat kamu bertanya, jadi bisa keliru atau sudah usang; periksa kembali hal yang penting. Untuk minat dan belajar, bukan saran medis, keuangan, atau hukum.