Aktifkan Notifikasimu
Jadilah yang pertama menerima update berita penting dan informasi menarik lainnya.
Hitekno.com - Dalam terobosan yang mengejutkan, Microsoft telah meluncurkan model bahasa terbaru mereka, Phi-1, dengan 1,3 miliar parameter.
Berbeda dengan kepercayaan konvensional bahwa model yang lebih besar memiliki performa lebih baik, pendekatan Microsoft berfokus pada kualitas data pelatihan.
Dilansir dari Gizmochina, Phi-1, dilatih dengan dataset "tingkat buku teks" yang disusun dengan cermat, telah mengungguli GPT-3.5 dengan 100 miliar parameter.
Model bahasa Phi-1 dari Microsoft, yang dibangun dengan arsitektur Transformer, telah menarik perhatian karena performanya yang mengesankan.
Baca Juga
Tim di balik Phi-1 menekankan kualitas data pelatihan, yang berbeda dari tren umum dalam meningkatkan ukuran model.
Dengan menggunakan dataset berkualitas tinggi yang terdiri dari konten "tingkat buku teks" yang diperoleh dari internet, tim Microsoft memproses informasi tersebut menggunakan GPT-3.5. Dengan bantuan 8 GPU Nvidia A100, proses pelatihan selesai dalam waktu empat hari.
Menurut Microsoft, fokus pada peningkatan kualitas data pelatihan, bukan peningkatan jumlah parameter, telah menghasilkan hasil yang menjanjikan.
Dalam pengujian perbandingan, Phi-1 mencapai skor akurasi 50,6%, melampaui performa GPT-3.5 sebesar 47% dengan total 175 miliar parameter yang mencengangkan.
Microsoft berencana untuk membuka sumber daya Phi-1 di HuggingFace, yang akan memperkuat aksesibilitas dan potensi kolaboratif model bahasa ini.
Ini bukanlah kali pertama Microsoft mengembangkan model bahasa yang lebih kecil; sebelumnya, mereka memperkenalkan Orca, model 13 miliar parameter yang dilatih dengan data sintetis menggunakan GPT-4.
Bahkan Orca terbukti mengungguli ChatGPT. Makalah penelitian tentang Phi-1 telah dipublikasikan di arXiv, yang memberikan wawasan detail tentang arsitektur dan metodologi pelatihannya.
Bagi mereka yang tertarik untuk menjelajahi aspek teknis, makalah ini menawarkan gambaran komprehensif tentang perkembangan Phi-1.
Model bahasa Phi-1 dari Microsoft menantang pandangan bahwa peningkatan ukuran model diperlukan untuk performa yang lebih baik.
Dengan berfokus pada data pelatihan berkualitas tinggi, Phi-1 telah menunjukkan akurasi yang luar biasa, bahkan melampaui model yang lebih besar.
Pembukaan sumber daya Phi-1 juga menunjukkan komitmen Microsoft dalam memajukan bidang pemrosesan bahasa alami.
Terkini
- 10 Istilah AI yang Harus Diketahui
- Inovasi AI Nokia, Manfaatkan Natural Language Processing Lebih Lanjut
- Ekspansi Bespin Global di Indonesia, Bidik Pasar Cloud dan Generatif AI
- Hanya 17 Persen Organisasi Asia Pasifik Telah Efektif Berinovasi
- Keunggulan Mesin Motor Berteknologi Karburator dalam Modifikasi
- Gojek Luncurkan Jaket Baru, Berharap Bisa Memperkuat Semangat Gotong Royong
- Indonesia Privacy and Security Summit 2023: Tantangan Implementasi UU Pelindungan Data Pribadi
- 7 Cara Menjaga Keamanan Dokumen Digital Anda
- GrabCar Hadirkan Fitur Mode Hening, Perjalanan Lebih Tenang dan Minim Interaksi
- Visa Digital Nomad: Bekerja Sambil Liburan Keliling Dunia
Berita Terkait
-
Apa itu Google Gemini? Teknologi AI Pesaing ChatGPT
-
Microsoft Excel: Cara Mengubah Huruf Kecil Menjadi Huruf Besar
-
Opera Luncurkan Browser Versi Baru, Usung Fitur ala Microsoft Edge
-
Cara Membuat Teks Rata Tengah di Microsoft Word Terbaru 2023
-
3 Cara Memasang Video di PowerPoint, Presentasi Makin Menarik
-
Cara Mengubah Huruf Kecil Menjadi Huruf Besar di Microsoft Excel
-
Cara Menghilangkan Header dari Halaman Kedua di Microsoft Word
-
Microsoft Rilis Pembaruan Bing Chat Baru, Widget di iOS Kini Sudah Hadir
-
Laporan Unit 42 Palo Alto Networks: 66 Persen Malware Disebarkan Melalui PDF
-
Kendati Sudah Disentil OpenAI, Microsoft Nekat Meluncurkan Versi Terbaru Bing Chat