Model Bahasa Kecil Baru Buatan Microsoft Mampu Ungguli ChatGPT

Hitekno.com - Dalam terobosan yang mengejutkan, Microsoft telah meluncurkan model bahasa terbaru mereka, Phi-1, dengan 1,3 miliar parameter.

Berbeda dengan kepercayaan konvensional bahwa model yang lebih besar memiliki performa lebih baik, pendekatan Microsoft berfokus pada kualitas data pelatihan.

Dilansir dari Gizmochina, Phi-1, dilatih dengan dataset "tingkat buku teks" yang disusun dengan cermat, telah mengungguli GPT-3.5 dengan 100 miliar parameter.

Model bahasa Phi-1 dari Microsoft, yang dibangun dengan arsitektur Transformer, telah menarik perhatian karena performanya yang mengesankan.

Tim di balik Phi-1 menekankan kualitas data pelatihan, yang berbeda dari tren umum dalam meningkatkan ukuran model.

Dengan menggunakan dataset berkualitas tinggi yang terdiri dari konten "tingkat buku teks" yang diperoleh dari internet, tim Microsoft memproses informasi tersebut menggunakan GPT-3.5. Dengan bantuan 8 GPU Nvidia A100, proses pelatihan selesai dalam waktu empat hari.

Menurut Microsoft, fokus pada peningkatan kualitas data pelatihan, bukan peningkatan jumlah parameter, telah menghasilkan hasil yang menjanjikan.

Dalam pengujian perbandingan, Phi-1 mencapai skor akurasi 50,6%, melampaui performa GPT-3.5 sebesar 47% dengan total 175 miliar parameter yang mencengangkan.

Microsoft berencana untuk membuka sumber daya Phi-1 di HuggingFace, yang akan memperkuat aksesibilitas dan potensi kolaboratif model bahasa ini.

Ini bukanlah kali pertama Microsoft mengembangkan model bahasa yang lebih kecil; sebelumnya, mereka memperkenalkan Orca, model 13 miliar parameter yang dilatih dengan data sintetis menggunakan GPT-4.

Bahkan Orca terbukti mengungguli ChatGPT. Makalah penelitian tentang Phi-1 telah dipublikasikan di arXiv, yang memberikan wawasan detail tentang arsitektur dan metodologi pelatihannya.

Bagi mereka yang tertarik untuk menjelajahi aspek teknis, makalah ini menawarkan gambaran komprehensif tentang perkembangan Phi-1.

Model bahasa Phi-1 dari Microsoft menantang pandangan bahwa peningkatan ukuran model diperlukan untuk performa yang lebih baik.

Dengan berfokus pada data pelatihan berkualitas tinggi, Phi-1 telah menunjukkan akurasi yang luar biasa, bahkan melampaui model yang lebih besar.

Pembukaan sumber daya Phi-1 juga menunjukkan komitmen Microsoft dalam memajukan bidang pemrosesan bahasa alami.