Meta Luncurkan Llama 3, Model AI Open Source

Meta, perusahaan induk Facebook, baru saja meluncurkan generasi terbaru model AI open source mereka yang diberi nama Llama 3. Model ini merupakan penerus dari Llama 2 yang dirilis tahun 2023 lalu dengan berbagai peningkatan kemampuan. Saat ini, Llama 3 tersedia dalam dua varian, yaitu Llama 3 8B dan Llama 3 70B.Berikut adalah lima fakta menarik seputar Llama 3 yang membedakannya dan membuatnya begitu dinanti-nantikan dalam dunia kecerdasan buatan.

1. Keunggulan dalam Uji Kemampuan Standar

Salah satu hal yang membuat Llama 3 begitu menonjol adalah keunggulannya dalam berbagai uji kemampuan standar. Dalam dunia kecerdasan buatan, kehebatan sebuah model sering diukur melalui sejumlah uji yang disebut sebagai benchmark. Meta dengan bangga mengklaim bahwa varian Llama 3 8B, yang memiliki 8 miliar parameter, mampu mengungguli beberapa model sekelasnya seperti Mistral 7B dan Gemma 7B dalam setidaknya 9 benchmark yang berbeda. Ini mencakup uji seperti MMLU untuk menilai pengetahuan umum, ARC untuk mengukur kemampuan pemecahan masalah, dan DROP untuk menguji pemahaman bacaan. Lebih impresif lagi, varian Llama 3 70B, dengan 70 miliar parameter, diklaim dapat bersaing dengan model-model AI papan atas seperti Gemini 1.5 Pro dari Google dan Claude 3 Sonnet dari Anthropic. Bahkan, dalam beberapa benchmark seperti MMLU, HumanEval (yang mengukur kemampuan pemrograman), dan GSM-8K (yang menguji keterampilan matematika), Llama 3 70B dilaporkan mengungguli kedua model tersebut.

2. Peningkatan Kualitas dan Kuantitas Data Latih

Tak hanya unggul dalam kemampuan, Meta juga menghadirkan peningkatan signifikan dalam kualitas dan kuantitas data latih yang digunakan untuk mengembangkan Llama 3. Dibandingkan dengan versi sebelumnya, data latih Llama 3 diperbesar hingga 7 kali lipat, mencapai total 750 miliar kata. Ini bukan hanya peningkatan secara kuantitatif, tetapi juga kualitatif karena data latih Llama 3 sekarang lebih beragam. Sebagai contoh, bagian dari data latih yang berisi kode komputer mengalami peningkatan hingga 4 kali lipat dari versi sebelumnya. Selain itu, ada juga penambahan data dalam 30 bahasa selain bahasa Inggris, yang menyumbang 5 persen dari total data latih. Untuk memastikan bahwa Llama 3 belajar dari contoh-contoh yang terbaik, Meta mengembangkan sistem khusus untuk menyaring dan memilih data berkualitas tinggi secara otomatis.

3. Arsitektur Model dan Metode Pelatihan yang Disempurnakan

Dalam pengembangan Llama 3, Meta tidak hanya meningkatkan kuantitas data, tetapi juga meningkatkan kualitas arsitektur model dan metode pelatihan. Salah satu inovasi yang diterapkan adalah sistem encoding kata yang lebih efisien untuk mengubah teks menjadi representasi numerik yang dapat diproses oleh AI. Teknik attention, yang berperan dalam menentukan bagian mana dari data yang perlu mendapat perhatian lebih, juga dioptimasi untuk meningkatkan performa Llama 3. Proses fine-tuning, yang merupakan tahap akhir dalam pengaturan model AI untuk mengikuti instruksi dengan lebih baik, juga mendapatkan sentuhan inovasi. Meta juga mengembangkan hardware dan software yang mendukung proses pelatihan Llama 3, menghasilkan waktu pelatihan yang lebih singkat dibandingkan dengan versi sebelumnya.

4. Peningkatan Sistem Keamanan

Seiring dengan kemampuan yang semakin meningkat, Meta juga memperkuat aspek keamanan dalam pengembangan Llama 3. Mereka menghadirkan dua perangkat canggih, yaitu Llama Guard 2 dan CyberSecEval 2, untuk mendeteksi konten berbahaya dan celah keamanan siber yang mungkin dihasilkan oleh Llama 3. Code Shield adalah perangkat terbaru yang berfungsi sebagai filter pintar untuk mengenali dan mencegah kode berbahaya yang dapat dihasilkan oleh Llama 3. Selain itu, Meta juga merilis panduan komprehensif bertajuk Responsible Use Guide yang memuat praktik-praktik terbaik dalam menggunakan AI secara etis dan bertanggung jawab.

5. Pengembangan Model Llama 3 400B

Tidak berhenti pada pencapaian saat ini, Meta tengah fokus pada pengembangan model Llama 3 dengan skala yang lebih besar. Mereka sedang melatih model dengan lebih dari 400 miliar parameter, jauh melampaui varian Llama 3 70B. Varian mendatang ini diharapkan akan memiliki kemampuan yang semakin canggih, seperti pemahaman multibahasa, pemrosesan berbagai jenis data, dan memori yang lebih panjang untuk menangani konteks yang lebih luas. Sebagai model open-source, Llama 3 memberikan kesempatan bagi para peneliti dan pengembang untuk mempelajari, memodifikasi, dan mengadaptasi teknologinya secara bebas, yang diharapkan mendorong inovasi lebih lanjut dan kolaborasi yang lebih luas dalam komunitas AI.

Dengan begitu banyaknya peningkatan dan inovasi yang dihadirkan dalam Llama 3, tidak mengherankan jika model ini telah menjadi sorotan utama dalam dunia kecerdasan buatan. Dengan terus memperbaiki kemampuan dan keamanan model ini, Meta membuka pintu bagi masa depan AI yang lebih canggih, aman, dan bertanggung jawab.