Klone ChatGPT Open Source Baru - Bernama Dolly

Chat GPT Open Source mengambil langkah lain ke depan dengan rilis Dolly Large Language Model (DLL) yang dibuat oleh perusahaan perangkat lunak enterprise Databricks.

Klon baru ChatGPT dinamakan Dolly, diambil dari nama domba terkenal dengan nama yang sama, sebagai mamalia pertama yang dikloning.

Model Bahasa Open Source Skala Besar

Dolly LLM adalah manifestasi terbaru dari gerakan AI open source yang sedang berkembang yang bertujuan untuk memberikan akses yang lebih besar terhadap teknologi tersebut sehingga tidak dimonopoli dan dikendalikan oleh perusahaan-perusahaan besar.

Salah satu kekhawatiran yang mendorong gerakan AI open source adalah bahwa bisnis mungkin enggan menyerahkan data sensitif kepada pihak ketiga yang mengendalikan teknologi AI tersebut.

Berdasarkan Sumber Terbuka

Dolly dibuat dari model open source yang dibuat oleh lembaga riset EleutherAI nirlaba dan model Alpaca dari Universitas Stanford yang sendiri dibuat dari model LLaMA open source dengan 65 miliar parameter yang dibuat oleh Meta.

LLaMA, yang merupakan kepanjangan dari Large Language Model Meta AI, adalah sebuah model bahasa yang dilatih menggunakan data yang tersedia secara publik.

Menurut sebuah artikel oleh Weights & Biases, LLaMA dapat melebihi banyak model bahasa teratas (OpenAI GPT-3, Gopher oleh Deep Mind, dan Chinchilla oleh DeepMind) meskipun ukurannya lebih kecil.

Membuat Dataset yang Lebih Baik

Ada inspirasi lain yang berasal dari sebuah makalah penelitian akademik (SELF-INSTRUCT: Menyelaraskan Model Bahasa dengan Instruksi yang Dihasilkan Sendiri PDF) yang menjelaskan cara untuk membuat data pelatihan pertanyaan dan jawaban yang dihasilkan secara otomatis yang berkualitas tinggi, yang lebih baik daripada data publik yang terbatas.

Artikel penelitian Self-Instruct menjelaskan:

"...kami mengkurasi sejumlah instruksi yang ditulis oleh para ahli untuk tugas-tugas baru, dan menunjukkan melalui evaluasi manusia bahwa penyesuaian GPT3 dengan SELF-INSTRUCT lebih baik daripada menggunakan dataset instruksi publik yang sudah ada dengan perbedaan yang besar, hanya tertinggal 5% di belakang InstructGPT...

...Dengan menerapkan metode kami ke GPT3 biasa, kami menunjukkan peningkatan absolut sebesar 33% dibandingkan model asli pada SUPERNATURALINSTRUCTIONS, sebanding dengan performa InstructGPT... yang dilatih dengan data pengguna pribadi dan anotasi manusia."

Pentingnya Dolly adalah bahwa ini menunjukkan bahwa sebuah model bahasa besar yang berguna dapat dibuat menggunakan dataset yang lebih kecil namun berkualitas tinggi.

Databricks mengamati:

"Dolly bekerja dengan mengambil model open source dengan 6 miliar parameter dari EleutherAI yang sudah ada dan memodifikasinya sedikit untuk menghasilkan kemampuan mengikuti instruksi seperti menghasilkan ide dan menghasilkan teks yang tidak ada dalam model asli, menggunakan data dari Alpaca."

...Kami menunjukkan bahwa siapapun dapat menggunakan model bahasa besar (LLM) open source yang sudah ada dan memberikan kemampuan instruksi semacam ChatGPT yang ajaib dengan melatihnya selama 30 menit di satu mesin menggunakan data pelatihan berkualitas tinggi.

Menariknya, tampaknya mengikuti instruksi tidak membutuhkan model terbaru atau terbesar: model kami hanya memiliki 6 miliar parameter, dibandingkan dengan 175 miliar untuk GPT-3."

Databricks Sumber Terbuka AI

Dolly dikatakan demokratisasi AI. Ini adalah bagian dari gerakan yang sedang berkembang yang baru-baru ini digabungkan oleh organisasi nirlaba Mozilla dengan berdirinya Mozilla.ai. Mozilla adalah penerbit browser Firefox dan perangkat lunak sumber terbuka lainnya.