Tujuh Model GPT Sumber Terbuka Gratis Dirilis

Perusahaan AI Silicon Valley, Cerebras, merilis tujuh model GPT open source untuk menyediakan alternatif terhadap sistem-sistem yang terkontrol dengan ketat dan propietari yang tersedia saat ini.

Model-model GPT sumber terbuka bebas royalti, termasuk bobot dan resep pelatihannya telah dirilis di bawah lisensi Apache 2.0 yang sangat memperbolehkan oleh Cerebras, perusahaan infrastruktur AI berbasis Silicon Valley untuk aplikasi AI.

Hingga batas tertentu, ketujuh model GPT adalah bukti konsep bagi superkomputer AI Cerebras Andromeda.

Infrastruktur Cerebras memungkinkan pelanggan mereka, seperti Jasper AI Copywriter, untuk dengan cepat melatih model bahasa kustom mereka sendiri.

Sebuah posting blog Cerebras tentang teknologi perangkat keras mencatat:

“Kami melatih semua model Cerebras-GPT pada kumpulan Cerebras Wafer-Scale Cluster 16x CS-2 yang disebut Andromeda.

Kumpulan ini memungkinkan semua eksperimen diselesaikan dengan cepat, tanpa perlu sistem terdistribusi dan model parallel tuning seperti pada kumpulan GPU.

Yang paling penting, hal ini memungkinkan para peneliti kami fokus pada desain ML daripada sistem terdistribusi. Kami percaya bahwa kemampuan melatih model besar dengan mudah adalah kunci keberhasilan untuk masyarakat umum, oleh karena itu kami menyediakan Cerebras Wafer-Scale Cluster di cloud melalui Cerebras AI Model Studio.”

Model-model Cerebras GPT dan Transparansi

Cerebras mengutip konsentrasi kepemilikan teknologi AI hanya pada beberapa perusahaan sebagai alasan untuk menciptakan tujuh model GPT open source.

OpenAI, Meta, dan Deepmind menyimpan sejumlah besar informasi tentang sistem mereka secara pribadi dan ketat, yang membatasi inovasi hanya pada apa yang ketiga perusahaan tersebut putuskan orang lain dapat lakukan dengan data mereka.

Apakah sistem berkode tertutup yang terbaik untuk inovasi dalam AI? Atau apakah open source adalah masa depan?

Cerebras menulis:

"Untuk LLMs agar menjadi sebuah teknologi yang terbuka dan dapat diakses, kami percaya bahwa penting untuk memiliki akses terhadap model-model terbaru yang terbuka, dapat direproduksi, dan bebas royalti baik untuk penelitian maupun aplikasi komersial.

Dalam rangka itu, kami telah melatih sebuah keluarga model transformer menggunakan teknik dan dataset terbuka terbaru yang kami sebut Cerebras-GPT.

Model-model ini adalah keluarga pertama dari model GPT yang dilatih menggunakan formulasi Chinchilla dan dirilis melalui lisensi Apache 2.0."

Dengan demikian, tujuh model ini dirilis di Hugging Face dan GitHub untuk mendorong lebih banyak penelitian melalui akses terbuka ke teknologi AI.

Model-model ini dilatih dengan superkomputer kecerdasan buatan Cerebras Andromeda, sebuah proses yang hanya membutuhkan waktu beberapa minggu untuk diselesaikan.

Cerebras-GPT adalah sepenuhnya terbuka dan transparan, berbeda dengan model GPT terbaru dari OpenAI (GPT-4), Deepmind, dan Meta OPT.

OpenAI dan Deepmind Chinchilla tidak menawarkan lisensi untuk menggunakan model-model tersebut. Meta OPT hanya menawarkan lisensi non-komersial.

OpenAI GPT-4 sama sekali tidak transparan tentang data latihannya. Apakah mereka menggunakan data Common Crawl? Apakah mereka mengambil data dari internet dan membuat dataset sendiri?

OpenAI menyimpan informasi ini (dan lainnya) sebagai rahasia, yang berbeda dengan pendekatan Cerebras-GPT yang sepenuhnya transparan.

Berikut adalah semua terbuka dan transparan:

• Arsitektur model
• Data pelatihan
• Berat model
• Tanda titik kontrol
• Status pelatihan yang optimal untuk komputasi (ya)
• Lisensi untuk penggunaan: Lisensi Apache 2.0

Versi-versi yang tersedia adalah 111M, 256M, 590M, 1.3B, 2.7B, 6.7B, dan model 13B.

Diumumkan:

"Dalam sebuah tindakan pertama di antara perusahaan-perusahaan perangkat keras Kecerdasan Buatan (AI), para peneliti Cerebras melatih serangkaian tujuh model GPT dengan parameter 111M, 256M, 590M, 1.3B, 2.7B, 6.7B, dan 13B pada superkomputer AI Andromeda."

"Biasanya membutuhkan waktu berbulan-bulan, pekerjaan ini diselesaikan dalam beberapa minggu berkat kecepatan luar biasa dari sistem Cerebras CS-2 yang membentuk Andromeda, dan kemampuan arsitektur streaming bobot Cerebras untuk menghilangkan kesulitan komputasi terdistribusi."

"Hasil ini menunjukkan bahwa sistem Cerebras dapat melatih beban kerja AI terbesar dan paling kompleks saat ini."

"Ini adalah kali pertama sekelompok model GPT yang dilatih menggunakan teknik efisiensi latihan terkini, diumumkan secara publik."

"Model-model ini dilatih dengan akurasi tertinggi untuk anggaran komputasi tertentu (yaitu efisien dalam pelatihan menggunakan resep Chinchilla), sehingga memiliki waktu pelatihan yang lebih rendah, biaya pelatihan yang lebih rendah, dan lebih hemat energi dibandingkan dengan model-model publik yang ada."

AI Sumber Terbuka

Yayasan Mozilla, pengembang perangkat lunak sumber terbuka Firefox, telah memulai perusahaan bernama Mozilla.ai untuk membangun sistem GPT dan rekomendasi sumber terbuka yang dapat dipercaya dan menghormati privasi.

Databricks juga baru-baru ini merilis sebuah GPT Clone sumber terbuka yang disebut Dolly yang bertujuan untuk mendemokrasikan "keajaiban ChatGPT".

Selain tujuh model Cerebras GPT tersebut, ada perusahaan lain bernama Nomic AI yang merilis GPT4All, sebuah GPT open source yang dapat dijalankan di laptop.

Gerakan AI sumber terbuka berada pada tahap awal namun semakin mendapatkan momentum.

Teknologi GPT sedang melahirkan perubahan besar di berbagai industri dan mungkin, bahkan tak terelakkan, kontribusi sumber terbuka dapat mengubah wajah industri yang mendorong perubahan tersebut.

Jika pergerakan open source terus maju dengan kecepatan ini, kita mungkin akan menyaksikan perubahan dalam inovasi AI yang mencegahnya berkonsentrasi di tangan beberapa perusahaan.

Baca pengumuman resmi berikut:

Cerebras Systems merilis tujuh model GPT baru yang dilatih pada sistem Wafer-Scale CS-2