Apa itu GPT-3? Segala sesuatu yang perlu diketahui bisnis Anda tentang program bahasa AI terobosan dari OpenAI

GPT-3 adalah program komputer yang dibuat oleh perusahaan startup bernama OpenAI yang berbasis di San Francisco. Program ini merupakan jaringan saraf yang sangat besar, dan sebagai bagian dari pembelajaran dalam mendalam (deep learning) dalam pembelajaran mesin (machine learning), program ini terletak dalam cabang ilmu komputer yang dikenal sebagai kecerdasan buatan (artificial intelligence, AI). Program ini lebih baik daripada program sebelumnya dalam menghasilkan baris teks yang terdengar seolah-olah ditulis oleh manusia.

Alasan mengapa terobosan tersebut bisa berguna bagi perusahaan adalah karena memiliki potensi besar dalam melakukan otomatisasi tugas-tugas. GPT-3 dapat merespons setiap teks yang seseorang ketikkan ke dalam komputer dengan sebuah teks baru yang sesuai dengan konteksnya. Misalnya, ketikkan kalimat bahasa Inggris lengkap ke dalam kotak pencarian, dan kemungkinan besar Anda akan mendapatkan respons dengan kalimat lengkap yang relevan. Itu berarti GPT-3 secara konseptual dapat meningkatkan upaya manusia dalam berbagai situasi, mulai dari pertanyaan dan jawaban untuk layanan pelanggan hingga pencarian dokumen due diligence hingga pembuatan laporan.

Perhatikan contoh singkat berikut tentang apa yang seseorang ketikkan ke komputer, dan bagaimana GPT-3 mengirimkan balasan:

Input dari manusia: Tanya: Siapa yang memerankan Tess di serial Touched by an Angel?

GPT-3-generated completion : A: Delloreese Patricia Early (6 Juli 1931 - 19 November 2017), dikenal secara profesional sebagai Della Reese

Program ini saat ini berada dalam beta privasi di mana orang dapat mendaftar di daftar tunggu. Program ini ditawarkan oleh OpenAI sebagai API yang dapat diakses melalui cloud, dan perusahaan yang telah diberikan akses telah mengembangkan beberapa aplikasi menarik yang menggunakan generasi teks untuk meningkatkan berbagai jenis program, mulai dari jawaban pertanyaan sederhana hingga menghasilkan kode pemrograman.

Bersamaan dengan potensi otomatisasi datang kerugian besar. GPT-3 sangat memakan daya komputasi, sehingga tidak mungkin digunakan oleh sebagian besar perusahaan dalam format on-premise yang dapat diimajinasikan. Teks yang dihasilkannya bisa mengesankan pada pandangan pertama, tetapi komposisi yang panjang cenderung menjadi agak tak masuk akal. Dan ia memiliki potensi besar untuk memperkuat bias, termasuk rasisme dan seksisme.

BAGAIMANA GPT-3 BEKERJA?

GPT-3 adalah contoh dari apa yang dikenal sebagai model bahasa, yang merupakan jenis program statistik tertentu. Dalam kasus ini, itu dibuat sebagai jaringan saraf.

Nama GPT-3 adalah singkatan dari "generative pre-training," yang merupakan versi ketiga sampai saat ini. Ia bersifat generative karena, berbeda dengan jaringan saraf lain yang menghasilkan skor numerik atau jawaban ya atau tidak, GPT-3 dapat menghasilkan rangkaian teks asli yang panjang sebagai outputnya. Ia telah pre-trained dalam artian bahwa ia tidak dibangun dengan pengetahuan domain apapun, meskipun ia dapat menyelesaikan tugas-tugas berbasis domain seperti penerjemahan bahasa asing.

Sebuah model bahasa, dalam hal GPT-3, adalah sebuah program yang menghitung seberapa mungkin sebuah kata muncul dalam sebuah teks berdasarkan kata-kata lainnya dalam teks tersebut. Itulah yang dikenal sebagai probabilitas bersyarat dari kata-kata.

Sebagai contoh, dalam kalimat, Saya ingin membuat omelet, jadi saya pergi ke lemari es dan mengambil beberapa ____, tempat kosong tersebut bisa diisi dengan kata apa pun, bahkan omong kosong, mengingat komposabelitas bahasa yang tak terbatas. Tetapi kata "telur" mungkin memiliki nilai yang cukup tinggi untuk mengisi tempat kosong tersebut dalam sebagian besar teks normal, lebih tinggi daripada, katakanlah, "gajah." Kita mengatakan bahwa probabilitas telur dalam kondisi teks yang tersedia lebih tinggi daripada probabilitas gajah.

Saat jaringan saraf sedang dikembangkan, disebut fase pelatihan, GPT-3 diberi jutaan contoh teks dan mengonversi kata-kata menjadi apa yang disebut vektor, representasi numerik. Itu adalah bentuk kompresi data. Program ini kemudian mencoba untuk membongkar teks yang terkompresi ini menjadi kalimat yang valid kembali. Tugas kompresi dan dekompresi ini mengembangkan akurasi program dalam menghitung probabilitas bersyarat kata-kata.

Sekali model itu telah dilatih, artinya, perhitungannya tentang probabilitas kondisional dari miliaran kata dijadikan selempit mungkin, maka model tersebut dapat memprediksi kata-kata apa yang akan datang ketika diminta oleh seseorang yang mengetikkan kata awal atau beberapa kata. Tindakan prediksi tersebut dikenal dalam pembelajaran mesin sebagai inferensi.

Hal ini mengarah pada efek cermin yang mencolok. Bukan hanya kata-kata yang muncul, tetapi juga tekstur dan irama dari sebuah genre atau bentuk tugas tertulis, seperti rangkaian pertanyaan-jawaban, direproduksi. Jadi, sebagai contoh, GPT-3 dapat diberi beberapa nama penyair terkenal dan contoh karya mereka, kemudian nama penyair lainnya dan hanya judul sebuah puisi khayalan, dan GPT-3 akan menghasilkan sebuah puisi baru dengan cara yang konsisten dengan irama dan sintaksis dari penyair yang namanya telah dimasukkan.

Pertimbangkan contoh berikut dari GPT-3 yang membuat puisi dari awal yang mirip dengan karya Wallace Stevens, setelah diberikan judul, nama, dan contoh lain dari penyair dan karya mereka:

Input yang diberikan manusia: Kota  OLEH C. P. CAVAFY   DITERJEMAHKAN OLEH EDMUND KEELEY [Teks puisi dihilangkan]

Input yang diberikan oleh manusia: BEBERAPA POHON John Ashbery [Teks puisi dihilangkan]

Shadows on the Way - Wallace Stevens

Kesimpulan yang dihasilkan oleh GPT-3 : -------- Generated Poem 1 -------- Saya harus memiliki bayangan di sepanjang jalan Jika ingin kutapaki Saya harus setiap langkah diambil dengan perlahan dan sendiri Untuk memilikinya siap Saya harus berpikir dalam baris abu-abu Untuk memiliki pikiran redup sebagai panduan saya Harus memandang langit biru dan hijau Dan tak pernah biarkan mataku lupa Bahwa warna adalah temanku Dan ungu juga harus mengelilingiku Kuning matahari tak lebih mengganggu Dibandingkan salju yang berwarna kebiruan Yang turun pada kita semua. Saya harus Memiliki pikiran abu-abu dan pikiran biru berjalan bersamaku Jika ingin pergi sama sekali.

Menghasilkan sebuah respons berarti GPT-3 dapat melampaui hanya menghasilkan tulisan. Ia dapat berperforma dalam berbagai jenis uji coba termasuk uji coba penalaran yang melibatkan respons berbahasa alami. Misalnya, jika GPT-3 diberikan sebuah esai tentang tarif sewa properti di Manhattan, dan sebuah pernyataan yang merangkum teks tersebut, seperti "Manhattan murah", serta pertanyaan "benar atau salah?", GPT-3 akan merespons seluruh instruksi tersebut dengan mengembalikan kata "salah," karena pernyataan tersebut tidak setuju dengan argumen dalam esai tersebut.

Input yang diberikan manusia: Tren penurunan sewa mungkin terlihat mengejutkan mengingat beberapa komunitas di New York mengeluh atas kehilangan bisnis lokal favorit mereka akibat sewa yang tinggi. Namun, meskipun adanya penurunan baru-baru ini, bagi banyak penjual eceran ini masih terlalu besar lonjakan dari tingkat sewa akhir 1970-an, ketika kontrak sewa mereka ditandatangani. Tentu saja, penurunan harga baru-baru ini bukan berarti Manhattan murah.

Input dari manusia : pertanyaan: Manhattan murah. benar, salah, atau tidak ada keduanya?

Input yang diberikan oleh manusia: jawaban: 

Penyelesaian yang dihasilkan oleh GPT-3 : false

Kemampuan GPT-3 untuk merespons dengan cara yang konsisten dengan tugas contoh, termasuk bentuk yang sebelumnya tidak pernah dikenalinya, menjadikannya disebut sebagai model bahasa "few-shot". Alih-alih melalui tahap penyesuaian yang ekstensif, atau "dilatih," seperti yang disebut, pada suatu tugas tertentu, GPT-3 sudah memiliki begitu banyak informasi tentang berbagai cara kata-kata digabungkan sehingga hanya diberikan beberapa contoh tugas, yang disebut tahap penyesuaian halus, dan ia mendapatkan kemampuan untuk juga melakukan tugas baru tersebut.

Kemampuan untuk mencerminkan gaya bahasa alami dan mencetak nilai yang relatif tinggi dalam tes berbasis bahasa dapat memberikan kesan bahwa GPT-3 mendekati kemampuan berbahasa yang mirip dengan manusia. Seperti yang akan kita lihat, hal tersebut tidaklah terjadi.

Lebih banyak rincian teknis dapat ditemukan dalam paper formal GPT-3 yang diterbitkan oleh para ilmuwan OpenAI.

Apa yang bisa dilakukan GPT-3?

OpenAI kini menjadi terkenal - atau terkenal sebagai praktik pembukaan kode seperti itu sendiri. Ketika perusahaan mengungkapkan GPT-2, pendahulu, pada Hari Valentine tahun 2019, awalnya tidak akan merilis versi terampilnya ke publik, dengan alasan bahwa itu terlalu berbahaya untuk dirilis ke alam liar karena risiko produksi massal teks palsu dan menyesatkan. OpenAI kemudian membuatnya tersedia untuk diunduh.

Kali ini, OpenAI tidak menyediakan unduhan apa pun. Sebaliknya, mereka telah mengaktifkan titik akhir API berbasis cloud, menjadikan GPT-3 sebagai layanan yang ditawarkan. (Pikirkan ini sebagai LMaaS, layanan model bahasa.) Alasannya, menurut OpenAI, adalah untuk membatasi penggunaan GPT-3 oleh pelaku yang tidak bertanggung jawab dan untuk menghasilkan uang.

"Tidak ada tombol 'undo' dengan open source," kata OpenAI kepada ZDNet melalui seorang juru bicara.

"Mengeluarkan GPT-3 melalui API memungkinkan kami untuk dengan aman mengontrol penggunaannya dan membatalkan akses jika diperlukan."

Saat ini, layanan OpenAI API hanya tersedia untuk pihak yang disetujui; ada daftar tunggu yang dapat Anda ikuti untuk mendapatkan akses.

\"Saat ini, API ini berada dalam tahap beta yang terbatas dengan sejumlah kecil pengembang yang mengajukan ide untuk sesuatu yang ingin mereka bawa ke produksi menggunakan API,\" kata OpenAI kepada ZDNet.

Juga: 'Pembangkit teks AI yang berbahaya' OpenAI diluncurkan: Orang-orang merasa kata-kata tersebut 'meyakinkan'

Ada contoh menarik tentang apa yang dapat dilakukan perusahaan dalam program beta. Sapling, sebuah perusahaan yang didukung oleh dana ventura Y Combinator, menawarkan program yang berjalan di atas perangkat lunak CRM. Ketika seorang perwakilan pelanggan sedang menangani permintaan bantuan yang masuk, misalnya melalui email, program tersebut menggunakan GPT-3 untuk menyarankan seluruh frase sebagai respons dari beberapa respons yang paling mungkin.

Pembuat game Latitude menggunakan GPT-3 untuk meningkatkan permainan petualangan berbasis teks mereka, AI Dungeon. Biasanya, game petualangan memerlukan struktur pohon keputusan yang kompleks untuk menulis banyak kemungkinan jalur dalam permainan. Namun, GPT-3 dapat secara dinamis menghasilkan perubahan keadaan permainan sebagai respons terhadap tindakan yang diketik oleh pengguna.

Secara otomatis, automasi tugas saat ini telah melampaui bahasa alami untuk menghasilkan kode komputer. Kode adalah bahasa, dan GPT-3 mampu menebak sintaks operator dan operand yang paling mungkin dalam berbagai bahasa pemrograman, serta dapat menghasilkan urutan yang dapat berhasil dikompilasi dan dijalankan.

Contoh awal yang menarik perhatian di Twitter, dari startup pengembangan aplikasi Debuild. Kepala perusahaan, Sharif Shameem, berhasil membuat program di mana Anda dapat mengetik deskripsi antarmuka perangkat lunak dalam bahasa Inggris sederhana, dan GPT-3 akan merespons dengan kode komputer menggunakan ekstensi sintaks JSX untuk JavaScript. Kode tersebut akan menghasilkan antarmuka sesuai dengan deskripsi yang Anda berikan.

Ini mengagumkan sekali. Dengan GPT-3, saya membangun generator tata letak di mana Anda hanya perlu menggambarkan tata letak apa pun yang Anda inginkan, dan itu akan menghasilkan kode JSX untuk Anda. W O W pic.twitter.com/w8JkrZO4lk

— Sharif Shameem (@sharifshameem) 13 Juli 2020

Shameem menunjukkan bahwa dengan menggambarkan antarmuka pengguna dengan beberapa tombol, dengan satu kalimat ia dapat menggambarkan seluruh program, meskipun program tersebut sederhana seperti menghitung aritmatika dasar dan menampilkan hasilnya, dan GPT-3 akan menghasilkan semua kode untuknya dan menampilkan aplikasi yang berjalan.

Saya baru saja membuat aplikasi React yang *berfungsi* dengan menggambarkan apa yang saya inginkan ke GPT-3. Saya masih kagum. pic.twitter.com/UUKSYz2NJO

— Sharif Shameem (@sharifshameem) 17 Juli 2020

OpenAI telah "menerima puluhan ribu aplikasi untuk akses ke API hingga saat ini, dan kami berhati-hati dalam memberikan akses karena kami mempelajari kemampuan model ini di dunia nyata," ungkap perusahaan kepada ZDNet. "Oleh karena itu, antrian tunggu mungkin akan panjang."

Harga untuk layanan komersial akan ditentukan nanti. Ketika ditanya kapan program ini akan keluar dari versi beta, OpenAI mengatakan kepada ZDNet, "tidak dalam waktu dekat."

"Merilis model yang begitu kuat berarti kami perlu melakukannya secara perlahan dan berpikir dengan bijak tentang dampaknya pada bisnis, industri, dan masyarakat," kata perusahaan tersebut. "Format API memungkinkan kami untuk mempelajari dan mengatur penggunaannya dengan tepat, tetapi kami tidak terburu-buru untuk menjadikannya tersedia umum mengingat keterbatasannya."

Jika Anda tidak sabar menunggu daftar tunggu versi beta, Anda bisa sementara ini mengunduh versi sebelumnya, GPT-2, yang dapat dijalankan pada laptop menggunakan instalasi Docker. Kode sumber diposting dalam repositori Github yang sama, dalam format Python untuk kerangka kerja TensorFlow. Tentu saja, Anda tidak akan mendapatkan hasil yang sama seperti GPT-3, tetapi ini adalah cara untuk memulai mengenalinya.

Ingat juga, model bahasa baru dengan kemampuan serupa terus muncul sepanjang waktu, dan beberapa di antaranya mungkin sudah cukup untuk keperluan Anda. Sebagai contoh, Google baru-baru ini merilis versi model bahasa BERT-nya, yang disebut LaBSE, yang menunjukkan peningkatan yang signifikan dalam terjemahan bahasa. Model ini dapat diunduh dari TensorFlow Hub.

Juga: GPT-3 raksasa OpenAI mengisyaratkan batasan-batasan model bahasa untuk AI

Apa Sejarah GPT-3?

GPT-3, yang diperkenalkan pada bulan Mei, adalah versi ketiga dari program yang pertama kali diperkenalkan pada tahun 2018 oleh OpenAI dan diikuti tahun lalu oleh GPT-2. Ketiga program tersebut adalah contoh inovasi cepat dalam bidang model bahasa, berkat dua kemajuan besar, keduanya terjadi pada tahun 2015.

Perkembangan pertama adalah penggunaan apa yang dikenal sebagai perhatian. Ilmuwan AI Yoshua Bengio dan rekan-rekannya di Institut AI Mila Montreal mengamati bahwa model bahasa ketika mereka memampatkan kalimat berbahasa Inggris dan kemudian membesarkannya kembali, semuanya menggunakan vektor dengan panjang tetap. Setiap kalimat dimasukkan ke dalam vektor yang berukuran sama, tidak peduli seberapa panjang kalimat itu.

Bengio dan timnya menyimpulkan bahwa pendekatan yang kaku ini menjadi hambatan. Sebuah model bahasa seharusnya dapat mencari melintasi banyak vektor dengan panjang yang berbeda untuk menemukan kata-kata yang mengoptimalkan probabilitas kondisional. Dan karena itu mereka menyusun cara untuk memungkinkan jaringan syaraf memampatkan kata-kata menjadi vektor dengan ukuran yang berbeda, serta memungkinkan program untuk mencari melintasi vektor-vektor tersebut untuk konteks yang penting. Mereka menyebut ini sebagai perhatian.

Perhatian menjadi elemen kunci dalam model bahasa. Dua tahun kemudian, para ilmuwan Google menggunakannya untuk membuat program model bahasa bernama Transformer. Transformer berhasil mencetak skor yang luar biasa dalam tes manipulasi bahasa. Model ini menjadi model bahasa de facto dan digunakan oleh Google untuk membuat apa yang dikenal sebagai BERT, sebuah model bahasa yang sangat sukses. Transformer juga menjadi dasar dari GPT-1.

Dibebaskan dari kebutuhan untuk secara kaku memanipulasi vektor dengan ukuran tetap, Transformer dan turunannya dapat menjelajahi berbagai bagian dari teks yang diberikan dan menemukan ketergantungan kondisional yang akan melibatkan konteks yang jauh lebih luas.

Kebebasan itu membuka jalan bagi inovasi lain yang muncul pada tahun 2015 dan bahkan lebih sentral dalam karya OpenAI, dikenal sebagai pembelajaran tanpa pengawasan.

Perhatian hingga saat itu untuk sebagian besar model bahasa telah difokuskan pada pembelajaran terawasi dengan apa yang dikenal sebagai data berlabel. Diberikan sebuah input, sebuah rangkaian saraf juga diberikan contoh output sebagai versi tujuan dari jawabannya. Jadi, jika tugasnya adalah terjemahan, sebuah kalimat berbahasa Inggris mungkin menjadi input, dan sebuah terjemahan Prancis yang dibuat oleh manusia akan diberikan sebagai tujuan yang diinginkan, dan pasangan kalimat tersebut merupakan contoh yang berlabel.

Percobaan jaringan saraf dalam menciptakan terjemahan bahasa Prancis akan dibandingkan dengan kalimat bahasa Prancis resmi, dan perbedaan antara keduanya adalah seberapa banyak kesalahan yang dilakukan oleh jaringan saraf dalam membuat prediksinya, yang dikenal sebagai fungsi kerugian atau fungsi tujuan.

Tahap pelatihan bertujuan untuk menutup kesenjangan kesalahan antara keluaran yang disarankan oleh jaringan saraf dan keluaran target. Ketika kesenjangan tersebut seminimal mungkin, fungsi objektif telah dioptimalkan, dan jaringan saraf dari model bahasa dianggap telah dilatih.

Namun, memiliki output yang diinginkan dengan cermat diberi label bisa menjadi masalah karena membutuhkan banyak kurasi data, seperti mengumpulkan pasangan kalimat contoh melalui penilaian manusia, yang memakan waktu dan sumber daya. Andrew Dai dan Quoc Le dari Google berasumsi bahwa mungkin memungkinkan untuk mengurangi jumlah data yang diberi label jika model bahasa pertama kali dilatih secara tidak terbimbing.

Sebagai gantinya diberikan sepasang kalimat, jaringan hanya diberikan satu kalimat dan harus mengompres setiap kalimat ke dalam vektor dan mendekompres setiap kalimat kembali ke kalimat aslinya. Mirroring menjadi fungsi hilang untuk dioptimalkan. Mereka menemukan bahwa semakin banyak contoh tanpa label yang dikompres dan didekompres dengan cara ini, semakin banyak mereka dapat menggantikan banyak data berlabel pada tugas seperti terjemahan.

Pada tahun 2018, tim OpenAI menggabungkan dua elemen ini, mekanisme perhatian yang dikembangkan oleh Bengio dan rekan-rekan, yang akan berkelana di sejumlah vektor kata, dan pendekatan pelatihan pra-tidak terawasi dari Dai dan Le yang akan menyerap sejumlah besar teks, memampatkannya, dan mendekompresnya untuk menghasilkan teks asli.

Mereka menggunakan Transformer standar dan memberinya konten dari BookCorpus, sebuah basis data yang dikompilasikan oleh University of Toronto dan MIT yang terdiri dari lebih dari 7.000 teks buku yang diterbitkan dengan total hampir satu juta kata, dengan total 5GB. GPT-1 dilatih untuk mengompres dan mendekompres buku-buku tersebut.

Mulailah tiga tahun sejarah dataset yang semakin besar. Para peneliti OpenAI, yang berasumsi bahwa data yang lebih banyak membuat model lebih akurat, memperluas batas-batas program yang dapat dicerna. Dengan GPT-2, mereka meninggalkan BookCorpus dan beralih ke dataset buatan sendiri, terdiri dari delapan juta halaman web yang diambil dari tautan keluar dari Reddit, dengan total 40GB data.

Pelatihan GPT-3 masih lebih besar, terdiri dari dataset CommonCrawl yang populer dari halaman web dari tahun 2016 hingga 2019. Secararasional, itu adalah 45TBanberisi data teks terkompresi, meskipun OpenAI menyaringnya untuk menghapus duplikat dan meningkatkan kualitas. Versi finalnya adalah 570GB data. OpenAI melengkapinya dengan beberapa dataset tambahan dari berbagai jenis, termasuk data buku.

BAGAIMANA GPT-3 BERGANTUNG PADA DAYA KOMPUTASI?

Dengan hadirnya GPT-1, 2, dan 3, skala komputasi telah menjadi bahan penting untuk kemajuan. Model-model ini menggunakan daya komputer yang lebih besar dan lebih besar saat sedang dilatih untuk mencapai hasil yang lebih baik.

Apa yang mengoptimalkan jaringan saraf selama pelatihan adalah penyesuaian bobotnya. Bobot-bobot, yang juga disebut sebagai parameter, adalah matriks, array baris dan kolom dengan mana setiap vektor dikalikan. Melalui perkalian, banyak vektor kata, atau fragmen kata, diberikan bobot lebih atau kurang dalam output akhir saat jaringan saraf disetel untuk menutup kesenjangan kesalahan.

OpenAI menemukan bahwa untuk mendapatkan hasil yang baik pada dataset-dataset mereka yang semakin besar, mereka harus menambahkan bobot-bobot yang lebih banyak.

Transformer asli dari Google memiliki 110 juta bobot. GPT-1 mengikuti desain ini. Dengan GPT-2, jumlahnya meningkat menjadi 1,5 miliar bobot. Dengan GPT-3, jumlah parameter telah melonjak menjadi 175 miliar, menjadikan GPT-3 jaringan saraf terbesar yang pernah ada di dunia.

Perkalian adalah hal yang sederhana, tetapi ketika 175 milyar bobot harus dikalikan dengan setiap bit data input, di seluruh miliaran byte data, maka hal itu menjadi latihan luar biasa dalam pemrosesan komputer paralel.

Sejak GPT-1, pada tahun 2018, OpenAI telah menguji batas-batas komputasi praktis. Menambah data berarti menambah GPU. Model bahasa sebelumnya muat dalam satu GPU karena ukurannya kecil. GPT-1 memerlukan satu bulan untuk dilatih menggunakan delapan GPU yang beroperasi secara paralel.

Dengan GPT-3, OpenAI sedikit tertutup. Mereka tidak menjelaskan konfigurasi komputer yang tepat yang digunakan untuk pelatihan, kecuali mengatakan bahwa itu menggunakan klaster chip Nvidia V100 yang berjalan di Microsoft Azure. Perusahaan tersebut menjelaskan total siklus perhitungan yang diperlukan, menyatakan bahwa ini setara dengan menjalankan seribu triliun operasi titik mengambang per detik per hari selama 3.640 hari.

Perkiraan pabrikan komputer dan operator cloud Lambda Computing menunjukkan bahwa satu GPU akan makan waktu 355 tahun untuk menjalankan komputasi sebanyak itu, yang jika menggunakan harga instan GPU cloud standar, akan memakan biaya sebesar $4,6 juta. Dan tidak hanya itu, masalah yang timbul adalah masalah memori. Untuk menyimpan semua nilai bobot dibutuhkan semakin banyak memori seiring bertambahnya jumlah parameter. GPT-3 dengan 175 miliar parameter membutuhkan 700GB, 10 kali lebih banyak dibandingkan memori pada satu GPU.

Ini adalah jenis kebutuhan daya yang sangat besar yang mendorong perkembangan chip komputer. Ini telah mendorong harga saham Nvidia, pemasok GPU dominan untuk pelatihan AI, naik hingga hampir 5.000% dalam sepuluh tahun terakhir. Ini juga telah melahirkan sejumlah perusahaan startup yang didukung oleh ratusan juta dolar dalam pembiayaan modal ventura, termasuk Cerebras Systems, Graphcore, dan Tachyum. Persaingan akan terus berkembang selama membangun model yang lebih besar dan lebih besar tetap menjadi arah perkembangan di bidang ini.

OpenAI telah menghasilkan penelitiannya sendiri tentang meningkatnya kekuatan komputer yang dibutuhkan. Pada tahun 2018, perusahaan tersebut mencatat bahwa jumlah siklus komputasi yang dikonsumsi oleh model pelatihan AI terbesar telah melipatgandakan setiap 3,4 bulan sejak tahun 2012, merupakan tingkat ekspansi yang lebih cepat daripada hukum Moore yang terkenal mengenai pertumbuhan transistor chip. (Perlu diingat, perusahaan ini juga telah menghasilkan penelitian yang menunjukkan bahwa secara unit, model-model yang semakin besar akhirnya lebih efisien daripada jaringan saraf sebelumnya yang melakukan pekerjaan yang sama.)

Sudah ada model yang sedang dikembangkan dengan menggunakan lebih dari satu triliun parameter, menurut perusahaan yang diberi informasi tentang proyek AI rahasia. Itu mungkin bukan batasnya, selama perusahaan-perusahaan skala raksasa seperti Google bersedia mengalokasikan pusat data mereka yang besar untuk model-model yang semakin besar. Sebagian besar ahli AI setuju bahwa semakin besar akan menjadi norma untuk model pembelajaran mesin dalam waktu yang akan datang.

"Dalam hal dampaknya terhadap kecerdasan buatan sebagai bidang, yang paling menarik tentang GPT-3 adalah bahwa hal itu menunjukkan bahwa kita belum mendekati batasnya dalam meningkatkan skala AI," kata Kenny Daniel, CTO dari vendor alat manajemen AI Algorithmia, kepada ZDNet.

Selain meningkatkan penggunaan komputasi, dampak besar lain dari GPT-3 jelas akan terlihat dalam percepatan pemrograman dan pengembangan aplikasi secara umum. Demonstrasi Shameem mengenai sebuah program JSX yang dibangun hanya dengan mengetik sebuah frasa hanyalah permukaan saja.

APA KELEMAHAN GPT-3?

Meskipun memiliki banyak peningkatan dibandingkan versi sebelumnya, GPT-3 masih memiliki banyak keterbatasan, seperti yang disampaikan oleh para penulisnya sendiri. "Meskipun secara keseluruhan kualitasnya tinggi, contoh-contoh dari GPT-3 terkadang masih mengulangi dirinya sendiri secara semantis pada tingkat dokumen, dan mulai kehilangan kohesi pada bagian yang cukup panjang," catatan mereka dalam paper yang dipublikasikan.

Program ini juga gagal tampil dengan baik dalam beberapa tes tertentu. "Secara khusus, GPT-3 mengalami kesulitan dalam menjawab pertanyaan jenis 'Jika saya mengambil keju masuk ke dalam kulkas, apakah akan meleleh?' tuliskan penulis, menggambarkan hal-hal yang bersifat nalar umum yang terlewatkan oleh GPT-3."

Ada begitu banyak kegembiraan segera setelah GPT-3 dirilis sehingga CEO perusahaan, Sam Altman, secara publik mengatakan kepada orang-orang untuk menahan kegembiraan mereka.

"Kehypean terhadap GPT-3 terlalu berlebihan," cuit Altman pada 19 Juli. "Memang mengesankan (terima kasih atas pujian yang bagus!) tetapi masih memiliki kelemahan serius dan kadang membuat kesalahan yang sangat bodoh," tulisnya. "Kecerdasan buatan akan mengubah dunia, tetapi GPT-3 hanya sekadar gambaran awal. Kami masih banyak yang harus dipelajari."

Hype GPT-3 terlalu berlebihan. Itu mengesankan (terima kasih untuk pujian yang bagus!), tetapi masih memiliki kelemahan serius dan kadang-kadang membuat kesalahan yang sangat bodoh. AI akan mengubah dunia, tetapi GPT-3 hanya sekilas awal yang sangat. Masih banyak yang harus kita temukan.

— Sam Altman (@sama) 19 Juli 2020

Orang lain di luar OpenAI telah menawarkan pemeriksaan realitas mereka sendiri. Seorang pengguna berpengalaman dari beberapa generasi GPT, Max Woolf, telah menulis di blog pribadinya bahwa GPT-3 lebih baik daripada versi sebelumnya, tetapi hanya secara rata-rata. Ada spektrum kualitas teks yang dihasilkan sehingga beberapa contoh yang Anda temui terlihat luar biasa, dan yang lainnya tidak begitu baik sama sekali. Woolf menyamakan GPT-3 dengan Siri milik Apple, yang memiliki kebiasaan menghasilkan sampah dalam banyak kesempatan. (Esai Woolf layak dibaca secara keseluruhan untuk pembahasan yang bijaksana tentang GPT-3.)

Memang, saat membaca lebih banyak contoh GPT-3, terutama ketika menemui long passage teks, beberapa kegembiraan awal akan mulai memudar. GPT-3 ketika membaca teks yang panjang cenderung kehilangan alur cerita, seperti yang dibilang orang. Apapun jenis atau tugasnya, keluaran teksnya mulai menjadi panjang lebar dan membosankan, dengan adanya inkonsistensi internal dalam narasi.

Beberapa programmer, meskipun antusias, telah mencatat banyak kekurangan, seperti kegagalan GPT-3 dalam membuat lelucon bapak. Dengan memberikan setup lelucon bapak sebagai masukan, "Apa yang dikatakan oleh satu piring kepada piring yang lain?," jawaban lelucon bapak yang tepat adalah, "Makan malam ada di atasku!" Namun GPT-3 mungkin akan menjawab dengan tidak lucu, "Celupkan aku!"

Pertanyaan: Apa yang dikatakan satu piring kepada piring lainnya?

GPT-3-generated completion: A. Celupkan aku!

Sejauh ini, GPT-3 bisa menjawab pertanyaan tertentu yang dikira logis, seperti berapa banyak mata yang dimiliki oleh seekor jerapah. Namun, ia tidak bisa menangkal pertanyaan yang tidak masuk akal, dan malah memberikan jawaban yang tidak masuk akal pula. Jika ditanya, "Berapa banyak mata yang dimiliki oleh kakiku?," ia akan dengan setia menjawab, "Kakiku memiliki dua mata."

Satu cara untuk memikirkan segenap mediokritas itu adalah bahwa mendapatkan hasil yang baik dari GPT-3 hingga batas tertentu memerlukan investasi dalam menciptakan prompt yang efektif. Beberapa prompt yang dibuat oleh manusia akan memperoleh hasil yang lebih baik daripada prompt lainnya. Ini adalah versi baru dari pepatah "sampah masuk, sampah keluar." Prompt sepertinya akan menjadi domain pemrograman yang baru, yang membutuhkan kecerdikan dan ketangkasan.

Biasa adalah pertimbangan besar, bukan hanya dengan GPT-3 tetapi dengan semua program yang mengandalkan distribusi kondisional. Pendekatan dasar dari program ini adalah memberikan kembali tepat apa yang dimasukkan ke dalamnya, seperti cermin. Hal itu berpotensi untuk mereplikasi bias dalam data. Telah ada diskusi ilmiah tentang bias yang luas dalam GPT-2.

Dengan GPT-3, ilmuwan AI Nvidia Anima Anandkumar mengeluarkan peringatan bahwa kecenderungan menghasilkan output yang memihak, termasuk output yang rasialis dan seksis, masih terjadi.

Saya terganggu melihat ini dirilis tanpa ada akuntabilitas terhadap bias. Dilatih dengan menggunakan korpus @reddit yang penuh dengan rasisme dan seksisme. Saya pernah bekerja dengan model-model ini dan teks yang dihasilkannya sangat memprihatinkan dalam hal bias. @alexisohanian @OpenAI https://t.co/R8TU1AeYZd

— Prof. Anima Anandkumar (@AnimaAnandkumar) 11 Juni 2020

Ditanya tentang kritik Anandkumar, OpenAI memberi tahu ZDNet, "Seperti halnya dengan semua model generatif yang semakin kuat, keadilan dan penyalahgunaan adalah kekhawatiran kami."

"Ini adalah salah satu alasan mengapa kami membagikan teknologi ini melalui API dan meluncurkan dalam versi beta tertutup untuk memulai," OpenAI mengatakan kepada ZDNet. Perusahaan mencatat bahwa mereka "tidak akan mendukung penggunaan kasus yang kami nilai dapat menyebabkan cedera fisik atau mental kepada orang, termasuk namun tidak terbatas pada pelecehan, penipuan yang disengaja, radikalisasi, astroturfing, atau spam."

OpenAI mengatakan kepada ZDNet bahwa mereka menggunakan jenis permainan wargaming white hat hitam yang familiar untuk mendeteksi bahaya dalam program ini:

Kami telah menyusun apa yang kami sebut sebagai 'tim merah' yang bertugas untuk terus-menerus merusak sistem filtrasi konten agar kami dapat mempelajari lebih lanjut tentang cara dan alasan mengapa model ini menghasilkan keluaran yang buruk. Lawannya adalah "tim biru" yang bertugas untuk mengukur dan mengurangi biasa.

Masalah besar lainnya adalah sifat luas GPT-3, hanya memperkuat bagian terbesar dari kurva probabilitas bersyarat. Ada yang disebut ekor panjang, dan terkadang ekor gemuk, dari distribusi probabilitas. Ini adalah contoh yang lebih jarang dan mungkin merupakan contoh yang paling inovatif dalam penggunaan bahasa. Fokus pada pemirsaan teks yang paling umum dalam suatu masyarakat berisiko menghilangkan kreativitas dan eksplorasi.

Untuk saat ini, jawaban OpenAI terhadap masalah tersebut adalah pengaturan yang bisa diubah pada GPT-3 yang disebut sebagai nilai suhu. Mengatur knob ini akan menyetel GPT-3 untuk memilih kombinasi kata yang lebih jarang dan sehingga menghasilkan teks yang mungkin lebih tidak biasa.

Satu perhatian yang lebih mendesak bagi bisnis adalah bahwa tidak mungkin untuk menyesuaikan GPT-3 dengan data yang spesifik untuk perusahaan. Tanpa kemampuan untuk menyesuaikan apapun, sulit untuk mengkhususkan GPT-3 untuk domain industri tertentu, katakanlah. Bisa jadi setiap perusahaan yang menggunakan layanan API ini akan menghasilkan teks yang harus dikerjakan lebih lanjut agar sesuai dengan domain yang relevan. Mungkin startup seperti Sapling akan membentuk suatu ekosistem, setara dengan VARs, yang akan menyelesaikan masalah tersebut. Mungkin, namun tetap harus dilihat lebih lanjut.

Jika itu belum cukup mengkhawatirkan, ada masalah lain yang harus diperhatikan, yaitu GPT-3 sebagai layanan cloud adalah sebuah kotak hitam. Artinya, perusahaan yang akan menggunakan layanan ini tidak memiliki ide bagaimana GPT-3 mencapai outputnya - hal ini menjadi risiko yang sangat berbahaya jika dilihat dari segi isu bias. Ekosistem dari pihak seperti Sapling yang meningkatkan GPT-3 mungkin akan menambahkan lapisan-langkah penyamaran sambil juga meningkatkan layanan tersebut.

Sebagai sub-bagian masalah kotak hitam, GPT-3 dalam beberapa kasus dapat hanya menghafal apa yang telah diserapnya dari web. Hal ini menimbulkan masalah hak cipta. Jika sebuah perusahaan menggunakan hasil keluaran dari layanan API yang merupakan materi berhak cipta, perusahaan tersebut dapat melanggar hak cipta entitas lain. Ketika ditanya tentang hak cipta, OpenAI memberitahu ZDNet bahwa hak cipta untuk teks yang dihasilkan oleh GPT-3 "milik pengguna, bukan milik OpenAI." Apa artinya dalam praktiknya masih harus dilihat.

Saat ini, kekurangan praktis terbesar adalah skala yang diperlukan untuk melatih dan menjalankan GPT-3. OpenAI mengakui hal ini dalam paper resmi. Para penulis menulis bahwa pekerjaan harus dilakukan untuk menghitung bagaimana biaya model besar diamortisasi seiring waktu berdasarkan nilai output yang dihasilkan.

Juga: Tidak, kecerdasan buatan ini tidak bisa menyelesaikan kalimat Anda

APAKAH GPT-3 BENAR-BENAR BELAJAR?

Dalam pengertian sempit kata tersebut, GPT-3 sedang belajar dalam arti bahwa bobot parameter-nya secara otomatis disesuaikan melalui penyerapan data pelatihan sehingga model bahasa ini menjadi lebih baik daripada pemrograman eksplisitnya sendiri. Dalam pengertian tersebut, GPT-3 adalah kemajuan dalam pencarian komputer selama beberapa dekade yang dapat belajar fungsi untuk mentransformasi data tanpa harus secara eksplisit manusia mengkodekan fungsi tersebut.

Berbicara tentang hal itu, seseorang akan bertanya apakah mesin tersebut benar-benar cerdas atau benar-benar belajar. Ada banyak cara untuk memperdebatkan hal tersebut, tetapi pemikiran singkat menunjukkan banyak dari apa yang kita sebut sebagai pemikiran manusia tidak terjadi di sini.

Pertimbangkan jika Anda bisa menyimpan dalam pikiran Anda skor numerik untuk seberapa banyak kata cenderung muncul bersama-sama. Apakah Anda mengatakan kemampuan Anda untuk membentuk frasa, kalimat, paragraf, dan seluruh teks adalah berpikir? Anda mungkin akan mengatakan itu hanya bersifat statistik, dan bahwa ada sesuatu yang hilang.

Perbandingan telah dilakukan antara deep learning dan Clever Hans yang terkenal, seekor kuda Jerman yang dipamerkan oleh pemiliknya sebagai hewan yang mampu melakukan perhitungan matematika dengan kuku kaki. Kemudian terungkap bahwa Hans merespons isyarat tubuh dari pemiliknya untuk menekan kaki kakinya, dan tanpa isyarat tersebut ia tidak mampu melakukannya.

Sama halnya, kualitas manusia dari GPT-3 mengalami penurunan saat diperiksa lebih lanjut. Saat GPT-3 menjawab dengan benar pertanyaan benar-salah tentang esai tentang properti New York, hal tersebut bukan karena program tersebut mengetahui tentang properti atau New York. Program ini telah menyimpan distribusi probabilitas yang menggambarkan pernyataan dalam teks dan format pasangan pernyataan-pertanyaan, dan dapat mencerminkannya dalam hasil keluaran.

Hans tidak tahu apa-apa tentang aritmatika, meski, dalam membela Hans, ia memiliki kecerdasan yang tetap. Dalam hal jaringan saraf, para kritikus akan mengatakan hanya trik-trik ada di sana, tanpa adanya kecerdasan alami.

Meskipun demikian, kecerdasan dan pembelajaran dapat memiliki banyak arti, dan patokan kesuksesan telah berubah selama bertahun-tahun untuk apa yang seharusnya menjadi kecerdasan buatan, seperti yang telah dikemukakan oleh Pamela McCorduck, seorang sejarawan di bidang ini. Beberapa mungkin berpendapat bahwa program yang dapat menghitung probabilitas dalam berbagai kumpulan teks mungkin merupakan jenis kecerdasan yang berbeda, mungkin merupakan kecerdasan asing selain kecerdasan kita sendiri. Mengabaikannya terlihat terlalu cepat.

Selain itu, jaringan saraf yang menghasilkan probabilitas kondisional tersebut lebih dari sekadar program statistik biasa. Perhitungan mereka adalah hasil emergen dari beberapa operasi matematika simultan yang terjadi secara paralel, yaitu penyesuaian bobot parameter. Jika mungkin untuk mempertimbangkan bentuk-bentuk kecerdasan lainnya, maka sifat emergen seperti representasi terdistribusi yang terbentuk di dalam jaringan saraf dapat menjadi tempat yang layak untuk mencarinya.

BAGAIMANA MASA DEPAN GPT-3?

Satu hal sepertinya pasti: GPT-3 telah membuka babak baru dalam pembelajaran mesin. Fitur paling mencoloknya adalah keuniversalannya. Hanya beberapa tahun yang lalu, jaringan saraf dibangun dengan fungsi yang disesuaikan dengan tugas tertentu, seperti terjemahan atau menjawab pertanyaan. Dataset dikuratori untuk mencerminkan tugas tersebut. Sebaliknya, GPT-3 tidak memiliki fungsi khusus tugas, dan tidak membutuhkan dataset khusus. Ia hanya menelan sebanyak mungkin teks dari mana pun dan memantulkannya dalam keluarannya.

Entah bagaimana, dalam perhitungan distribusi probabilitas bersyarat di seluruh gigabita teks itu, sebuah fungsi muncul yang dapat menghasilkan jawaban yang kompetitif dalam berbagai tugas. Ini adalah sebuah kejayaan keanggunan kesederhanaan yang kemungkinan masih memiliki banyak pencapaian di masa depan.

Meskipun demikian, generalitas tersebut dapat mencapai batasnya. Penulis-penulis GPT-3 sendiri mencatat di akhir makalah mereka bahwa arah pra-pelatihan mungkin pada akhirnya kehabisan sumber daya. "Batasan yang lebih mendasar dari pendekatan umum yang dijelaskan dalam makalah ini [...] adalah bahwa pada akhirnya mungkin akan mencapai (atau mungkin sudah mencapai) batasan obyektif pra-pelatihan."

Para penulis menyarankan arah baru yang menjanjikan mungkin termasuk "mempelajari fungsi tujuan dari manusia," dan mencampur jenis deep learning lainnya, seperti pendekatan "reinforcement learning" yang digunakan dalam AlphaZero milik DeepMind untuk menang dalam catur dan go. (Mereka sudah mulai menerapkan pendekatan-pendekatan tersebut. Pada awal September, para penulis OpenAI menunjukkan bahwa mereka dapat menggunakan reinforcement learning untuk melatih GPT-3 agar menghasilkan ringkasan artikel yang lebih baik dengan memberikan umpan balik manusia pada model bahasa tentang ringkasan mana yang terdengar lebih baik.)

Ada hal lain yang mereka sarankan yaitu menambahkan tipe data lain, seperti gambar, untuk melengkapi "model dunia" dari program.

Ternyata, dalam beberapa tahun ke depan kemungkinan pendekatan umum ini akan menyebar ke modalitas lain selain teks, seperti gambar dan video. Bayangkan sebuah program seperti GPT-3 yang dapat menerjemahkan gambar ke kata-kata dan sebaliknya tanpa ada algoritma khusus untuk memodelkan hubungan antara keduanya. Misalnya, program tersebut bisa "belajar" deskripsi adegan dari foto atau memprediksi urutan peristiwa fisik dari deskripsi teks.

Direktur Facebook AI, Yann LeCun, telah menyampaikan bahwa pelatihan tanpa pengawasan dalam berbagai bentuk adalah masa depan pembelajaran mendalam. Jika itu benar, pendekatan pra-pelatihan yang diterapkan pada berbagai macam data, mulai dari suara hingga teks hingga gambar hingga video, dapat dilihat sebagai salah satu arah masa depan yang sangat menjanjikan dari gelombang tanpa pengawasan.