Bagaimana cara kerja ChatGPT?

ChatGPT adalah salah satu alat bertenaga AI baru yang paling cemerlang, tetapi algoritme yang bekerja di latar belakang sebenarnya telah mendukung berbagai aplikasi dan layanan sejak tahun 2020. Jadi untuk memahami cara kerja ChatGPT, kita perlu mulai dengan berbicara tentang bahasa yang mendasarinya mesin yang menggerakkannya.

GPT di ChatGPT sebagian besar adalah GPT-3, atau Generative Pre-trained Transformer 3, meskipun GPT-4 sekarang tersedia untuk pelanggan ChatGPT Plus—dan mungkin akan segera tersebar luas. Model GPT dikembangkan oleh OpenAI (perusahaan di belakang ChatGPT dan pembuat gambar DALL·E 2), tetapi model ini mendukung segalanya mulai dari fitur AI Bing hingga alat tulis seperti Jasper dan Copy.ai. Faktanya, sebagian besar generator teks AI yang tersedia saat ini menggunakan GPT-3, dan kemungkinan besar akan menawarkan GPT-4 sebagai langkah selanjutnya.

ChatGPT membawa GPT-3 menjadi pusat perhatian karena membuat proses interaksi dengan pembuat teks AI menjadi sederhana dan—yang paling penting—gratis untuk semua orang. Plus, ini adalah chatbot, dan orang-orang menyukai chatbot yang bagus sejak SmarterChild.

Sementara GPT-3 dan GPT-4 adalah Model Bahasa Besar (LLM) paling populer saat ini, selama beberapa tahun ke depan, kemungkinan akan ada lebih banyak persaingan. Google, misalnya, memiliki Bard — AI chatbot-nya — yang diberdayakan oleh mesin bahasanya sendiri Pathways Language Model (PaLM 2). Namun untuk saat ini, penawaran OpenAI adalah standar industri de facto. Itu hanya alat termudah bagi orang untuk mendapatkannya.

Jadi jawaban untuk "bagaimana cara kerja ChatGPT?" pada dasarnya adalah: GPT-3 dan GPT-4. Tapi mari kita gali lebih dalam.

Apa itu ChatGPT?

ChatGPT adalah aplikasi yang dibangun oleh OpenAI. Dengan menggunakan model bahasa GPT, ini dapat menjawab pertanyaan Anda, menulis salinan, membuat draf email, mengadakan percakapan, menjelaskan kode dalam berbagai bahasa pemrograman, menerjemahkan bahasa alami ke kode, dan banyak lagi—atau setidaknya mencoba—semua berdasarkan bahasa alami meminta Anda memberinya makan. Ini adalah chatbot, tapi benar-benar bagus.

Meskipun asyik bermain-main jika, katakanlah, Anda ingin menulis soneta Shakespeare tentang hewan peliharaan Anda atau mendapatkan beberapa ide untuk baris subjek untuk beberapa email pemasaran, itu juga bagus untuk OpenAI. Ini adalah cara untuk mendapatkan banyak data dari pengguna nyata dan berfungsi sebagai demo mewah untuk kekuatan GPT, yang jika tidak dapat terasa sedikit kabur kecuali Anda mendalami pembelajaran mesin.

Saat ini, ChatGPT menawarkan dua model GPT. Standarnya, GPT-3.5, kurang bertenaga tetapi tersedia untuk semua orang secara gratis. GPT-4 yang lebih canggih terbatas pada pelanggan ChatGPT Plus, dan bahkan mereka hanya mendapatkan pertanyaan dalam jumlah terbatas setiap hari.

Salah satu fitur besar ChatGPT adalah dapat mengingat percakapan yang Anda lakukan dengannya. Ini berarti dapat mengumpulkan konteks dari apa pun yang Anda tanyakan sebelumnya dan kemudian menggunakannya untuk menginformasikan percakapannya dengan Anda. Anda juga dapat meminta pengerjaan ulang dan koreksi, dan itu akan merujuk kembali ke apa pun yang telah Anda diskusikan sebelumnya. Itu membuat interaksi dengan AI terasa seperti bolak-balik asli.

Jika Anda benar-benar ingin merasakannya, buka dan habiskan lima menit bermain dengan ChatGPT sekarang (gratis!), lalu kembali untuk membaca tentang cara kerjanya.

Bagaimana cara kerja ChatGPT?

Kumpulan data yang sangat besar ini digunakan untuk membentuk jaringan saraf pembelajaran mendalam [ ... ] yang dimodelkan setelah otak manusia — yang memungkinkan ChatGPT mempelajari pola dan hubungan dalam data teks [ ... ] memprediksi teks apa yang akan muncul berikutnya dalam kalimat tertentu .

ChatGPT bekerja dengan mencoba memahami prompt Anda dan kemudian melontarkan rangkaian kata yang diprediksi akan menjawab pertanyaan Anda dengan baik, berdasarkan data yang dilatihnya.

Mari kita bicara tentang pelatihan itu. Ini adalah proses di mana AI yang baru lahir diberi beberapa aturan dasar, dan kemudian dimasukkan ke dalam situasi atau diberi banyak data untuk dikerjakan guna mengembangkan algoritmenya sendiri.

GPT-3 dilatih pada sekitar 500 miliar "token", yang memungkinkan model bahasanya lebih mudah menetapkan makna dan memprediksi teks lanjutan yang masuk akal. Banyak kata dipetakan ke token tunggal, meskipun kata yang lebih panjang atau lebih kompleks sering dipecah menjadi beberapa token. Rata-rata, token kira-kira panjangnya empat karakter. OpenAI tetap diam tentang cara kerja bagian dalam GPT-4, tetapi kami dapat dengan aman berasumsi itu dilatih pada kumpulan data yang sama karena ini bahkan lebih kuat.

Semua token berasal dari sekumpulan besar data yang ditulis oleh manusia. Itu termasuk buku, artikel, dan dokumen lain di semua topik, gaya, dan genre yang berbeda — dan sejumlah besar konten yang diambil dari internet terbuka. Pada dasarnya, itu diizinkan untuk mengolah jumlah total pengetahuan manusia.

Kumpulan data yang sangat besar ini digunakan untuk membentuk jaringan saraf pembelajaran yang mendalam—algoritme berbobot kompleks, berlapis-lapis, yang dimodelkan setelah otak manusia—yang memungkinkan ChatGPT mempelajari pola dan hubungan dalam data teks dan memanfaatkan kemampuan untuk membuat seperti manusia tanggapan dengan memprediksi teks apa yang harus datang berikutnya dalam setiap kalimat yang diberikan.

Meskipun sungguh, itu menjual barang secara besar-besaran. ChatGPT tidak berfungsi pada tingkat kalimat—melainkan, ini menghasilkan teks dari kata, kalimat, dan bahkan paragraf atau bait yang dapat diikuti. Ini bukan teks prediktif di ponsel Anda yang secara blak-blakan menebak kata berikutnya; itu berusaha untuk membuat tanggapan yang sepenuhnya koheren untuk setiap prompt.

Untuk lebih menyempurnakan kemampuan ChatGPT dalam menanggapi berbagai petunjuk yang berbeda, ChatGPT dioptimalkan untuk dialog dengan teknik yang disebut pembelajaran penguatan dengan umpan balik manusia (RLHF). Pada dasarnya, manusia membuat model hadiah dengan data perbandingan (di mana dua atau lebih respons model diberi peringkat oleh pelatih AI), sehingga AI dapat mempelajari respons mana yang terbaik.

Kembali ke jaringan saraf yang dibentuknya. Berdasarkan semua pelatihan itu, jaringan saraf GPT-3 memiliki 175 miliar parameter atau variabel yang memungkinkannya mengambil masukan—prompt Anda—dan kemudian, berdasarkan nilai dan bobot yang diberikannya ke parameter yang berbeda (dan sejumlah kecil keacakan ), menampilkan apa pun yang menurutnya paling sesuai dengan permintaan Anda. OpenAI belum mengatakan berapa banyak parameter yang dimiliki GPT-4, tetapi perkiraan yang aman adalah lebih dari 175 miliar dan kurang dari 100 triliun parameter yang pernah dirumorkan. Terlepas dari angka pastinya, lebih banyak parameter tidak secara otomatis berarti lebih baik. Beberapa peningkatan daya GPT-4 mungkin berasal dari memiliki lebih banyak parameter daripada GPT-3, tetapi banyak yang mungkin disebabkan oleh peningkatan dalam cara pelatihannya.

Pada akhirnya, cara paling sederhana untuk membayangkannya adalah seperti salah satu permainan "selesaikan kalimat" yang Anda mainkan saat kecil.

Pada akhirnya, cara paling sederhana untuk membayangkannya adalah seperti salah satu permainan "selesaikan kalimat" yang Anda mainkan saat kecil. Misalnya, ketika saya memberikan prompt pada ChatGPT menggunakan GPT-3, "Zapier is…" ia menjawab dengan mengatakan:

"Zapier adalah alat otomasi berbasis web yang memungkinkan pengguna menghubungkan berbagai aplikasi web secara bersamaan untuk mengotomatiskan tugas berulang dan meningkatkan alur kerja."

Itu adalah jenis kalimat yang dapat Anda temukan di ratusan artikel yang menjelaskan apa yang dilakukan Zapier, jadi masuk akal jika ini adalah jenis yang dilontarkan di sini. Tetapi ketika editor saya memberikan prompt yang sama, dikatakan:

"Zapier adalah alat otomasi berbasis web yang memungkinkan pengguna menghubungkan berbagai aplikasi web dan mengotomatiskan alur kerja di antaranya."

Itu sangat mirip, tetapi itu bukan respons yang persis sama. Keacakan itu (yang dapat Anda kontrol di beberapa aplikasi GPT-3 dengan pengaturan yang disebut "suhu") memastikan bahwa ChatGPT tidak hanya menanggapi setiap tanggapan dengan jumlah yang sama dengan jawaban stok. Itu menjalankan setiap prompt melalui seluruh jaringan saraf setiap kali, dan melempar beberapa dadu di sana-sini untuk menjaga semuanya tetap segar. Sepertinya tidak mungkin untuk mulai mengklaim bahwa Zapier adalah warna dari Mars, tetapi kata-kata berikut akan tercampur berdasarkan kemungkinan relatifnya.

(Untuk apa nilainya, saat berjalan di GPT-4, ChatGPT berkata: " Zapier adalah alat otomasi berbasis web yang memungkinkan pengguna untuk mengintegrasikan dan mengotomatiskan tugas antara berbagai aplikasi dan layanan online." Hampir sama!)

Meludahkan kata-kata, bukan pengetahuan

Pembuat ChatGPT adalah yang pertama mengatakan bahwa itu dapat menghasilkan informasi yang salah (dan mungkin berbahaya), meskipun mereka bekerja keras untuk memperbaikinya.

Ini contoh yang jinak. Saat saya menanyakan ChatGPT menggunakan GPT-3 dan GPT-4 untuk membalas "Harry Guinness is…" GPT-3 pertama kali menjawab dengan menanyakan Harry Guinness yang mana. Pertanyaan bagus—kita benar-benar ada dua! Jadi saya berkata, "Harry Guinness sang penulis" (itu saya). GPT-4 langsung menebak siapa saya, meskipun kedua tanggapan itu menarik:

GPT-3: Harry Guinness adalah seorang penulis lepas dan jurnalis yang tinggal di Irlandia. Dia telah menulis untuk berbagai publikasi, termasuk The New York Times, The Guardian, The Huffington Post, dan Popular Mechanics. Dia membahas topik mulai dari teknologi dan fotografi hingga perjalanan dan budaya.

GPT-4: Harry Guinness adalah seorang penulis Irlandia, fotografer, dan pakar teknologi. Dia telah menulis untuk berbagai publikasi, termasuk How-To Geek, Lifehacker, dan Tuts+. Karyanya terutama berfokus pada teknologi, tutorial, dan tip, serta fotografi dan pengeditan gambar. Guinness telah membangun reputasi untuk membuat panduan mendetail yang membantu pembaca memahami subjek yang rumit atau memecahkan masalah dengan cara yang lugas.

Baris pertama dan terakhir GPT-3 ditarik hampir kata demi kata dari berbagai situs web saya dan biografi penulis di seluruh web (walaupun saya biasanya mencantumkan diri saya sebagai penulis dan fotografer lepas, bukan jurnalis). Tetapi daftar publikasi pada dasarnya dibuat-buat. Saya telah menulis untuk The New York Times , tetapi tidak untuk The Guardian , The Huffington Post , atau Popular Mechanics (Saya menulis secara teratur untuk Popular Science , jadi mungkin dari situlah asalnya).

GPT-4 mendapatkan bagian fotografer dengan benar dan benar-benar mencantumkan beberapa publikasi yang telah saya tulis, yang mengesankan, meskipun itu bukan yang paling saya banggakan. Ini adalah contoh yang bagus tentang bagaimana OpenAI mampu meningkatkan akurasi GPT-4 relatif terhadap GPT-3, meskipun mungkin tidak selalu menawarkan jawaban yang paling benar.

Tapi mari kembali ke GPT-3 karena kesalahannya memberikan contoh menarik tentang apa yang terjadi di balik layar di ChatGPT. Itu sebenarnya tidak tahu apa-apa tentang saya. Bahkan bukan menyalin/menempel dari internet dan mempercayai sumber informasinya. Sebaliknya, itu hanya memprediksi serangkaian kata yang akan muncul berikutnya berdasarkan miliaran poin data yang dimilikinya.

Misalnya: The New York Times lebih sering dikelompokkan dengan The Guardian dan The Huffington Post daripada dengan tempat-tempat yang saya tulis, seperti Wired , Outside , The Irish Times , dan, tentu saja, Zapier. Jadi ketika harus mencari tahu apa yang harus dilanjutkan dari The New York Times , itu tidak menarik dari informasi yang dipublikasikan tentang saya; itu menarik daftar publikasi besar itu dari semua data pelatihan yang dimilikinya. Ini sangat pintar dan terlihat masuk akal, tetapi itu tidak benar.

GPT-4 melakukan pekerjaan yang jauh lebih baik dan memaku publikasi, tetapi sisa dari apa yang dikatakannya benar-benar terasa seperti kalimat lanjutan yang masuk akal. Saya pikir itu tidak menghargai reputasi saya: itu hanya mengatakan hal-hal yang dikatakan bio. Jauh lebih baik dalam menyembunyikan cara kerjanya daripada GPT-3, meskipun sebenarnya menggunakan teknik yang hampir sama.

Tetap saja, sangat mengesankan betapa banyak peningkatan GPT. Untuk saat ini, GPT-4 dikunci di belakang langganan premium, jadi sebagian besar konten ChatGPT yang Anda lihat akan bergantung pada GPT-3, tetapi hal itu dapat berubah di waktu mendatang. Siapa yang tahu apa yang akan dibawa oleh GPT-5.

Apa itu API ChatGPT?

OpenAI tidak memiliki sikap hanya kita dengan teknologinya. Perusahaan memiliki platform API yang memungkinkan pengembang untuk mengintegrasikan kekuatan ChatGPT ke dalam aplikasi dan layanan mereka sendiri (tentu saja dengan harga tertentu).

Zapier menggunakan API ChatGPT untuk menjalankan integrasi ChatGPT miliknya sendiri, yang memungkinkan Anda menghubungkan ChatGPT ke ribuan aplikasi lain dan menambahkan AI ke alur kerja penting bisnis Anda. Berikut adalah beberapa contoh untuk Anda mulai, tetapi pada dasarnya Anda dapat memicu ChatGPT dari aplikasi apa saja.

Anda juga dapat menggunakan model OpenAI lainnya—seperti DALL·E dan Whisper—dengan integrasi OpenAI Zapier. Otomatiskan alur kerja yang melibatkan pembuatan gambar dan transkripsi audio, langsung dari aplikasi yang sudah Anda gunakan.

Bacaan terkait: Bagaimana Anda dapat (dan kapan tidak seharusnya) menggunakan ChatGPT untuk menulis salinan pemasaran