ChatGPT bisa menulis kode. Sekarang para peneliti mengatakan ini juga bagus untuk memperbaiki bug.

Chatbot ChatGPT dari OpenAI dapat memperbaiki bug software dengan sangat baik, tetapi keunggulan utamanya dibandingkan dengan metode dan model AI lainnya adalah kemampuannya yang unik dalam berdialog dengan manusia yang memungkinkannya untuk meningkatkan kebenaran sebuah jawaban.

Para peneliti dari Universitas Johannes Gutenberg Mainz dan University College London membandingkan ChatGPT dari OpenAI dengan "teknik perbaikan program otomatis standar" dan dua pendekatan pembetulan program dengan deep-learning: CoCoNut, dari peneliti di Universitas Waterloo, Kanada; dan Codex, model berbasis GPT-3 dari OpenAI yang menjadi dasar layanan pengkodean otomatis Copilot di GitHub untuk pemrograman berpasangan.

Juga: Bagaimana cara memulai menggunakan ChatGPT

"Kami menemukan bahwa kinerja perbaikan bug ChatGPT bersaing dengan pendekatan pembelajaran mendalam umum seperti CoCoNut dan Codex serta jauh lebih baik daripada hasil yang dilaporkan untuk pendekatan perbaikan program standar," tulis para peneliti dalam makalah terbaru di arXiv, yang pertama kali ditemukan oleh New Scientist.

Chatbot AI terbaik: ChatGPT dan alternatif menarik lainnya untuk dicoba

Chatbot AI dan penulis dapat membantu meringankan beban kerja Anda dengan menulis email dan esai, bahkan melakukan perhitungan matematika. Mereka menggunakan kecerdasan buatan untuk menghasilkan teks atau menjawab pertanyaan berdasarkan masukan pengguna. ChatGPT adalah contoh yang populer, tetapi ada juga chatbot lain yang patut diperhatikan.

Baca sekarang

Itu ChatGPT dapat digunakan untuk memecahkan masalah pemrograman bukanlah hal baru, namun para peneliti menekankan bahwa kemampuannya yang unik untuk berdialog dengan manusia memberikannya keunggulan potensial dibanding pendekatan dan model lainnya.

Para peneliti telah menguji kinerja ChatGPT menggunakan QuixBugs sebagai benchmark perbaikan bug. Sistem perbaikan program otomatis (APR) tampaknya berada dalam kekurangan karena dikembangkan sebelum tahun 2018.

ChatGPT didasarkan pada arsitektur transformer, yang menjadi sorotan Yann LeCun, kepala AI Meta minggu ini, dikembangkan oleh Google. Codex, CodeBERT dari Microsoft Research, dan pendahulunya BERT dari Google semuanya didasarkan pada metode transformer Google.

OpenAI menyoroti kemampuan dialog ChatGPT dalam contoh-contoh untuk memperbaiki kode di mana ChatGPT dapat meminta penjelasan, dan menerima petunjuk dari seseorang untuk mencapai jawaban yang lebih baik. ChatGPT dilatih menggunakan model bahasa besar yang ada di balik ChatGPT (GPT-3 dan GPT 3.5) menggunakan Penguatan Pembelajaran dari Umpan Balik Manusia (RLHF).

Sementara kemampuan ChatGPT untuk berdiskusi dapat membantu untuk mencapai jawaban yang lebih benar, kualitas saran-sarannya tetap tidak jelas, catat para peneliti. Itulah mengapa mereka ingin mengevaluasi performa pengoreksian bug dari ChatGPT.

Para peneliti menguji ChatGPT terhadap 40 masalah QuixBugs yang hanya menggunakan Python, kemudian memeriksa secara manual apakah solusi yang disarankan benar atau tidak. Mereka mengulang pertanyaan tersebut empat kali karena terdapat beberapa keacakan dalam keandalan jawaban ChatGPT, seperti yang ditemukan oleh seorang profesor Wharton setelah menjalankan ujian yang mirip dengan MBA pada chatbot ini.

ChatGPT berhasil menyelesaikan 19 dari 40 bug Python, sehingga sejajar dengan CoCoNut (19) dan Codex (21). Namun, metode APR standar hanya dapat menyelesaikan tujuh masalah.

Para peneliti menemukan bahwa tingkat keberhasilan ChatGPT dalam interaksi lanjutan mencapai 77,5%.

Implikasi bagi pengembang dalam hal usaha dan produktivitasnya tidak jelas. Baru-baru ini Stack Overflow melarang jawaban yang dihasilkan dari ChatGPT karena kualitasnya rendah namun terdengar mungkin. Sang profesor Wharton menemukan bahwa ChatGPT bisa menjadi teman yang hebat bagi mahasiswa MBA karena dapat berperan sebagai "konsultan cerdas" -- seseorang yang menghasilkan jawaban yang elegan namun seringkali salah -- dan mendorong pemikiran kritis.

"Ini menunjukkan bahwa sumbangan manusia dapat sangat membantu dalam sistem APR otomatis, dengan ChatGPT menyediakan sarana untuk melakukannya," tulis para peneliti.

"Meskipun memiliki kinerja yang sangat baik, muncul pertanyaan apakah biaya mental yang dibutuhkan untuk memverifikasi jawaban ChatGPT melebihi keuntungan yang dibawa oleh ChatGPT."