ChatGPT mengikuti ujian MBA. Begini caranya

Seorang profesor di Wharton, University of Pennsylvania telah memberikan izin kelas B teoretis kepada ChatGPT setelah menandai jawaban yang dihasilkannya untuk ujian akhir dalam kursus MBA pada umumnya.

Christian Terwiesch, seorang profesor manajemen operasi di Wharton, mengatakan bahwa ChatGPT melakukan "pekerjaan luar biasa dalam manajemen operasi dasar dan pertanyaan analisis proses."

"Tidak hanya jawabannya yang benar, tetapi penjelasannya juga sangat bagus," tulisnya dalam buku putih baru.

Juga: Cara memulai menggunakan ChatGPT

Namun dia menambahkan chatbot membuat "kesalahan mengejutkan dalam perhitungan yang relatif sederhana di tingkat Matematika kelas 6," dan saat ini tidak dapat menangani pertanyaan analisis proses lanjutan. Di sisi lain, versi ChatGPT saat ini dapat memodifikasi jawabannya sebagai tanggapan atas petunjuk manusia untuk sampai pada solusi yang tepat.

"Mengingat kinerja ini, Chat GPT3 akan menerima nilai B sampai B pada ujian," tulis Terwiesch.

Beberapa pertanyaan Terwiesch ditujukan untuk menguji apakah ChatGPT dapat mengidentifikasi hambatan dalam operasi pemrosesan dengan banyak mesin yang memiliki kapasitas throughput berbeda.

ChatGPT, bagaimanapun, "membuat kesalahan besar yang sangat besar" saat menghitung dengan aritmatika tingkat menengah.

Menariknya, ChatGPT awalnya salah menjawab salah satu pertanyaan Terwiesch terkait analisis antrian. Dia mendorongnya dengan petunjuk untuk jawaban yang lebih baik dan ChatGPT meningkatkan jawabannya. Keesokan harinya, sang profesor mengajukan pertanyaan antrean awal yang sama tanpa petunjuk -- dan ChatGPT menjawab dengan benar pada upaya pertamanya.

"Itu bisa belajar dari umpan balik sebelumnya atau saya hanya beruntung," catatnya, menambahkan bahwa tampaknya ada keacakan dalam kualitas jawabannya.

Terwiesch juga menemukan bahwa ChatGPT mampu merumuskan pertanyaan cerdas dan lucu yang dapat dia gunakan dalam ujian mendatang. Namun, chatbot juga memperkenalkan kelemahan halus dalam beberapa pertanyaan yang membuatnya tidak mungkin dijawab.

Juga: ChatGPT 'tidak memiliki kedalaman dan wawasan,' kata editor jurnal sains bergengsi

Terwiesch memperingatkan orang lain untuk memperhatikan kemampuan dan keterbatasan ChatGPT. Dia mengatakan dia "jatuh cinta" dengan ChatGPT setelah membaca jawabannya untuk pertanyaan pertamanya, tetapi memperingatkannya "membuat kesalahan besar dalam beberapa situasi yang cukup sederhana."

"Kami masih jauh dari nilai A+ untuk masalah yang rumit dan kami masih membutuhkan manusia yang terlibat," tulisnya.

"Dalam pandangan saya tentang pendidikan, seorang siswa sekolah dasar masih perlu mempelajari bahwa 7 x 7 = 49 dan bahwa ibu kota Pennsylvania adalah Harrisburg, meskipun kalkulator telah digunakan secara luas selama lebih dari 50 tahun dan siswa dapat menggunakan Google Wikipedia untuk mencari jawaban. untuk sebagian besar pertanyaan faktual. Ini adalah sifat keterampilan dasar yang mereka butuhkan untuk memahami topik yang lebih lanjut."

Terwiesch setuju bahwa pendidik harus khawatir bahwa siswa K-12 mungkin menggunakan ChatGPT untuk menyontek saat mengerjakan tugas dan ujian. Misalnya, Departemen Pendidikan Kota New York baru-baru ini melarang chatbot karena tes yang andal penting dalam pengajaran, sedangkan sertifikasi keterampilan tidak boleh dikompromikan karena teknologi baru. Seorang siswa yang menggunakan ChatGPT seperti dapat memanggil seorang teman dengan "kompetensi akademik rata-rata" untuk menyelesaikan ujian bagi mereka, catatnya.

Namun dia juga berpendapat bahwa ChatGPT dan teknologi serupa memiliki kemampuan untuk memainkan peran sebagai "konsultan cerdas" -- yang menghasilkan jawaban elegan namun seringkali salah, yang dia yakini sebagai "tempat pelatihan yang sempurna" untuk mengembangkan keterampilan di antara mahasiswa MBA yang membutuhkan. kritis mengevaluasi alternatif yang disarankan.