Dapatkah ChatGPT lulus Ujian Meja Advokat?

ChatGPT dan Ujian Profesi

Ujian advokat adalah tes yang ketat yang menilai pengetahuan dan kemampuan penalaran melalui tulisan, tugas kinerja, dan pertanyaan pilihan ganda. Ini adalah tes standar yang digunakan oleh banyak yurisdiksi di Amerika Serikat sebagai bagian dari proses penerimaan advokat mereka. Ini terdiri dari tiga bagian yang menilai pengetahuan calon mengenai prinsip-prinsip hukum umum, kemampuan untuk menerapkan prinsip-prinsip hukum pada pola fakta tertentu, dan kemampuan untuk menyelesaikan tugas-tugas hukum.

Ujian ini dirancang untuk memungkinkan para pengacara mendapatkan lisensi di beberapa negara bagian tanpa harus mengulangi ujian bar untuk setiap negara bagian. Skor kelulusan ditetapkan oleh masing-masing yurisdiksi, dan skor ujian dapat ditransfer ke yurisdiksi negara bagian lain, sesuai dengan aturan dan persyaratan masing-masing yurisdiksi.

GPT-3.5 dan GPT-4, model bahasa berukuran besar OpenAI yang dibangun dengan menggunakan ChatGPT, memiliki kemampuan untuk menyelesaikan tugas-tugas sulit yang memerlukan pengetahuan hukum yang luas, pemahaman bacaan, dan kecakapan menulis, hingga mencapai standar pengacara manusia hampir di semua yurisdiksi AS. National Conference of Bar Examiners, yang membuat bagian pilihan ganda, telah mencatat bahwa pengacara memiliki kemampuan unik yang diperoleh melalui pendidikan dan praktik, yang saat ini belum dapat disamai oleh kecerdasan buatan.

Bagaimana performa ChatGPT dalam Ujian Advokat?

Pada awal tahun ini, penelitian yang dilakukan oleh profesor dari Illinois Tech dan Michigan State College of Law menunjukkan bahwa ChatGPT 3.5 berhasil mencapai tingkat kelulusan dalam dua kategori ujian bar multistate (MBE) dan memiliki performa yang serupa dengan peserta ujian manusia dalam satu kategori lainnya, yang menunjukkan pemahaman umumnya dalam domain hukum. Dalam penelitian lain yang dilaksanakan oleh peneliti OpenAI itu sendiri, ChatGPT memberikan hasil yang baik dalam ujian bar dan mencetak skor pada persentil ke-90 dalam penelitian tersebut. ChatGPT menjawab hampir 76% pertanyaan pilihan ganda dengan benar, meningkat dari 50% sebelumnya, dan melampaui rata-rata peserta ujian manusia sebesar lebih dari 7%.

ChatGPT mampu menghasilkan jawaban esai dan tes kinerja yang sebagian besar relevan dan logis. Ambang batas untuk lulus ujian pengacara bervariasi dari negara ke negara, dan di New York, dibutuhkan skor 266, sekitar persentil ke-50, untuk lulus. Hasil ChatGPT menunjukkan bahwa kemampuan model bahasa besar mencakup tugas kompleks yang membutuhkan pengetahuan hukum, pemahaman, dan kemampuan menulis yang signifikan. Model-model ini mencapai standar yang berlaku untuk pengacara manusia di hampir semua yurisdiksi di Amerika Serikat.

Apakah ChatGPT lulus ujian pengacara?

ChatGPT lulus Ujian Keseragaman Bar.

Apa nilai ujian baris terbaik 1%?

300 secara kasar berada di persentil 90 teratas sedangkan skor 330 berada di sekitar persentil 1 teratas.