Bisakah detektor AI menyelamatkan kita dari ChatGPT? Saya mencoba 3 alat online untuk mencari tahu

Ini adalah artikel kedua dalam seri yang mengeksplorasi masalah teks yang dihasilkan AI.

Dalam angsuran ini, saya dan teman AI saya melihat pertanyaan apakah mungkin untuk melawan plagiarisme yang dihasilkan AI, dan bagaimana cara kerjanya.

Juga: Apa itu ChatGPT dan mengapa itu penting? Inilah yang perlu Anda ketahui

Namun, sebelum saya melanjutkan, kita perlu berbicara tentang konsep plagiarisme dan kaitannya dengan masalah ini. Webster's mendefinisikan "menjiplak" sebagai "mencuri dan menyebarkan (gagasan atau kata-kata orang lain) sebagai milik sendiri: gunakan (produksi orang lain) tanpa menyebutkan sumbernya."

Ini cocok untuk konten buatan AI. Sementara seseorang yang menggunakan alat AI seperti Notion AI atau ChatGPT tidak mencuri konten, jika orang tersebut tidak menganggap kata-kata tersebut berasal dari AI dan mengklaimnya sebagai milik mereka, itu masih memenuhi definisi plagiarisme kamus.

ZDNET Merekomendasikan

ChatGPT - Penulis AI terbaik

Bot obrolan AI terbaik: ChatGPT dan alternatif menarik lainnya untuk dicoba

Chatbot dan penulis AI dapat membantu meringankan beban kerja Anda dengan menulis email dan esai, dan bahkan mengerjakan matematika. Mereka menggunakan kecerdasan buatan untuk menghasilkan teks atau menjawab pertanyaan berdasarkan input pengguna. ChatGPT adalah salah satu contoh populer, tetapi ada chatbot penting lainnya.

Baca sekarang

Dalam artikel percobaan ini, saya telah meminta bantuan ChatGPT. Kata-kata saya dalam teks normal dan tebal. Kata-kata AI dicetak miring. Saya juga akan menggunakan tiga pendeteksi plagiarisme ChatGPT online (yang akan saya jelaskan lebih detail di bawah). Setelah setiap bagian yang dibuat oleh AI, saya akan menunjukkan hasil dari detektor. Di akhir artikel, kita akan melihat seberapa baik kinerja detektor secara keseluruhan.

Inilah hasil untuk teks di atas, yang saya tulis sendiri:

Detektor Keluaran GPT-2: 99,98% nyata
Writer AI Content Detector: 100% konten buatan manusia. Fantastis!
Konten dalam Skala Deteksi Konten AI: 100% skor konten manusia. Tampak hebat!

Dengan itu, mari kita mulai.

Jelaskan mengapa ChatGPT bisa menjadi masalah nyata bagi guru dan editor dalam hal plagiarisme

ChatGPT adalah varian dari model bahasa GPT (Generative Pre-trained Transformer) yang dikembangkan oleh OpenAI. Ini dirancang untuk menghasilkan teks seperti manusia dengan memprediksi kata atau frasa berikutnya dalam urutan input yang diberikan. Sementara ChatGPT dapat menjadi alat yang berguna untuk menghasilkan teks dan menanggapi permintaan, itu juga bisa menjadi masalah bagi guru dan editor ketika menyangkut plagiarisme.

Salah satu alasan utama mengapa ChatGPT dapat menjadi masalah bagi guru dan editor adalah karena dapat menghasilkan teks yang sangat mirip dengan penulis manusia nyata. Artinya, siswa atau individu lain berpotensi menggunakan ChatGPT untuk menghasilkan teks yang kemudian dapat mereka kirimkan sebagai karya mereka sendiri, sehingga melakukan plagiarisme.

Juga:Bisakah Notion AI menulis pembantu menulis artikel ini?

Untuk guru dan editor, mendeteksi apakah bagian tertentu dari teks dihasilkan oleh ChatGPT atau ditulis oleh manusia bisa sangat sulit, karena teks yang dihasilkan mungkin tidak mengandung kesalahan atau ketidaksesuaian yang jelas yang akan mengungkap asal buatannya. Hal ini dapat mempersulit guru dan editor untuk mengidentifikasi dan mencegah plagiarisme, karena mereka mungkin tidak dapat mengetahui apakah suatu teks tertentu asli atau disalin dari sumber lain.

Secara keseluruhan, ChatGPT dan model bahasa serupa lainnya dapat menjadi masalah bagi guru dan editor dalam hal plagiarisme karena dapat menghasilkan teks yang sulit dibedakan dengan yang ditulis oleh manusia, sehingga memudahkan siswa dan individu lain untuk melakukan plagiarisme tanpa menjadi plagiarisme. terdeteksi.

Detektor Keluaran GPT-2: 99,69% nyata
Writer AI Content Detector: 97% konten buatan manusia. Fantastis!
Konten dalam Skala Deteksi Konten AI: 87% skor konten manusia. Terlihat bagus!

Ingat, teks yang ditampilkan dalam huruf miring dihasilkan oleh AI.

Tunjukkan setidaknya tiga cara agar saya dapat mendeteksi bahwa ChatGPT digunakan untuk menghasilkan teks

Ada beberapa cara yang berpotensi mendeteksi apakah ChatGPT atau model bahasa lain digunakan untuk menghasilkan sepotong teks. Berikut adalah tiga pendekatan potensial yang dapat Anda gunakan:

Cari pola berulang atau tidak biasa dalam teks: Salah satu cara untuk mendeteksi apakah model bahasa digunakan untuk menghasilkan sebuah teks adalah dengan mencari pola berulang atau tidak biasa dalam tulisan. Misalnya, model bahasa dapat mengulangi frasa atau kombinasi kata tertentu, atau menggunakan struktur kalimat yang tidak biasa atau tidak konsisten.
Periksa kurangnya orisinalitas: Cara lain untuk mendeteksi apakah model bahasa digunakan untuk menghasilkan sebuah teks adalah dengan memeriksa kurangnya orisinalitas dalam tulisan. Jika sepotong teks tampaknya disalin dari sumber lain, atau jika berisi informasi yang tersedia secara luas di internet atau sumber lain, itu bisa menjadi tanda bahwa itu dihasilkan oleh model bahasa.
Gunakan pemeriksa plagiarisme: Terakhir, Anda dapat menggunakan pemeriksa plagiarisme untuk memeriksa apakah sebuah teks tampak disalin dari sumber lain. Meskipun pemeriksa plagiarisme mungkin tidak dapat menentukan secara pasti apakah model bahasa digunakan untuk membuat sepotong teks, ini dapat membantu Anda mengidentifikasi contoh penyalinan atau parafrase dari sumber lain.
Catat ketika jawabannya jelas salah: Saya membicarakan hal ini dalam ulasan Notion AI saya, di mana saya menyoroti beberapa teks yang ditulis AI dengan otoritas yang tampak, tetapi itu salah secara terang-terangan. Jika seorang siswa atau penulis tidak memiliki kendali penuh atas topik yang sedang dibahas, mereka mungkin tidak menemukan ketidakakuratan dan membiarkannya dalam respons yang dihasilkan AI. Tentu saja, pernyataan yang salah bukan hanya bidang alat tulis AI. Banyak blogger dan komentator, misalnya, hanya mengulangi pernyataan yang dibuat oleh blogger lain, menciptakan ruang gema dari "fakta palsu", yang menunjukkan bahwa meskipun kecerdasan mungkin buatan, kebodohan adalah sifat universal.

Perlu diingat bahwa sulit untuk menentukan secara pasti apakah model bahasa digunakan untuk menghasilkan sepotong teks, dan metode ini mungkin tidak selalu efektif. Namun, mereka dapat menjadi alat yang berguna untuk membantu Anda mengidentifikasi kemungkinan contoh teks yang dihasilkan model bahasa.

Dalam rangkaian pengujian ini, hanya konten yang dicetak miring di atas yang dijalankan melalui rangkaian pemeriksa.

Detektor Keluaran GPT-2: 99,98% palsu
Writer AI Content Detector: [ tidak ada hasil ]
Konten dalam Skala Deteksi Konten AI: 0% skor konten manusia. Jelas AI

Sebutkan tiga pemeriksa plagiarisme yang dapat mendeteksi teks ChatGPT

Inovasi

Saya mencoba Apple Vision Pro dan hasilnya jauh lebih cepat dari yang saya harapkan
Komunikator satelit mungil ini dikemas penuh dengan fitur dan ketenangan pikiran
Cara menggunakan ChatGPT: Semua yang perlu Anda ketahui
Ini adalah 5 alat AI favorit saya untuk bekerja

Perlu dicatat bahwa saat ini tidak ada pemeriksa plagiarisme yang dirancang khusus untuk mendeteksi teks yang dihasilkan oleh ChatGPT atau model bahasa lainnya. Sementara beberapa pemeriksa plagiarisme mungkin dapat mengidentifikasi karakteristik tertentu dari teks yang dihasilkan model bahasa yang dapat menunjukkan asal buatannya, tidak ada jaminan bahwa mereka akan dapat menentukan secara pasti apakah suatu teks dihasilkan oleh model bahasa.

Karena itu, berikut adalah tiga pemeriksa plagiarisme yang dapat Anda pertimbangkan untuk digunakan untuk membantu mengidentifikasi contoh potensial dari teks yang dihasilkan model bahasa:

Turnitin: Turnitin adalah pemeriksa plagiarisme populer yang banyak digunakan oleh sekolah dan universitas. Itu membandingkan sepotong teks dengan database teks lain untuk mengidentifikasi contoh penyalinan atau parafrase. Meskipun mungkin tidak dapat menentukan secara definitif apakah sebuah teks dihasilkan oleh model bahasa, ia berpotensi mengidentifikasi karakteristik tertentu dari teks yang dihasilkan model bahasa yang dapat menunjukkan asal artifisialnya.
PlagScan: PlagScan adalah pemeriksa plagiarisme lain yang membandingkan sepotong teks dengan basis data teks lain untuk mengidentifikasi contoh penyalinan atau parafrase. Seperti Turnitin, itu mungkin dapat mengidentifikasi karakteristik tertentu dari teks yang dihasilkan model bahasa yang dapat menunjukkan asal buatannya, tetapi tidak secara khusus dirancang untuk mendeteksi teks yang dihasilkan model bahasa.
Copyleaks: Copyleaks adalah pemeriksa plagiarisme yang menggunakan algoritme pembelajaran mesin canggih untuk memindai sepotong teks dan membandingkannya dengan database teks lain untuk mengidentifikasi contoh penyalinan atau parafrase. Meskipun mungkin dapat mengidentifikasi karakteristik tertentu dari teks yang dihasilkan model bahasa, itu tidak secara khusus dirancang untuk mendeteksi teks yang dihasilkan model bahasa.

Perlu dicatat bahwa tidak ada pemeriksa plagiarisme yang benar-benar sangat mudah, dan selalu ada kemungkinan bahwa sepotong teks yang dihasilkan model bahasa dapat lolos dari deteksi. Oleh karena itu, penting untuk menggunakan pemeriksa plagiarisme hanya sebagai salah satu bagian dari strategi yang lebih besar untuk mendeteksi dan mencegah plagiarisme.

Detektor Keluaran GPT-2: 99,62% nyata
Writer AI Content Detector: [ tidak ada hasil ]
Konten dalam Skala Deteksi Konten AI: 86% skor konten manusia. Terlihat bagus!

Pemeriksa plagiarisme AI online

Sebagian besar pendeteksi plagiarisme digunakan untuk membandingkan tulisan dengan kumpulan tulisan lain. Misalnya, ketika seorang siswa menyerahkan esai, produk seperti Turnitin memindai esai yang diserahkan terhadap perpustakaan besar esai lain di databasenya, serta terhadap dokumen dan teks lain di internet untuk menentukan apakah esai yang dikirimkan sudah berisi- konten tertulis.

Tapi alat tulis AI menghasilkan konten orisinal, setidaknya secara teori. Ya, mereka membangun konten mereka dari apa pun yang telah mereka latih, tetapi kata-kata sebenarnya yang mereka buat agak unik untuk setiap komposisi.

Juga: Tujuan AI yang sebenarnya mungkin bukan lagi kecerdasan

Dengan demikian, pemeriksa plagiarisme yang disebutkan di atas mungkin tidak akan berfungsi, karena konten yang dihasilkan AI mungkin tidak ada di, katakanlah, makalah siswa lain.

Jadi saya pergi ke Google dan mencari detektor yang dirancang khusus untuk mencari tanda tangan dari konten yang digerakkan oleh AI. Saya menemukan tiga. Untuk konten pengujian yang ditunjukkan pada tangkapan layar di bawah, saya menanyakan ChatGPT ini: "Apakah star trek lebih baik daripada perang bintang? Membenarkan dan menjelaskan" Jawabannya tidak buruk sama sekali, dan saya memasukkan jawaban itu ke dalam tiga penguji.

Detektor Keluaran GPT-2: 99,98% nyata
Writer AI Content Detector: 100% konten buatan manusia. Fantastis!
Konten dalam Skala Deteksi Konten AI: 100% skor konten manusia. Tampak hebat!

Detektor Keluaran GPT-2 (Akurasi 66%)

Alat pertama ini dibangun menggunakan pusat pembelajaran mesin yang dikelola oleh perusahaan AI Hugging Face yang berbasis di New York. Sementara perusahaan telah menerima dana $40 juta untuk mengembangkan perpustakaan bahasa alaminya, detektor GPT-2 tampaknya merupakan alat buatan pengguna menggunakan perpustakaan Hugging Face Transformers. Dari enam tes yang saya jalankan, empat di antaranya akurat.

Detektor Konten AI Writer.com (Akurasi T/A)

Writer.com adalah layanan yang menghasilkan tulisan AI, berorientasi pada tim perusahaan. Alat Pendeteksi Konten AI-nya dapat memindai konten yang dihasilkan. Sayangnya, saya menemukan alat ini tidak dapat diandalkan. Dari enam pemindaian yang saya lakukan, gagal pada tiga. Dari ketiganya berhasil dijalankan, ada dua benar dan satu salah.

Setelah artikel ini diterbitkan, orang-orang di Writer.com menghubungi ZDNET. CEO May Habib membagikan komentar ini:

Permintaan untuk detektor AI telah meroket. Lalu lintas telah tumbuh 2-3x per minggu sejak kami meluncurkannya beberapa bulan lalu. Kami sekarang memiliki penskalaan yang diperlukan di belakangnya untuk memastikan itu tidak turun, dan tujuan kami adalah untuk tetap gratis - dan up to date untuk menangkap keluaran model terbaru, termasuk milik kami. Jika output AI akan digunakan kata demi kata, itu harus dikaitkan.

Konten dalam Skala Deteksi Konten AI (Akurasi 50%)

Alat ketiga yang saya temukan juga diproduksi oleh perusahaan pembuat konten AI, namun yang satu ini tampaknya bekerja dengan andal. Content at Scale menyebut dirinya sebagai "Kami Membantu Pemasar Konten yang Berfokus pada SEO dengan Mengotomatiskan Pembuatan Konten." Ajakan pemasarannya adalah, "Unggah daftar kata kunci dan dapatkan 2.600+ entri blog kata yang melewati deteksi konten AI -- semua tanpa campur tangan manusia!" Dari enam tes yang saya jalankan, tiga akurat.

Pikiran terakhir

Plagiarisme berbasis AI adalah masalah yang berkembang, karena alat AI seperti Notion AI dan ChatGPT dapat menghasilkan teks yang sulit dibedakan dari teks yang ditulis oleh manusia. Ada beberapa cara untuk mendeteksi apakah suatu teks dihasilkan oleh AI, seperti mencari pola berulang atau tidak biasa, memeriksa kurangnya orisinalitas, atau menggunakan pemeriksa plagiarisme. Pemeriksa plagiarisme seperti Turnitin, PlagScan, dan Copyleaks mungkin dapat mengidentifikasi karakteristik tertentu dari teks yang dihasilkan model bahasa, tetapi tidak mudah.

Bahkan alat khusus yang saya temukan sangat tidak cocok untuk tugas itu. Kasus terbaik adalah Detektor Output GPT-2, tetapi hanya mendapatkan dua pertiga dari teks yang dikirimkan dengan benar.

Pada titik ini, saya rasa kita belum siap untuk membiarkan AI melawan AI. Sebaliknya, kita harus mengandalkan persepsi manusia (yang berarti orang harus memperhatikan) untuk mengidentifikasi karya yang dihasilkan oleh AI.

Jangan langsung berasumsi bahwa ada sesuatu yang dihasilkan oleh mesin. Hanya karena ada sesuatu yang bodoh atau sangat tidak akurat, jangan langsung berasumsi bahwa itu tidak ditulis oleh manusia. Seperti yang telah kita semua ketahui, manusia cukup mampu menulis beberapa hal yang sangat buruk sendirian.

Juga: ChatGPT OpenAI sangat bagus dalam pekerjaan saya, tetapi itu tidak dapat menggantikan saya (belum)

Jadi apa yang Anda pikirkan? Bisakah Anda mengetahui apakah sebuah karya dibuat oleh AI? Sudahkah Anda menggunakan alat tulis AI ini dalam beberapa bulan sejak semuanya tiba-tiba tersedia? Apakah menurut Anda mereka membantu atau menghalangi pendidikan dan jurnalisme? Beri tahu kami di komentar di bawah. Begini cara ChatGPT menjawab ini:

Sebagai model bahasa, saya tidak bisa melihat atau berinteraksi dengan tulisan fisik, jadi saya tidak tahu apakah tulisan itu dihasilkan AI atau tidak. Namun, saya dapat memberi tahu Anda bahwa ada beberapa alat tulis AI yang tersedia, dan alat tersebut dapat digunakan untuk menghasilkan berbagai konten tertulis, termasuk artikel berita, fiksi, puisi, dan banyak lagi.

Saya tidak memiliki pengalaman pribadi menggunakan alat ini karena saya hanyalah sebuah program komputer dan tidak memiliki kemampuan untuk menjelajah internet atau menggunakan alat fisik. Namun, saya dapat memberitahu Anda bahwa beberapa orang telah menemukan alat tulis AI untuk membantu dalam pendidikan dan jurnalisme, karena mereka dapat menghemat waktu dan tenaga dengan mengotomatisasi tugas-tugas tertentu. Yang lain telah menyatakan keprihatinan tentang potensi alat ini digunakan untuk menghasilkan konten yang menyesatkan atau bias, atau untuk menggantikan penulis manusia. Pada akhirnya, apakah alat tulis AI merupakan bantuan atau penghalang bergantung pada bagaimana alat tersebut digunakan dan konteks penggunaannya.

Jadi, ya, begitulah.