Як виявити контент, згенерований штучним інтелектом
Запуск ChatGPT та інших мовних моделей зовсім змінив спосіб створення контенту. Чимало авторів блогів, студентів, копірайтерів так чи інакше використовують штучний інтелект для створення контенту. Тому спробуємо з’ясувати, чи є спосіб виявити плагіат у мережевих текстах, чи понижує Google у видачі тексти та чи працюють ШІ-детектори?
Чи є способи виявити згенерований штучним інтелектом текст?
Коротка відповідь — ні. Але не поспішайте закривати вкладку. Є деякі засоби, які гарантують доволі високу ефективність — навіть на рівні 98-99%. Це так звані ШІ-детектори, сервіси, які визначають, з якою ймовірністю текст був написаний штучним інтелектом, а не людиною.
Через плагіат у наукових роботах та інших текстах OpenAI міркувала над запуском інструменту, який міг би ловити користувачів на обмані.
Опитування показало, що 80% людей підтримують ідею інструменту виявлення штучного інтелекту, але водночас 69% вважають, що такий інструмент призведе до хибних звинувачень у використанні ШІ. Майже 30% сказали, що вони б менше використовували ChatGPT, якби він розгортав водяні знаки, а конкурент цього не робив. Тож якби ChatGPT був єдиним інструментом, то це мало б сенс.
Як визначають, чи написаний текст штучним інтелектом?
Детектори штучного інтелекту зазвичай базуються на мовних моделях, подібних до тих, що використовують в інструментах написання, які вони намагаються виявити. Мовна модель, по суті, розглядає вхідні дані та намагається порівняти з тим, чи створила б вона подібний текст.
Зокрема, моделі шукають у тексті дві речі: заплутаність (perplexity) і burstiness (найближчий український відповідник у цьому контексті неперервність). Що нижчі ці дві змінні, то більша ймовірність, що текст буде згенерований ШІ.
Заплутаність — це показник того, наскільки непередбачуваним є текст: наскільки ймовірно, що він спантеличить пересічного читача (тобто не матиме сенсу або матиме неочевидний поворот). Чатботи спрямовані на створення текстів із низьким рівнем заплутаності, тобто вони матимуть сенс і читатимуться гладко, але також є більш передбачуваними та примітивними.
Burstiness — це щось подібне до заплутаності, але на рівні речень та структури тексту. Оскільки мовні моделі передбачають найімовірніше наступне слово, вони зазвичай створюють речення середньої довжини (10-20 слів) і зі звичайною структурою. Ось чому їхні тексти іноді здаються монотонними.
Які сервіси та ШІ-детектори працюють найкраще
Одразу кілька наукових груп вирішили перевірити ефективність ШІ-детекторів. В одному з досліджень відібрали 50 статей, пов’язаних з реабілітацією, з чотирьох рецензованих журналів, а потім створили ще 50 статей за допомогою ChatGPT. Потім Wordtune використовувався для перефразування статей, згенерованих ChatGPT. Перевірялись шість популярних детекторів:
Підписуйтеся на наші соцмережі
- Originality.ai,
- Turnitin,
- ZeroGPT,
- GPTZero,
- Content at Scale,
- GPT-2 Output Detector.
Крім того, залучили чотирьох рецензентів (двох рецензентів-студентів і двох рецензентів-професорів), щоб відрізнити оригінальні статті від статей, перефразованих штучним інтелектом.
Originality.ai правильно виявив 100% текстів, створених ChatGPT і перефразованих штучним інтелектом, ZeroGPT точно виявив 96% створених ChatGPT і 88% статей, перефразованих штучним інтелектом. Turnitin також показав 0% неправильної класифікації для статей, написаних людьми, хоча він ідентифікував лише 30% статей, перефразованих штучним інтелектом.
Що стосується людських здібностей, то професори точно розрізнили принаймні 96% статей, перефразованих штучним інтелектом, але вони неправильно класифікували 12% статей, написаних людьми, як створені штучним інтелектом. При цьому студенти ідентифікували лише 76% статей, перефразованих ШІ.
Чи можуть ШІ-детектори помилятися
На жаль, так. Більшість ШІ-детекторів, хоч і рекламуються як інструменти, що виявляють плагіат, насправді оперують припущенням, що цей текст написаний штучним інтелектом. До того ж навіть точність у 99% (яка, як ми бачимо є не у всіх сервісів) означає, що одну людину зі 100 можуть звинуватити у використанні ШІ. І такі випадки вже трапляються — видання Gizmodo розповідає історії кількох фриланс-авторів, контракти яких розірвали через інструмент перевірки на ШІ, хоча вони написали тексти самостійно та надавали докази. Те саме трапилось з деякими студентами університетів.
До того ж деякі сервіси можуть дати вам результат на кшталт «70% оригінал» і «30% ШІ». Можна припустити, що це означає, що 30% статті було написано чат-ботом, особливо тому, що інструмент виділяє конкретні речення, які він вважає підозрілими. Однак насправді це показник впевненості — 70% впевненості, що текст написала людина.
Чи занижує Google у видачі сайти, які використовують штучний інтелект?
Насправді ні. Представник Google для Gizmodo сказав, що у компанії немає проблем із контентом штучного інтелекту. «Некоректно говорити, що Google карає вебсайти лише тому, що вони можуть використовувати якийсь контент, створений штучним інтелектом, — сказав речник. — Як ми чітко заявили, малоцінний вміст, який створюється у великих масштабах для маніпулювання рейтингом у пошуку, є спамом, яким би чином він не створювався. Наші автоматизовані системи визначають, що з’являється в найпопулярніших результатах пошуку на основі сигналів, які вказують на корисність і якість вмісту».
Простішими словами Google байдуже, спам-тексти створили люди чи машини. Якщо контент неякісний або спрямований на те, щоб штучно піднятись у пошуку, його занизять у видачі.
Як виявити, чи згенерований текст штучним інтелектом, безкоштовно
Більшість ШІ-детекторів — це платні сервіси. Однак, якщо є потреба визначити, чи був текст написаний ШІ, можна спробувати визначити це самостійно. Хоча результат не буде точним.
Стежте за часто вживаними словами та фразами
Оскільки ча-боти навчені шукати зв’язки між словами, вони зазвичай використовують певні слова та фрази частіше, ніж людина. Немає конкретного списку слів і фраз, які слугують сигнальними прапорцями, але якщо ви достатньо використовуєте такий інструмент, як ChatGPT, ви можете почати їх помічати.
Наприклад, ChatGPT часто використовує слово «вникати» (dive in). Інструмент також любить виражати, як ідея «підкреслює» загальний аргумент (наприклад, «Цей досвід підкреслює важливість наполегливості...»), і як одна річ є «заповітом до» чогось іншого. Більше подібних підказок є на спеціальному розділі у Reddit.
Зверніть увагу на стиль написання
Незалежно від того, використовуєте ви модель GPT від OpenAI чи Gemini від Google, штучний інтелект має погану звичку використовувати надто пафосний стиль.
Негативний наслідок не просто поганий, а «руйнівний», технологія завжди «революційна», а посередній телефон стає «сучасним смартфоном, який поєднує стильний дизайн, потужні технічні можливості та доступну ціну» (хоча таким грішать і копірайтери).
Жоден із цих прикладів окремо не є геть поганим, але якщо ви прочитаєте достатньо тексту із штучним інтелектом, ви почнете відчувати, ніби ви спілкувалися з тезаурусом.
Модель GPT-4o від ChatGPT не робить це так часто, як раніше, віддаючи перевагу більш лаконічним відповідям на особисті запити, але чатбот Meta AI все ще робить це, входячи у роль найкращого друга та терапевта водночас.
Якщо ви читаєте есе або статтю, у якій висловлюється аргумент, зверніть увагу на те, як «письменник» структурує свої думки. Штучний інтелект, ймовірно, створюватиме короткі абзаци, які пропонуватимуть аргументи на поверхневому рівні. Якщо ви відчуваєте, що пішли з твору, не дізнавшись взагалі нічого, можливо, це робота ШІ.
Монотонність та будова речень
Якщо ви бачите речення у 50 і більше слів, будьте певні, це майже ймовірно людина. Інструментам штучного інтелекту помітно бракує тих рис, яких ви очікуєте від тексту, написаного людиною. Вони не використовують неформальну мову чи сленг, переважно не жартують (або роблять це не дуже вдало) та не посилаються на попкультуру.
Відсутність особистого досвіду та сарказму
ШІ-контент не здатний встановити особистий зв’язок і рідко передає гумор, співпереживання чи інші емоції, як це може зробити людське письмо.
Шукайте емоції та особисті думки, які ШІ буде важко висловити переконливо. Будь-який створений ШІ-контент або перефразує чужий досвід, або надасть загальний огляд. Наприклад, коли ви читаєте огляд техніки, дуже ймовірно, що ви побачите особисту думку, враження чи вподобання автора, якщо він дійсно тестував гаджет сам.
Помилки
Є природно грамотні люди та, на щастя, літредактори, але більшості людей властиво помилятися. Тож якщо ви бачите тексти з неправильною пунктуацією чи стилістикою, то це радше писала людина, ніж машина.