Як зміниться модерація контенту в інтернеті через штучний інтелект

Будь-яка велика платформа у мережі є бізнесом, а тому мимоволі стикається з проблемою модерації контенту, щоб бути привабливою для аудиторії та рекламодавців. Однак видалення небажаних матеріалів людьми повільне, дороге та шкодить психіці персоналу. Водночас автоматизована модерація або ж фільтрування за допомогою ШІ може приховувати чутливі теми та блокувати контент авторів художньої літератури, художників тощо. SPEKA спробувала з’ясувати, чи правильний підхід до модерації у мережі, якщо файли творців опиняються під загрозою, а інтернет стає «стерильною» територією. 

Які проблеми з модеруванням контенту у соцмережах

Ще у середині 1990-х, коли інтернет тільки починав свій розвиток, інтернет-провайдерів, які розміщували блоги, що мали незаконний або наклепницький матеріал, могли притягнути до суду. У 1996 році до закону про пристойність у комунікаціях в США додали кілька важливих слів: «Жодного постачальника чи користувача інтерактивної комп’ютерної послуги не можна розглядати як видавця або поширювача будь-якої інформації, наданої іншим постачальником інформаційного контенту». Фактично це переклало відповідальність із провайдерів на власників платформ. 

Однак модерація має дві проблеми: 

Кожна компанія розробляє свою політику модерації, щоб виключати небажаний для неї контент. Як розповідав Дейв Віллнер, колишній очільник політики контенту у Facebook, у 2010 році він та з десяток його колег у Facebook дотримувалися односторінкового списку заборонених матеріалів, видаляючи вручну пости, в яких прославляли Гітлера та зображували оголених людей. Але на той час платформа мала 100 млн користувачів і зростала експоненціально. Збільшувалася хвиля спаму, порнографії та мови ворожнечі. Тож він почав розробляти «стандарти спільноти», які згодом складатимуться з сотень сторінок інструкцій, дотримання яких здійснюватимуть тисячі модераторів, більшість із яких були працівниками сторонніх постачальників. Згодом Facebook також представив класифікатори машинного навчання, щоб автоматично відфільтровувати певний небажаний контент. Інші великі платформи наслідували цей приклад.

Однак навіть автоматизовані мережі працюють недостатньо добре. Велика кількість матеріалів заборонених до публікації все ще з’являється у Facebook, Instagram, TikTok, YouTube і X. Під час масового вбивство мусульман у Крайстчерчі (Нова Зеландія) у 2019-у терорист вів пряму трансляцію у Facebook. А навала ботів у X вже є звичним явищем.  

Чи зможуть мовні моделі краще модерувати контент у мережі

Корпорації покладають великі надії на великі мовні моделі, навчені нейромережі, які зможуть аналізувати контент та видаляти образливі коментарі, порнографію чи спам.

Сам OpenAI не приховував своїх амбіцій продавати свої товари для модерування вмісту, що економить трудомісткість і витрати. У корпоративному блозі в серпні минулого року компанія похвалилася, що GPT-4 може ефективно керувати «рішеннями щодо модерації вмісту, забезпечуючи швидший цикл зворотного зв’язку для вдосконалення політики та меншу участь модераторів». OpenAI припустив, що його технологія є великим стрибком за межі того, що можуть зробити наявні класифікатори машинного навчання. Обіцянка полягає в тому, що системи модерації на базі великих мовних моделей (LLM) можуть бути більш універсальними та ефективними, ніж ті, що використовують технології машинного навчання попередніх поколінь, потенційно виконуючи більше роботи, яка нині лягала на людей-модераторів.

Лише через кілька тижнів після публікації у блозі OpenAI, у вересні 2023 року, Amazon Web Services опублікувала власне повідомлення про те, як «створити генеративне рішення для модерації контенту на основі штучного інтелекту» за допомогою центру машинного навчання SageMaker JumpStart. Microsoft тим часом заявляє, що досліджує використання LLM «для створення більш надійних інструментів виявлення ворожнечі». 

Стартап під назвою SafetyKit обіцяє потенційним клієнтам, що вони зможуть «визначати, що ви робите і чого не хочете на своїй платформі, і дозволятимете моделям ШІ виконувати ці політики з точністю та швидкістю, кращою за людську». А відносно нова платформа соціальних медіа під назвою Spill каже, що використовує інструмент модерації вмісту, створений за допомогою LLM, який навчався з контекстом упереджень проти темношкірих, ЛГБТК+ та інших маргіналізованих спільнот.

Які переваги у модерації контенту за допомогою ШІ

Звісно, компанії соціальних медіа стверджують про «революційний» вплив (тобто економію) через використання генеративного штучного інтелекту для модерування. 

Великі мовні моделі будуть набагато дешевшими для розгортання та обслуговування, ніж армії людських рецензентів. Публікації користувачів можуть надходити в систему на базі LLM, навчену політикам контенту відповідної платформи. До того ж система на базі ШІ майже миттєво визначала, чи допис пройшов перевірку, чи порушив політику платформи. 

У довгостроковій перспективі заміна деяких або більшості модераторів також може принести користь самим модераторам. Адже це дуже стресова робота, яка у багатьох випадках завдає працівникам психологічної шкоди. А передання цих функцій на аутсорс якраз необхідно, щоб платити якомога менше у малорозвинутих країнах. Відсутність нормальної оплати, пільг та психологічної допомоги призводить до вигорання та високої плинності кадрів.

Цілком можливо, що використання мовних моделей навіть дозволить платформам вибирати з ширшого діапазону відповідей на проблемний контент, замість бану. Наприклад, запропонувати користувачеві переформулювати публікацію, перш ніж вона буде оприлюднена, щоб вона відповідала правилам платформи.

Недоліки модерації контенту за допомогою ШІ

Однак такий підхід має і свої проблеми. Мовні моделі розвиваються та навчаються на хоч і модифікованих, але даних з інтернету, а тому також можуть транслювати упередження (досить згадати стереотипну генерацію зображень людей у Gemini від Google).

Щоб відібрати неприємні речі, розробникам LLM доводиться створювати окремі детектори токсичності на основі штучного інтелекту, які мають усунути найбільш шкідливий матеріал. Детектори токсичності, звичайно, повинні навчитися фільтрувати, і це вимагає від людей позначати незліченні приклади шкідливого контенту як такі, що варті виключення.

У січні 2023 року TIME опублікував викриття того, як OpenAI використовував аутсорсингову фірму в Кенії, щоб позначити десятки тисяч фрагментів контенту, деякі з яких описували жорстоке поводження з дітьми, зоофілію, вбивства, самогубства та тортури. Таким чином, мовні моделі не обов’язково дезінфікують модерацію вмісту до такої міри, як це мають на увазі їхні найбільш затяті ентузіасти. 

У своїй публікації OpenAI включив стовпчасту діаграму у якій порівнювали продуктивність GPT-4 і людей щодо ідентифікації контенту з таких категорій, як «сексуальний вміст/неповнолітні», «ненависть/загроза», «самоушкодження» та «насильство». Результатом, згідно з OpenAI, стало те, що GPT-4 працював так само, як і люди з «легким тренуванням», але «все ще не перевершує досвідчених, добре навчених людей-модераторів».

Чому мовні моделі можуть модерувати «занадто» добре та «занадто» погано

Мовні моделі у модерації можуть стати ненадійними або ж надто надійними. У першому випадку проблема полягає в «галюцинують» тобто вигадують або мають невідповідну реакцію. Одна з особливостей цієї технології полягає в тому, що навіть її розробники не розуміють, чому саме це відбувається — проблема, яку називають дефіцитом «інтерпретації». 

З іншого боку, мовні моделі можуть у певному сенсі стати надто надійними, забезпечуючи механізм придушення, що маскується під поміркованість. Деякі уряди, схильні закривати небажані голоси в інтернеті, такі як керівна індуїстська націоналістична партія Бхаратія Джаната в Індії, можуть використати технологію для швидшого та ефективнішого методу придушення мусульманських інодумців. Цензори в Китаї, Росії та Ірані також зрадіють. 

Що таке небажаний контент в мережі 

Інша велика проблема — довести. що саме вважати порушенням правил. Наприклад, слово «нацист» можна вживати в історичному нарисі, так само і в художньому творі, який може не прославляти НСДАП. 

Наприклад, The Wired повідомляє, що Google заблокував усі документи письменниці, яка пише відверту любовну фантастику. Інші користувачі могли спостерігати у реальному режимі за оновленням книги. Достеменно невідомо заблокували книгу через дорослий контент чи через масове розсилання доступу сприйняли посилання як спам. 

У 2021 році активісти, які інформують про зниклих безвісти та вбитих жінок і дівчат корінного населення, виявили, що деякі дописи, у яких згадується ця тематика, зникли з Instagram. У 2020 році один активіст Black Lives Matter виявив, що Facebook помилково позначив їхній обліковий запис як порушення прав інтелектуальної власності, видаливши документальні кадри, які включали випадки ймовірної жорстокості поліції. (Профіль активіста незабаром було відновлено.) У 2018 році Tumblr заборонив «контент для дорослих», а квір-спільноти попередили, що втрата їхнього простору в Інтернеті ще більше ускладнить ситуацію для квір-молоді та інших, хто сумнівається або відкриває свою сексуальність. (Tumblr змінив цю заборону через багато років.) Також Meta масово видаляла контент пов’язаний з російсько-українською війною. У прагненні створити середовище, що не порушує правила, нерідко соцмережі блокують історію про реальні злочини та проблеми.