Cloudflare вигадала AI Labyrinth — новий спосіб боротьби з веб-ботами

Компанія Cloudflare, яка забезпечує чи не найбільшу у світі мережеву інтернет-інфраструктуру, анонсувала AI Labyrinth. Це новий інструмент для боротьби з ШІ-ботами, що сканують сайти для несанкціонованого навчання штучного інтелекту, пише The Verge.

У своєму блозі Cloudflare пояснила, що коли вона виявляє «неналежну поведінку бота», безкоштовний інструмент може направити ці ШІ-сканери у ланцюг посилань на створені штучним інтелектом сторінки-приманки, які «уповільнюють, заплутують і витрачають ресурси» тих, хто діє недобросовісно.

Більшість веб-сайтів давно використовують текстовий файл robots.txt, який дозволяє або забороняє ботам сканувати свій контент. Проте ШІ-компанії, включаючи такі відомі, як Anthropic і Perplexity AI, за свідченнями, ігнорують цей файл для збору інформації.

Як працює AI Labyrinth від Cloudflare

Підписуйтеся на наші соцмережі

Cloudflare пише, що бачить понад 50 млрд запитів веб-сканера на день. Попри інструменти для виявлення і блокування таких ботів, ШІ постійно змінює тактику в «нескінченній гонці озброєнь».

Замість того, щоб блокувати ботів, AI Labyrinth змушує їх обробляти дані, які не мають нічого спільного з фактичним вмістом веб-сайту. Cloudflare стверджує, що ШІ-боти продовжують переходити за посиланнями на фейкові сторінки глибше, тоді як звичайна людина цього не зробить.

Таким чином компанія виявляє шкідливих ботів і додає їх до свого списку шкідників, а також ідентифікує «нові шаблони та підписи ботів»,

Водночас, реальні відвідувачі цих посилань не бачать. 

Як увімкнути AI Labyrinth для свого сайту

Адміністратори веб-сайтів можуть включити AI Labyrinth у себе. Для цього треба:

Компанія заявила, що це «лише перша ітерація використання генеративного штучного інтелекту для запобігання роботам». Далі вона планує створити «цілі мережі пов’язаних URL-адрес», які роботи не зможуть розпізнати як підроблені.