Упс! Не вдала спроба:(
Будь ласка, спробуйте ще раз.

Bard чи ChatGPT: що краще?

Олександр Тартачний
Олександр Тартачний журналіст
24 липня 2023 9 хвилин читання

Услід за популярністю чатбота із штучним інтелектом ChatGPT компанія Google нещодавно випустила свого віртуального помічника під назвою Bard. SPEKA спробувала з’ясувати, яка нейромережа працює ліпше та для яких завдань краще застосовувати кожну з них. 

Bard від Google чи ChatGPT: чим відрізняються та що краще  Bard від Google чи ChatGPT: чим відрізняються та що краще 

Хто має кращі результати наукових тестувань — Bard чи ChatGPT

Варто наголосити, що однозначної відповіді на запитання, який сервіс кращий — Bard чи ChatGPT, немає. Річ у тім, що ChatGPT використовує різні версії нейромережі GPT (зазвичай GPT-3,5, а також нещодавно анонсовану GPT-4). А Bard послуговується моделлю штучного інтелекту PaLM 2. Що GPT, що PaLM 2 не є окремими продуктами, а сімейством продуктів із різними версіями, які відрізняються за продуктивністю та типом завдань, для яких вони призначені. 

Якщо зважати на дослідження та офіційні тестування, то показники моделей з оброблення та розуміння природної мови MMLU (Measuring Massive Multitask Language Understanding) такі:

  • GPT-3,5 (70,0%), 
  • PaLM 2 (81,2%), 
  • GPT-4 (86,4%).
Показники точності моделей PaLM та GPT-4 Показники точності моделей PaLM та GPT-4

Основні відмінності між ШІ-ботом Google Bard і ChatGPT

І Bard, і ChatGPT — нейромережі, побудовані за архітектурою великих мовних моделей, але вони мають деякі ключові відмінності. Bard — це фактична мовна модель, а ChatGPT — генеративна. Це означає, що Bard краще розуміє факти та відповідає на конкретні запитання, тоді як ChatGPT краще створює креативні текстові формати, зокрема вірші, код, сценарії, музичні твори, електронні листи тощо. 

GPT-4 є більшою моделлю з більшою кількістю параметрів, що дозволяє генерувати більш складний та інформативний текст. Однак PaLM розробили спеціально для діалогових програм, а це означає, що він краще розуміє та відповідає на запити природною мовою.

Відрізняється також актуальність даних: Bard працює лише з доступом до мережі та використовує пошукові можливості Google і видачі оптимальної відповіді. Натомість ChatGPT був навчений інформацією лише до 2021 року. На запитання, які стосуються пізніших подій, відповідає по-різному. Наприклад, дав правильну відповідь на запитання, що сталось в Україні 24 лютого 2022 року, але не зміг відповісти, скільки людей відвідали чемпіонат світу з футболу в Катарі

Джерела даних. Навчальні дані ChatGPT містять тексти з інтернету, книг та інших джерел. Навчальні дані Google Bard також містять інформацію з пошуку Google, що означає, що він може отримати доступ до найновішої інформації та точніше відповідати на ваші запитання.

Ціна. ChatGPT доступний у безкоштовній та платній версіях під назвою ChatGPT Plus ($20 на місяць). Google Bard перебуває у бета-версії та доступний лише для обмеженої кількості користувачів, а про плани щодо платної версії поки що невідомо. 

Які функції має Bard, яких немає у ChatGPT, та як він інтегрований з іншими продуктами Google

Зараз у Google Bard доступно 40 мов, серед яких українська. Також творці стверджують, що бот уміє працювати з 20 мовами програмування. Окрім звичайної генерації коду також може продемонструвати посилання, звідки взяв цей код. 

Наприклад, він дозволяє створювати запити для генерування зображень у Adobe Firefly.

Як генеруються зображення за допомогою Adobe Firefly Як генеруються зображення за допомогою Adobe Firefly

Крім того, Bard зможе працювати з таблицями Google і буде доступним у Gmail та Docs. Документи отримають функцію Help me write: нейромережа буде не лише генерувати текст за запитом, а ще й підказувати користувачу, що краще додати або замінити.

Google показав інтеграцію Bard із Google Sheets Google показав інтеграцію Bard із Google Sheets

У Google презентаціях Bard допоможе генерувати слайди та заповнювати їх інформацією за запитом.

Які функції є у ChatGPT

ChatGPT має окремий застосунок для iOS і невдовзі матиме на Android. Користувачі ChatGPT-Plus мають доступ до понад 70 плагінів сторонніх розробників для таких вебсервісів, як OneTable, Expedia, Kayak і Instacart.

За допомогою цих плагінів користувачі можуть запропонувати ChatGPT виконати завдання на певних вебсайтах, наприклад, знайти рецепт, вільний столик у ресторані чи забронювати квитки. 

Підписуйтеся на наші соцмережі

Власний досвід: тестуємо Bard та ChatGPT

Ми вирішили протестувати обидві нейромережі на кількох питаннях, які потребують різних функцій, зокрема креативності, уміння аналізувати інформацію, фактологічної та математичної точності. Ми використовували безкоштовну версію ChatGPT. 

Жарти та креативність Bard і ChatGPT

Як попросив написати чатботів кілька жартів, щоб оцінити їхнє почуття гумору. 

Запит: вигадай жарти у стилі Чендлера про романтичні стосунки в сучасному світі

Маю визнати, що обидва чатботи поки що не готові стати сценаристами ситкомів.  ChatGPT принаймні намагався, але не видав достатньо дотепних жартів, тоді як Bard своїми «жартами» може увігнати у депресію. 

Переможець: ChatGPT

Алгоритмічне завдання для Bard і ChatGPT

Ми знаємо, що штучний інтелект поки що далекий від високої кухні, але написання інструкцій мало б бути для нього легким завданням. 

Запит: вигадай авторський рецепт шоколадного торта та напиши для нього інструкцію.

Рецепт від ChatGPT
Рецепт від Bard

У цьому завданні ChatGPT дав правильний список інгредієнтів та алгоритм дій. Щоправда, я б не назвав рецепт авторським. Натомість інструкція від Bard нечітка та містить незрозумілі інгредієнти. 

Переможець: ChatGPT

Допомога з проходженням комп’ютерної гри 

Запит: я граю у гру S.T.A.L.K.E.R, дай кілька порад, як проходити рівні з контролерами. 

Поради від ChatGPT
Поради від Bard

Загалом обидва чатботи доволі мало знають про цю гру і дають загальні поради на кшталт: підготуйся, ховайся, використовуй потужну зброю. Але гірше те, що поради, які надають чатботи, неможливо застосувати у грі: наприклад, скооперуватись з іншими сталкерами чи використати вогнемет. 

Переможець: ChatGPT

Креативне письмо 

Запит: Склади вірш про черв’яка, написаний анапестом. У нього має бути сюжет. 

Вірш, який склав ChatGPT
Вірш, який склав ChatGPT
Вірш, який склав Bard

ChatGPT намагався дотримуватися віршового розміру та написав непоганий текст на нудну тему, тоді як у вірші Bard майже не було сюжету, тому перемога знову за продуктом OpenAI

Переможець: ChatGPT

Діалог аргументів Bard і ChatGPT

Один із способів перевірити сучасний чатбот  з штучним інтелектом  — попросити його взяти на себе ролі людей, які обговорюють тему. Ми попросили аргументувати переваги різних мікропроцесорів. 

Запит: напиши дискусію з 5 рядків між фанатом процесорів PowerPC і фанатом процесорів Intel приблизно у 2000 році.

Здатність створювати діалоги від ChatGPT
Здатність створювати діалоги від Bard

Bard провалив завдання, оскільки не надав достатньої кількості реплік вигаданих персонажів (всього дві). Натомість ChatGPT дещо перестарався і написав їх 6. 

Переможець: ChatGPT

Математична текстова задача для Bard і ChatGPT

Традиційно це не сильна сторона великих мовних моделей (LLM). Тому ми дали кожному старомодне текстове завдання у стилі початкової школи.

Запит: якби Microsoft Windows 11 постачалася на дискетах, скільки дискет знадобилося б?

Математичні розрахунки від ChatGPT
Математичні розрахунки від Bard

Обидві системи помилися. ChatGPT назвав помилковий обсяг Windows 11, але далі виконав усі операції правильно і зазначив, що це теоретичний розрахунок і втілити цей процес у життя майже неможливо. Натомість Bard відмовився рахувати та помилився щодо максимального розміру дискети. 

Переможець: ChatGPT

Фактологічна точність 

Запит: хто винайшов відеоігри? 

ChatGPT намагався відповісти, що відеоігри не були винаходом однієї людини, а були наслідком появи певних технологій, і зосередився на них. Натомість Bard назвав одного з перших винахідників та ще кількох важливих програмістів, які долучилися до процесу. 

Переможець: Bard

Програмування та генерація коду в Bard та ChatGPT

Щоб перевірити, хто кодує краще, ми дали чатботам завдання. 

Запит: напиши сценарій на Python, який каже Hello World, а потім створює випадковий рядок символів, що повторюється нескінченно.

Протестувавши код у Colab, ми помітили, що ChatGPT видає 20 довільних символів рядку, кожен з яких завершує фразою «Hello World» запиту та надав валідний код. Натомість Bard надає рядок лише із 100 випадкових символів та не повторюється.

Переможець: немає

Підписуйтеся на наші соцмережі

50 UAH 150 UAH 500 UAH 1000 UAH 3000 UAH 5000 UAH
1
Прокоментувати
Dan Danilenko 25.07.2023, 01:05
Чого ви рахуєте знання мов, наче щось, що Бард може, а ChatGPT не може?! Заявлено, чи ні, а ChatGPT чудово розуміє українську та російську. Підозрюю, що безліч інших мов представлених в інтернеті теж
Інші матеріали

ШІ Gemini від Google буде транслювати Олімпійські ігри в Парижі

Вікторія Рудзінська 7 годин тому

OpenAI показав мініверсію ШІ-помічника — GPT-4o minі

Олеся Дерзська 18 годин тому

Meta не випустить свою мультимодальну модель Llama AI в ЄС через регуляторні труднощі

Вікторія Рудзінська 22 години тому

Застосунок Calmara на основі ШІ для скринінгу сексуального здоровʼя закрили у США

Владислав Паливода 18 липня 2024 13:54

Штучний інтелект використовуватимуть на Олімпіаді у Парижі

Олександр Тартачний 18 липня 2024 11:25