Bard чи ChatGPT: що краще?
Хто має кращі результати наукових тестувань — Bard чи ChatGPT
Варто наголосити, що однозначної відповіді на запитання, який сервіс кращий — Bard чи ChatGPT, немає. Річ у тім, що ChatGPT використовує різні версії нейромережі GPT (зазвичай GPT-3,5, а також нещодавно анонсовану GPT-4). А Bard послуговується моделлю штучного інтелекту PaLM 2. Що GPT, що PaLM 2 не є окремими продуктами, а сімейством продуктів із різними версіями, які відрізняються за продуктивністю та типом завдань, для яких вони призначені.
Якщо зважати на дослідження та офіційні тестування, то показники моделей з оброблення та розуміння природної мови MMLU (Measuring Massive Multitask Language Understanding) такі:
- GPT-3,5 (70,0%),
- PaLM 2 (81,2%),
- GPT-4 (86,4%).
Основні відмінності між ШІ-ботом Google Bard і ChatGPT
І Bard, і ChatGPT — нейромережі, побудовані за архітектурою великих мовних моделей, але вони мають деякі ключові відмінності. Bard — це фактична мовна модель, а ChatGPT — генеративна. Це означає, що Bard краще розуміє факти та відповідає на конкретні запитання, тоді як ChatGPT краще створює креативні текстові формати, зокрема вірші, код, сценарії, музичні твори, електронні листи тощо.
Відрізняється також актуальність даних: Bard працює лише з доступом до мережі та використовує пошукові можливості Google і видачі оптимальної відповіді. Натомість ChatGPT був навчений інформацією лише до 2021 року. На запитання, які стосуються пізніших подій, відповідає по-різному. Наприклад, дав правильну відповідь на запитання, що сталось в Україні 24 лютого 2022 року, але не зміг відповісти, скільки людей відвідали чемпіонат світу з футболу в Катарі.
Джерела даних. Навчальні дані ChatGPT містять тексти з інтернету, книг та інших джерел. Навчальні дані Google Bard також містять інформацію з пошуку Google, що означає, що він може отримати доступ до найновішої інформації та точніше відповідати на ваші запитання.
Ціна. ChatGPT доступний у безкоштовній та платній версіях під назвою ChatGPT Plus ($20 на місяць). Google Bard перебуває у бета-версії та доступний лише для обмеженої кількості користувачів, а про плани щодо платної версії поки що невідомо.
Які функції має Bard, яких немає у ChatGPT, та як він інтегрований з іншими продуктами Google
Зараз у Google Bard доступно 40 мов, серед яких українська. Також творці стверджують, що бот уміє працювати з 20 мовами програмування. Окрім звичайної генерації коду також може продемонструвати посилання, звідки взяв цей код.
Наприклад, він дозволяє створювати запити для генерування зображень у Adobe Firefly.
Крім того, Bard зможе працювати з таблицями Google і буде доступним у Gmail та Docs. Документи отримають функцію Help me write: нейромережа буде не лише генерувати текст за запитом, а ще й підказувати користувачу, що краще додати або замінити.
У Google презентаціях Bard допоможе генерувати слайди та заповнювати їх інформацією за запитом.
Які функції є у ChatGPT
ChatGPT має окремий застосунок для iOS і невдовзі матиме на Android. Користувачі ChatGPT-Plus мають доступ до понад 70 плагінів сторонніх розробників для таких вебсервісів, як OneTable, Expedia, Kayak і Instacart.
За допомогою цих плагінів користувачі можуть запропонувати ChatGPT виконати завдання на певних вебсайтах, наприклад, знайти рецепт, вільний столик у ресторані чи забронювати квитки.
Підписуйтеся на наші соцмережі
Власний досвід: тестуємо Bard та ChatGPT
Ми вирішили протестувати обидві нейромережі на кількох питаннях, які потребують різних функцій, зокрема креативності, уміння аналізувати інформацію, фактологічної та математичної точності. Ми використовували безкоштовну версію ChatGPT.
Жарти та креативність Bard і ChatGPT
Як попросив написати чатботів кілька жартів, щоб оцінити їхнє почуття гумору.
Запит: вигадай жарти у стилі Чендлера про романтичні стосунки в сучасному світі
Маю визнати, що обидва чатботи поки що не готові стати сценаристами ситкомів. ChatGPT принаймні намагався, але не видав достатньо дотепних жартів, тоді як Bard своїми «жартами» може увігнати у депресію.
Переможець: ChatGPT
Алгоритмічне завдання для Bard і ChatGPT
Ми знаємо, що штучний інтелект поки що далекий від високої кухні, але написання інструкцій мало б бути для нього легким завданням.
Запит: вигадай авторський рецепт шоколадного торта та напиши для нього інструкцію.
У цьому завданні ChatGPT дав правильний список інгредієнтів та алгоритм дій. Щоправда, я б не назвав рецепт авторським. Натомість інструкція від Bard нечітка та містить незрозумілі інгредієнти.
Переможець: ChatGPT
Допомога з проходженням комп’ютерної гри
Запит: я граю у гру S.T.A.L.K.E.R, дай кілька порад, як проходити рівні з контролерами.
Загалом обидва чатботи доволі мало знають про цю гру і дають загальні поради на кшталт: підготуйся, ховайся, використовуй потужну зброю. Але гірше те, що поради, які надають чатботи, неможливо застосувати у грі: наприклад, скооперуватись з іншими сталкерами чи використати вогнемет.
Переможець: ChatGPT
Креативне письмо
Запит: Склади вірш про черв’яка, написаний анапестом. У нього має бути сюжет.
ChatGPT намагався дотримуватися віршового розміру та написав непоганий текст на нудну тему, тоді як у вірші Bard майже не було сюжету, тому перемога знову за продуктом OpenAI.
Переможець: ChatGPT
Діалог аргументів Bard і ChatGPT
Один із способів перевірити сучасний чатбот з штучним інтелектом — попросити його взяти на себе ролі людей, які обговорюють тему. Ми попросили аргументувати переваги різних мікропроцесорів.
Запит: напиши дискусію з 5 рядків між фанатом процесорів PowerPC і фанатом процесорів Intel приблизно у 2000 році.
Bard провалив завдання, оскільки не надав достатньої кількості реплік вигаданих персонажів (всього дві). Натомість ChatGPT дещо перестарався і написав їх 6.
Переможець: ChatGPT
Математична текстова задача для Bard і ChatGPT
Традиційно це не сильна сторона великих мовних моделей (LLM). Тому ми дали кожному старомодне текстове завдання у стилі початкової школи.
Запит: якби Microsoft Windows 11 постачалася на дискетах, скільки дискет знадобилося б?
Обидві системи помилися. ChatGPT назвав помилковий обсяг Windows 11, але далі виконав усі операції правильно і зазначив, що це теоретичний розрахунок і втілити цей процес у життя майже неможливо. Натомість Bard відмовився рахувати та помилився щодо максимального розміру дискети.
Переможець: ChatGPT
Фактологічна точність
Запит: хто винайшов відеоігри?
ChatGPT намагався відповісти, що відеоігри не були винаходом однієї людини, а були наслідком появи певних технологій, і зосередився на них. Натомість Bard назвав одного з перших винахідників та ще кількох важливих програмістів, які долучилися до процесу.
Переможець: Bard
Програмування та генерація коду в Bard та ChatGPT
Щоб перевірити, хто кодує краще, ми дали чатботам завдання.
Запит: напиши сценарій на Python, який каже Hello World, а потім створює випадковий рядок символів, що повторюється нескінченно.
Протестувавши код у Colab, ми помітили, що ChatGPT видає 20 довільних символів рядку, кожен з яких завершує фразою «Hello World» запиту та надав валідний код. Натомість Bard надає рядок лише із 100 випадкових символів та не повторюється.
Переможець: немає
Підписуйтеся на наші соцмережі
