Вихідці з OpenAI створюють ChatGPT для роботів, щоб керувати ними природною мовою
Команда вихідців з OpenAI працює над нейромережею. що дозволить роботам розуміти людську мову та виконувати накази без спеціалізованого коду та пультів керування. SPEKA з’ясовувала на якому етапі стартап, хто також робить мультимодальних роботів та як «галюцинації» штучного інтелекту позначаться на робототехніці.
Що таке Covariant та чим він вирізняється від стартапів у робототехніці
Компанія, OpenAI, яка є одним із піонерів у впровадженні штучного інтелекту, влітку 2021 року тихо закрила свою команду робототехніки. Компанія повідомила, що прогрес у цій галузі гальмується через брак даних, необхідних для того, щоб навчити роботів тому, як рухатися та приймати рішення за допомогою штучного інтелекту.
Тепер троє вчених-дослідників, які раніше працювали в OpenAI кажуть, що стартап під назвою Covariant, який вони заснували 2017 році, розв'язав цю проблему та представив систему, яка поєднує навички міркування великих мовних моделей із фізичною спритністю просунутого робота.
Covariant — американська промислова робототехнічна компанія зі штаб-квартирою в Берклі, Каліфорнія. Компанію заснована дослідниками з Каліфорнійського університету в Берклі та OpenAI. Стартап створює програмне забезпечення для робототехніки на високоавтоматизованих складах.
Covariant зібрав $67 млн фінансування від венчурних капіталістів і технологічних експертів, таких як Index Ventures, Lux Capital, Джеффр Хінтон, Янн ЛеКун і Фей-Фей Лі. На початку 2020 року Covariant оголосила про партнерство з компаніями промислових роботів ABB і Knapp AG.
Перший флагманський продукт Covariant — робот pick-it-easy (у партнерстві з логістичною фірмою Knapp), навчився вибирати предмети зі складських коробок за допомогою цифрового моделювання. Повідомляється, що система може вибирати та сортувати понад 10 тис. предметів із точністю 99%
Що таке RFM-1 та чи змінить вона підхід до навчання роботів
Підписуйтеся на наші соцмережі
Нещодавно Covariant представила модель під назвою RFM-1 (Robotics Foundation Model 1). RFM-1 є результатом, серед іншого, великої кількості даних, зібраних під час розгортання платформи Brain AI від Covariant. Модель було навчено на роках даних, зібраних невеликою групою роботів Covariant, які збирають предмети, на складах таких компаній-клієнтів, такі як Crate & Barrel і Bonprix, а також на словах і відео з інтернету.
У найближчі місяці модель буде випущена для клієнтів Covariant. Компанія сподівається, що система стане більш потужною та ефективною, коли її розгорнуть у реальному світі.
Як розповідає MIT Technolohy Rewiew користувачі можуть створювати запит до моделі використовуючи п’ять різних типів введення: текст, зображення, відео, інструкції для роботів та радари.
Наприклад, покажіть йому зображення кошика, наповненого спортивним інвентарем, і скажіть йому забрати пачку тенісних м’ячів. Потім робот може схопити предмет, створити зображення того, як виглядатиме кошик після того, як тенісні м’ячі зникнуть, або створити відео, що показує, як виглядатиме робот під час виконання завдання.
Якщо робот передбачає, що вона не зможе належним чином схопити предмет, він може навіть написати у відповідь: «Я не можу добре схопити». У вас є поради?»
Фактично це може зробити стрибок у робототехніці, оскільки роботи зможуть адаптуватися до середовища, використовуючи навчальні дані, а не складний, специфічний для завдань код, який використовує попереднє покоління промислових роботів. Це також створює передумови, за якими менеджери можуть видавати роботам інструкції людською мовою, наприклад, просто скомандувати упакувати певний товар.
Які обмеження у мультимодальних роботів
Попри те, що робототехніки вже створювали простих мультимодальних роботів і використовували їх у лабораторних умовах, такого масштабного розгортання та взаємодії роботів з такою кількістю режимів інформації ще не було.
Однак, щоб випередити своїх конкурентів, Covariant повинен буде отримати достатньо даних, щоб робот став корисним у промисловості чи інших не лабораторних умовах. Модель тестуватимуть у складах та портах у взаємодії з новими інструкціями, людьми, об’єктами та середовищем.
Які нові підходи у робототехніці та хто над ними працює
RFM-1 обіцяє зміну парадигми у світі робототехніки. Замість того, щоб навчати робота, як влаштований світ вручну, за допомогою таких інструкцій, як фізичні рівняння та код, дослідники навчають його подібно до людей люди: через мільйони спостережень.
Один із засновників Covariant Пітер Чен каже, що в результаті модель «дійсно може діяти як дуже ефективний гнучкий мозок для вирішення довільних завдань робота».
Однак не лише Covariant працює над новаціями у цій галузі. Раніше цього місяця робототехнічний стартап Figure AI оголосив про співпрацю з OpenAI і залучив $675 від Nvidia та Microsoft. Марк Райберт, засновник Boston Dynamics, нещодавно розпочав ініціативу щодо кращої інтеграції ШІ в робототехніку.
Норвезький стартап 1X Technologies також у співпраці з OpenAI впровадив мовну модель, яка дозволяє роботу розуміти природну мову користувача і виконувати завдання без додаткового введення команд. Також за попередні роки компанія розробила один із найкращих у світі серводвигунів (тип електричного двигуна, який дозволяє точно контролювати положення, швидкість та кут обертання. — Ред.). Це дозволяє роботам імітувати м’які, органічні рухи м’язів людини.
Це означає, що прогрес у машинному навчанні, швидше за все, почне перетворюватися на прогрес у робототехніці.
Тим часом Covariant прагне вдосконалювати RFM-1.Згодом дослідники прагнуть змусити робота навчатися на відео, які створює сама модель, однак наскільки ефективним буде цей задум покаже час.
