Нейромережі показали відео та навчили грати у Minecraft
Компанія OpenAI навчила нейромережу грати у Minecraft. Її навчали грати лише відео. Ба більше, ролики які показували нейромережі для її навчання не проходили попереднього маркування та підготовки.
Як нейромережа навчилась грати у Minecraft
Інтернет містить неймовірну кількість загальнодоступних матеріалів, за допомогою яких можна вчитись. Відео показують як людина робить презентацію, художник малює захід сонця, а гравець грає у Minecraft. Однак ці відеоролики дають лише запис того, що вже відбулося, а не точний опис того, як цього вдалося досягнути.
Тобто людина не дізнається точну послідовність дій, рухів миші чи натискання клавиш. Така відсутність маркувань дій створює проблему.
Для того, щоб використати багатство немаркованих даних з інтернету, OpenAI представила напівсамостійний метод навчання імітації — попереднє відеонавчання (VPT).
Він збирає невеликий обсяг даних з відео, зокрема й про натискання клавіш та рух миши у випадку з грою у Minecraft .
На основі цих даних модель використовує минулу інформацію та визначає можливу майбутню.
Після цього цю модель можна використовувати для маркування більшого обсягу даних онлайн-відео.