Українці створили технологію, яка визначає розташування ракети за звуком — інтерв’ю з ML-інженером Володимиром Сидорським

На цьогорічній IT Arena 2023 у категорії Defense-стартапів друге місце посіла компанія Zvook, яка розробляє однойменний апаратно-програмний комплекс, що акустично виявляє крилаті ракети, гелікоптери, дрони та винищувачі ворога на малих та середніх висотах за допомогою алгоритмів машинного навчання. SPEKA поспілкувалась із Володимиром Сидорським, тимлідом ML-команди, про те, як зібрати датасет із звуків прольотів ракет, скільки коштує розгорнути систему оповіщення та про інтеграцію з Delta.

Як створили систему Zvook

Це ідея Павла Цюпки, CEO компанії i3 Engineering (зараз військовослужбовець). За рішенням командира 125-ї окремої бригади ТрО до проєкту залучили Мар’яна Сулиму (CEO) та Максима Руденка (CTO).

До проєкту приєднався Дмитро Бєлєвцов, CTO та Cofounder у Respeecher, який запропонував нашу експертизу та долучив мене та Валерія Заблоцького-Дрогана (звукоінженера) до розроблення моделі. Дмитро також залучений до іншої розробки, яка називається Vidar. Це система контрбатарейної боротьби.

Як виявити ракети за звуком та визначити їх розташування 

Апаратний комплекс виявляє ракети за допомогою нейронних мереж, які фіксують ефект Доплера та інші звукові патерни. Коли об’єкт наближається до вас, його звук здається вищим та гучнішим ніж насправді. Це через те, що хвилі звуку стискаються і змінюють свою частоту за наближенні. Що швидше рухається об’єкт (реактивний літак, ракета, дрон), то сильніший ефект. 

Таке явище можна помітити в аудіопередаванні навіть без машинного навчання, але є багато навколишнього шуму, до того ж звук часто стихає, тому вирішили застосувати функціонал нейронних мереж. 

Як працює мережа Zvook

На рівні «заліза» це переважно станції мобільного зв’язку, на які ми встановлюємо свої спеціальні сенсори. Схожі системи можна теоретично будувати навіть за допомогою телефонів або простих мікрофонів. Це дешевше, але ми не обрали такий підхід, оскільки телефони можуть від постійної роботи перегріватись або записувати звук недостатньої якості.  

У нас є спеціальні мікрофони та дзеркала, які дають мікрофону фокус. Усю інформацію передаємо захищеним каналом зв’язку. Після цього дані агрегуються на сервері, де вже є зведені відомості. 

Де знайти датасет зі звуків прильотів ракет 

Це була одна з основних проблем, зокрема й тому, що звук на старті та під час прильоту інший, ніж на основному шляху. 

На цьому можна побудувати baseline — першу модель, яка буде працювати, але це постійний процес, тому ми повсякчас оновлюємо дані та додаємо їх до датасету. Наприклад, зараз росіяни додають глушники до дронів Shahed, оскільки вони мають характерний звук і це дозволяло легше їх виявити. Оскільки програмне забезпечення вже створене, то адаптувати його за кілька ітерацій легше, ніж модифікувати дрони. 

Про фальшиві спрацювання та сторонні звуки

Це інша велика проблема. Ми боремося з фоновими звуками, основний спосіб — оновлення датасету. Також проводимо навчання нейромережі за допомогою додавання додаткового шуму (спосіб тренування нейромережі — додавання випадкових даних, щоб навчити нейромережу краще узагальнювати та розпізнавати результати серед неідеальних даних. — Ред.) видозмінення даних. Коли зробити багато варіацій, модель навчиться виокремлювати звуки ракет навіть в умовах низької якості або перешкод. 

Про ефективність моделі Zvook

Ми оцінюємо точність алгоритму Zvook за допомогою класичної метрики машинного навчання F1 score. Це співвідношення між точністю та повнотою класифікованих сигналів. Тобто скільки правильних сигналів класифікував Zvook (звуків власне ракет) та повнота (кількість спрацювань). 

Про команду Zvook та безпеку даних 

В основній команді зараз до 10 людей, але на ранніх етапах допомагали працівники інших команд. Але розробка алгоритму це ще не все: багато сил витратили на безпечний зв’язок, роботи з кібербезпеки та інтеграції в системи ситуаційної обізнаності Delta та «Віраж». Певний час долучалися волонтери, які допомагали розмічати дані, зараз від цього концепту відходимо, потроху наймаємо людей на ставку, бо так робота виконується стабільніше.

Скільки коштує розгорнуту систему Zvook та про зацікавленість іноземних інвесторів

Зараз у нас є приблизно 100 пристроїв та ще 400 підтверджених замовлень. Я точно не скажу, скільки потрібно, щоб покрити всю територію України, але загальний обсяг інвестицій, щоб встановити такі комплекси, оцінювався у $1 млн, а одна станція коштує приблизно $500. Радіус покриття станції — до 10 км. 

Перші станції купили за волонтерські кошти, щоб показати, що це працює. Частину купили через вкладені закордонні інвестиції, іншу частину замовили державні інституції. 

Інвестори вірять, що цей досвід можна буде масштабувати за кордоном. Як у мілітарних цілях, так і для охорони аеропортів чи навіть приватних помешкань. Подібні системи розробляли і в інших країнах, але у нас є великий досвід та унікальний датасет, на якому ми навчали наш алгоритм, і це наша killing feature.

Про плани Zvook на майбутнє 

Зараз проєкт фокусується на трьох основних напрямках роботи: