Упс! Не вдала спроба:(
Будь ласка, спробуйте ще раз.

Українці створили технологію, яка визначає розташування ракети за звуком — інтерв’ю з ML-інженером Володимиром Сидорським

Олександр Тартачний
Олександр Тартачний журналіст
17 жовтня 2023 7 хвилин читання

На цьогорічній IT Arena 2023 у категорії Defense-стартапів друге місце посіла компанія Zvook, яка розробляє однойменний апаратно-програмний комплекс, що акустично виявляє крилаті ракети, гелікоптери, дрони та винищувачі ворога на малих та середніх висотах за допомогою алгоритмів машинного навчання. SPEKA поспілкувалась із Володимиром Сидорським, тимлідом ML-команди, про те, як зібрати датасет із звуків прольотів ракет, скільки коштує розгорнути систему оповіщення та про інтеграцію з Delta.

Як працює defence-стартап Zvook, що визначає розташування ракет за звуком  Як працює defence-стартап Zvook, що визначає розташування ракет за звуком 

Як створили систему Zvook

Це ідея Павла Цюпки, CEO компанії i3 Engineering (зараз військовослужбовець). За рішенням командира 125-ї окремої бригади ТрО до проєкту залучили Мар’яна Сулиму (CEO) та Максима Руденка (CTO).

Перший прототип працював ще від початку повномасштабного вторгнення, але на класичних алгоритмах фільтрування та оброблення аудіосигналів, тому точність, а особливо дальність виявлення була невисокою. 

До проєкту приєднався Дмитро Бєлєвцов, CTO та Cofounder у Respeecher, який запропонував нашу експертизу та долучив мене та Валерія Заблоцького-Дрогана (звукоінженера) до розроблення моделі. Дмитро також залучений до іншої розробки, яка називається Vidar. Це система контрбатарейної боротьби.

Як виявити ракети за звуком та визначити їх розташування 

Апаратний комплекс виявляє ракети за допомогою нейронних мереж, які фіксують ефект Доплера та інші звукові патерни. Коли об’єкт наближається до вас, його звук здається вищим та гучнішим ніж насправді. Це через те, що хвилі звуку стискаються і змінюють свою частоту за наближенні. Що швидше рухається об’єкт (реактивний літак, ракета, дрон), то сильніший ефект. 

Таке явище можна помітити в аудіопередаванні навіть без машинного навчання, але є багато навколишнього шуму, до того ж звук часто стихає, тому вирішили застосувати функціонал нейронних мереж. 

Далі визначити розташування ракети можна за допомогою триангуляції, коли три датчики, розташовані поблизу, приймають звук. Розрахувавши різницю в часі з них, можна визначити місце перебування ворожої зброї.

Як працює мережа Zvook

На рівні «заліза» це переважно станції мобільного зв’язку, на які ми встановлюємо свої спеціальні сенсори. Схожі системи можна теоретично будувати навіть за допомогою телефонів або простих мікрофонів. Це дешевше, але ми не обрали такий підхід, оскільки телефони можуть від постійної роботи перегріватись або записувати звук недостатньої якості.  

Апаратний комплекс Zvook на телефонній вежі  Апаратний комплекс Zvook на телефонній вежі 

У нас є спеціальні мікрофони та дзеркала, які дають мікрофону фокус. Усю інформацію передаємо захищеним каналом зв’язку. Після цього дані агрегуються на сервері, де вже є зведені відомості. 

Де знайти датасет зі звуків прильотів ракет 

Це була одна з основних проблем, зокрема й тому, що звук на старті та під час прильоту інший, ніж на основному шляху. 

Ми починали з того, що шукали відео в YouTube польотів реактивних літаків, оскільки за своїми властивостями звук літака близький до звуку ракет. Вивчали звук від цивільних та військових літаків.

Зліт стратегічного літака ТУ-95

На цьому можна побудувати baseline — першу модель, яка буде працювати, але це постійний процес, тому ми повсякчас оновлюємо дані та додаємо їх до датасету. Наприклад, зараз росіяни додають глушники до дронів Shahed, оскільки вони мають характерний звук і це дозволяло легше їх виявити. Оскільки програмне забезпечення вже створене, то адаптувати його за кілька ітерацій легше, ніж модифікувати дрони. 

Про фальшиві спрацювання та сторонні звуки

Це інша велика проблема. Ми боремося з фоновими звуками, основний спосіб — оновлення датасету. Також проводимо навчання нейромережі за допомогою додавання додаткового шуму (спосіб тренування нейромережі — додавання випадкових даних, щоб навчити нейромережу краще узагальнювати та розпізнавати результати серед неідеальних даних. — Ред.) видозмінення даних. Коли зробити багато варіацій, модель навчиться виокремлювати звуки ракет навіть в умовах низької якості або перешкод. 

Про ефективність моделі Zvook

Ми оцінюємо точність алгоритму Zvook за допомогою класичної метрики машинного навчання F1 score. Це співвідношення між точністю та повнотою класифікованих сигналів. Тобто скільки правильних сигналів класифікував Zvook (звуків власне ракет) та повнота (кількість спрацювань). 

Зазвичай цей параметр становить +99%, тобто система точна. Щоправда, ворог намагається адаптувати свої пристрої ураження, щоб вони були менш помітні, тому оцінка може варіюватись. 

Про команду Zvook та безпеку даних 

В основній команді зараз до 10 людей, але на ранніх етапах допомагали працівники інших команд. Але розробка алгоритму це ще не все: багато сил витратили на безпечний зв’язок, роботи з кібербезпеки та інтеграції в системи ситуаційної обізнаності Delta та «Віраж». Певний час долучалися волонтери, які допомагали розмічати дані, зараз від цього концепту відходимо, потроху наймаємо людей на ставку, бо так робота виконується стабільніше.

Скільки коштує розгорнуту систему Zvook та про зацікавленість іноземних інвесторів

Зараз у нас є приблизно 100 пристроїв та ще 400 підтверджених замовлень. Я точно не скажу, скільки потрібно, щоб покрити всю територію України, але загальний обсяг інвестицій, щоб встановити такі комплекси, оцінювався у $1 млн, а одна станція коштує приблизно $500. Радіус покриття станції — до 10 км. 

Перші станції купили за волонтерські кошти, щоб показати, що це працює. Частину купили через вкладені закордонні інвестиції, іншу частину замовили державні інституції. 

Інвестори вірять, що цей досвід можна буде масштабувати за кордоном. Як у мілітарних цілях, так і для охорони аеропортів чи навіть приватних помешкань. Подібні системи розробляли і в інших країнах, але у нас є великий досвід та унікальний датасет, на якому ми навчали наш алгоритм, і це наша killing feature.

Частина команди Zvook на церемонії нагородження defence-стартапів на Lviv IT Arena 2023 Частина команди Zvook на церемонії нагородження defence-стартапів на Lviv IT Arena 2023

Про плани Zvook на майбутнє 

Зараз проєкт фокусується на трьох основних напрямках роботи:

  • Розширюємо мережу сенсорів. 
  • Покращуємо нейронну мережу. 
  • Розробляємо акустичні сенсори на базі мікрофонної решітки. Це дозволить не лише визначати місцеперебування, а й напрям польоту. 
0
Прокоментувати
Інші матеріали

Як переселенцям отримати підтримку для розвитку бізнесу — проєкт «Ідеї»

Олеся Дерзська 11 годин тому

Microsoft інвестує 6,69 млрд євро у нові центри оброблення даних в Арагоні, Іспанія

Вікторія Рудзінська 12 годин тому

Clearview AI: незвичайне врегулювання позову через розподіл частки в компанії

Вікторія Рудзінська 14 червня 2024 17:49

Picsart об'єднався з Getty Images для запуску безпечного генератора зображень ШІ

Вікторія Рудзінська 14 червня 2024 16:05

Microsoft відтермінував запуск Recall AI через проблеми з безпекою

Кіра Іванова 14 червня 2024 11:57