Переваги української LLM для клієнтів «Київстар», інтеграція з «Зоряною» та об’єднання з Helsi і Uklon

17 червня Мінцифри та «Київстар» уклали меморандум про спільне розроблення української великої мовної моделі.

Українська LLM має стати основою для створення цифрових продуктів із штучним інтелектом у державному та бізнес-секторі, що має посприяти покращенню послуг для користувачів і підвищенню ефективності організацій.

Які переваги принесе ця мовна модель для абонентів та бізнес-клієнтів «Київстар»? Як буде гарантована безпека даних користувачів у мовній моделі, що під’єднана до всіх сервісів? Чи замінить нова LLM чатбота «Зоряну»? Та чи планується об’єднання «Київстар», Helsi та Uklon на базі єдиної платформи?

Ці питання SPEKA поставила Михайлу Нестору, директору з розробки диджитал-продуктів у «Київстар» та Chief Product Officer у Kyivstar.Tech, й отримала ексклюзивні відповіді.

Передусім ми хочемо, щоб усі сервіси, які базуються на GenAI, ідеально, наскільки це можливо, працювали з українською мовою.

За великим зачаруванням АІ стоять переважно ті самі софтверні [програмні] продукти та системи, але тепер вони на вході використовують АІ, щоб розуміти людину, коли вона пише або говорить природною мовою.

Користувач запитує, наприклад, про роумінг, свій тарифний пакет, бізнес-послугу або специфічний запит, як-от «Скільки у мене грошей на рахунку?». Ми метчимо це із своїм портфоліо або послугами. Далі йдемо у наші системи, наприклад, білінг, CRM, дістаємо ці дані, вдруге використовуємо LMM, щоб загорнути їх у природну мову. LMM бере цифри, розуміє intent і відповідає не просто «254 гривні 30 копійок», а каже «На вашому рахунку така сума. Може вам ще допомогти?» і пропонує послуги чи допомогу.

Велика частина залежить від розпізнавання, бо вона впливає на якість відповіді, яку людина отримує, й на те, щоб ця відповідь була максимально гарною, правильною мовою.

Це дуже круто, тому що у різних частинах країни можуть відрізнятися певні слова. Це з погляду клієнта — B2C.

B2B — це інша історія, тому що всі бізнеси зможуть користуватися цією LLM. У певний момент підтримка через чатбот буде кращою, адже вона дешевше та швидше, при цьому персоналізована і доступна весь час онлайн, порівняно з будь-яким контакт-центром або чатом, з яким ми зараз спілкуємося. Я, наприклад, не люблю висіти на гарячих лініях, якщо можна написати у чаті. 

Невеликим, середнім або не технологічним компаніям, наприклад ритейл чи агро, в яких немає таких R&D-можливостей, доведеться наймати когось або купувати це все у глобальних моделях. В Україні це буде щонайменше у кілька разів дешевше. 

Підписуйтеся на наші соцмережі

Можна розгортати open source у себе, тоді необхідна експертиза, кошти, хостинги і так далі, або ж можна платити за виклики.

Open-source моделі будуть за бенчмарками, тобто за точністю відповідей, за швидкістю і за вартістю, гірші, ніж наша дотренована модель. У цьому вся ідея.

Ні, адже авторизація є обов’язковою. Є багато різних способів автентифікуватися. Наприклад, зараз це СМС з одноразовим паролем, у майбутньому може приходити push у застосунок «Мій Київстар». Є багато можливостей зробити цей процес безпечним.

99,9% всіх зломів — це соціальна інженерія.

Тобто люди самі віддають шахраям свої паролі, зачитують цифри на звороті карти людям, які телефоном представилися працівниками служби безпеки банків, тощо. 

Технічно зламати та отримати доступ до персональних даних дуже складно. Тільки якщо це велика злочинна організація, яка цим специфічно займається, але це того не варто. Уявіть, що вам, щоб зламати велику компанію за допомогою DDoS-атак, потрібно витратити мільйони доларів. Ви отримаєте доступ до якогось рахунку і вкрадете 150 гривень. Це немає сенсу.

Йдеться не стільки про навчання, скільки про персоналізацію. Найкраще, коли сервіс «пам’ятає» клієнта, знає його історію звернень і, враховуючи це, підказує релевантні рішення.

Наприклад, абонент питає про домашній інтернет, а ми бачимо, що місяць тому йому вже провели GPON. Людина ще цього не знає, а ми бачимо у себе в системі. Тобто це пов’язано не з AI, а з правильною архітектурою та інтеграціями систем.

Тоді GenAI може одразу відповісти: «До речі, у вашому будинку вже є GPON, підключення коштує стільки-то. Якщо додасте «Київстар ТБ» до поточного тарифу, отримаєте вигоду 30% на все разом».

Це те, що має робити GenAI для бізнесу. Зараз ми робимо подібні one-to-one пропозиції, але більш традиційними способами: через SMS чи застосунок.

Важливо зазначити, що чатбот-платформа — це софтверний продукт, який дозволяє:

1. Дизайнити різні flow (сценарії), тобто ми задаємо логіку «якщо — то», щоб бот знав, з якими запитаннями можуть звертатись, які у нас є послуги тощо. Ми не завантажуємо тарифне портфоліо у велику мовну модель, ми просто можемо у потрібний момент дістати інформацію.

2. Інтегруватися з іншими системами. Наприклад, бази даних з інформацією про абонента, його історію покупок і звернень, зокрема в офлайн-магазини. І далі ми йдемо в якусь LLM-модель. Тобто ця платформа може працювати без LLM, і це буде звичайний чатбот, який діє за принципом «натисніть один, натисніть два». Коли є LLM, це дає можливість людською мовою спілкуватися, розпізнавати і так далі.

Так. І тоді там, де зараз ми використовуємо OpenAI, зможемо використовувати українську модель.

Перегони за найкращу модель як концепція у світі вже закінчилась. Зараз основна концепція — це оркестрація мовних моделей. Тобто, наприклад, якщо хтось питає «яка погода?» чи «розкажи мені анекдот» — я піду в одну мовну модель. Якщо це технічне питання, наприклад, про тарифи чи залишок на рахунку — я піду в іншу мовну модель.

А якщо людина ставить складне питання, скажімо, «Якщо я завтра переключусь на такий-то тариф і підключу домашній інтернет, куплю телефон в кредит, а також для дитини куплю пакет мультиків на «Київстар ТБ», скільки це мені буде коштувати щомісяця?».

Так. Існує кілька моделей, як це працює:

Тому тут питання, якими моделями користуватись, скільки за це платити, наскільки вони для цієї мови чи сектору бізнесу налаштовані. Тобто модель може краще обслуговувати певний специфічний сегмент, якщо вона дотренована на цих даних.

Якщо завтра будуть робити чатбот-помічника для агросектору, який буде показувати погоду, прогнозувати тощо, то його потрібно буде дотренувати. 

Загальна модель завжди буде слабша, ніж специфічна, нішева дотренована. І це те, куди бізнес буде розвиватися

У нас наразі немає такого рішення. Може бути одна платформа, яка буде використовуватись як програмне забезпечення у різних компаніях.

Ми будуємо екосистему, але може бути, що у кожної компанії буде архітектурно своя копія з кастомізаціями та власними рішеннями на базі української LLM.

Я думаю, що нею користуватимуться всі наші компанії.