Kneron випустить чип для штучного інтелекту цього року
До кінця 2023 року компанія Kneron почне поставки нейронних процесорів (NPU), призначених для машинного навчання та застосунків штучного інтелекту.
Про це пише The Verge.
KL730 — це наступне покоління попередніх процесорів від Kneron. У 2021 році компанія випустила чипи KL530, які підтримували моделі-трансформери. Саме вони лежать в основі деяких генеративних моделей ШІ.
Генеральний директор Kneron Альберт Лю розповів, що чипи NPU спеціально розроблені для штучного інтелекту. Завдяки їм можна відмовитись від використання відеокарт, зазначив він.
Ціна KL730 невідома. Проте, за словами Лю, користувачі чипа KL530 побачили зниження операційних витрат на 75% у порівнянні з відеокартами.
Kneron кинув виклик ШІ-процесорам Nvidia
Більшість ШІ-компаній та хмарних провайдерів спираються на графічні процесори Nvidia H100. Вони вважають, що відеокарти є найдоступнішими чипами, які здатні виконувати обчислення для генеративних моделей.
Але навіть з такою потужністю для запуску однієї великої мовної моделі зазвичай потрібно багато H100, тому користувачам доводиться «розбивати» модель на частини, щоб її запустити.
Крім цього, шалений попит на ШІ спровокував зростання цін на процесори. Наразі H100 коштує приблизно $40 тис.
Натомість в Kneron заявили, що KL730 забезпечує «три-чотирикратний стрибок» в енергоефективності у порівнянні з попередніми чипами. Він також має обчислювальну потужність базового рівня від 0,35 тераоперацій на секунду.
За даними компанії, новий чіп дозволяє користувачам запускати LLM повністю в автономному режимі без необхідності підключення до хмарного провайдера.
Раніше SPEKA писала про плани Microsoft випустити власний ШІ-чип Athena.
