ChatGPT не зміг відповісти на більшість запитань про програмування
Дослідники з Університету Пердью у США вирішили перевірити, наскільки добре один із найпопулярніших генеративних ШІ — ChatGPT — може відповідати на запитання про програмування, повідомляє TechSpot.
Дослідники поставили ChatGPT 517 запитань із Stack Overflow — популярного ресурсу запитань та відповідей для професійних програмістів та ентузіастів. Вони також запросили 12 людей, які мали досвід програмування, оцінити відповіді ШІ за критеріями правильності, послідовності, вичерпаності та лаконічності.
Результати розчарували. ChatGPT дав лише 48% правильних відповідей. При цьому стиль та якість визначень часто переконували фахівців у правильності, хоча це було не так.
Навіть якщо відповідь ChatGPT була явно неправильною, двоє з 12 учасників однаково віддавали перевагу йому через приємний, впевнений і позитивний тон ШІ.
