Дослідники з Університету Пердью в США вирішили перевірити, наскільки добре один з найпопулярніших генеративних ШІ — ChatGPT - може відповідати на питання про програмування, повідомляє TechSpot.Дослідники поставили ChatGPT 517 запитань із Stack Overflow — популярного ресурсу питань та відповідей для професійних програмістів та ентузіастів. Вони також запросили 12 людей, які мали досвід програмування, оцінити відповіді ШІ за критеріями правильності, послідовності, вичерпаності та лаконічності.Результати були розчаровуючими. ChatGPT дав лише 48% правильних відповідей. При цьому стиль та якість визначень часто переконували фахівців у правильності, хоча це було не так.Ми помітили, що тільки тоді, коли помилка у відповідь ChatGPT є очевидною, користувач може її ідентифкувати.Навіть якщо відповідь ChatGPT була явно неправильною, двоє з 12 учасників все одно віддавали перевагу йому через приємний, впевнений і позитивний тон ШІ.
Читайте ще
8 сер
