|
тази година...
Караманев (Г.), автор на сайта "Дигитални истории" тая година за втори път си направи експеримент, в който сравнява резултатите от матурата по български език и литература между трите основни езикови модела - Gemini, ChatGPT и Claude от една страна, а от друга живата сила, която включва - самия него(Караманев) и двама настоящи зрелостници. Задачата на моделите и участниците е точно същата като на реалните изпити, а оценяването е поверено на двама сертифицирани зрелостни проверители, също участвали като “квестори” на изпита.
Ето го и крайният резултат:
Gemini – отличен 5.68
Claude – отличен 5.52
ChatGPT – отличен 5.50
Всички три модела се представят по-добре от около 90 % от зрелостниците на реалния изпит
Караманев – отличен 5.77( малко над всички ИИ модели)
Никой участник – нито човек, нито ИИ – не получава пълна шестица
Учителите- оценители успяват с висока точност да разграничат кои интерпретации са писани от хора и кои – от ИИ (висока точност, но не и напълно)
ChatGPT демонстрира голяма прилика в критериите за оценяване спрямо официалните, използвани от проверителите.
Експериментът поражда редица размисли като:
Най-мощните езикови модели на ИИ днес могат да постигнат резултати, които надминават тези на повечето зрелостници – но все още не идеални, тъй като липсва перфектна шестица.
Учителите могат да идентифицират текстове, създадени от ИИ, което показва, че макар тяхното качество да е високо, липсва специфичен, характерен стил, което ги отличава от човешките.
ChatGPT е впечатляващо близо до официалните критерии за оценка, което поставя въпросът дали и как ИИ може да бъде използван в помощ на образователния процес.
Според Карманев тази година ИИ се справят по-добре от миналата, задобрели са значително за една година. Намекна, че предстоят още по-мащабни експерименти – с повече участници (човешки и ИИ), които да покажат какво се е променило в образованието и технологиите.
Редактирано от MilaO6 на 11.07.25 21:42.
|
Как ИИ се представи на матурата
