Bár a chatbot válaszai gyakran hatnak meggyőzőnek, nem mindig pontosak. ChatGPT talán alkalmas lehet egyszerű kérdések gyors megválaszolására vagy egy blogbejegyzés elindítására, de kódolási képességeiben van még hová fejlődnie, állapítják meg a kutatók.
A Purdue Egyetem egy tanulmányában azt elemezte, hogyan reagált a ChatGPT 517 különböző Stack Overflow (SO) kérdésre. Az eredmények nem voltak túl ígéretesek. "A vizsgálatunk szerint a ChatGPT válaszainak 52%-a nem volt pontos, és 77%-uk túlzottan részletesnek bizonyult" - fogalmaznak a kutatók a cikkben, amely még nincs lektorálva és egy előzetes publikációs oldalon látott napvilágot.
Még aggasztóbb, hogy a tanulmány szerint a chatbot hibáinak 54%-a abból adódott, hogy nem értette meg a neki feltett kérdést. Amikor mégis sikerült megértenie a kérdést, gyakran nem adott helyes választ, ami rámutat a ChatGPT válaszainak ellenőrzésének fontosságára.
"Számottevő esetekben tapasztaltuk, hogy a ChatGPT előzetes gondolkodás vagy a lehetséges eredmények mérlegelése nélkül adott megoldást, kódot vagy képletet" - állapították meg.
A chatbot nem teljesen alkalmatlan a programozás terén. Februárban a Google programozási interjú kérdéseket adott meg a ChatGPT-nek, és az AI válaszai alapján azt állapították meg, hogy harmadik szintű mérnöki pozícióra lenne alkalmas, egy belső jelentés szerint.
Továbbá, idén egy Amazon mérnök a ChatGPT-t használta interjú kérdések megválaszolására egy szoftverfejlesztő pozícióra a cégnél, és a bot minden kérdésre helyesen válaszolt, állítja az Insider.
Habár nem tekinthető a legjobb programozónak, a chatbotnak várhatóan nagy hatása lesz az amerikai munkaerőpiacra és előrejelzések szerint a szakmák mintegy 19%-át érintheti. Egy OpenAI által készített tanulmány szerint a technológia kiválthatja az embereket fordítói és tolmácsolói pozíciókban. Hosszú távon az írók, szerzők, matematikusok, adóelőkészítők, könyvelők és könyvvizsgálók, valamint más szakmák karrierútjára is hatással lehet.
A tanulmány megjegyzi, hogy a ChatGPT hajlamos automatikusan válaszokat generálni. Tehát, habár képes lehet ellátni az emberek által tipikusan végzett feladatokat, mindig szükség van egy emberi ellenőrzésre annak biztosítása érdekében, hogy a munka helyes legyen – legalábbis egyelőre.
Forrás: www.pcmag.com
