Otvorená umelá inteligencia vysvetľuje dôvody „halucinácií“

Spoločnosť stojaca za ChatGPT sa zaoberala pretrvávajúcim problémom modelov umelej inteligencie, ktoré generujú vierohodné, ale nepravdivé tvrdenia, ktoré nazýva „halucinácie“.

V piatkovom vyhlásení spoločnosť OpenAI vysvetlila, že modely sú zvyčajne povzbudzované k tomu, aby riskovali odhad, nech je akokoľvek nepravdepodobný, namiesto toho, aby uznali, že nemôžu odpovedať na otázku.

Spoločnosť dodala, že problém možno pripísať základným princípom „štandardných tréningových a hodnotiacich postupov“.

OpenAI odhalila, že prípady, keď jazykové modely „s istotou generujú odpoveď, ktorá nie je pravdivá“, naďalej trápia aj novšie, pokročilejšie iterácie vrátane jej najnovšieho vlajkového systému GPT-5.

Podľa zistení nedávnej štúdie je problém zakorenený v spôsobe, akým sa v súčasnosti zvyčajne hodnotí výkonnosť jazykových modelov, pričom model založený na odhadovaní je hodnotený vyššie ako opatrný model, ktorý pripúšťa neistotu. Podľa štandardných protokolov sa systémy umelej inteligencie učia, že neschopnosť vygenerovať odpoveď je istý spôsob, ako získať v teste nula bodov, zatiaľ čo nepodložený odhad sa môže ukázať ako správny.

„Oprava hodnotiacich tabuliek môže rozšíriť používanie techník na redukciu halucinácií,“ uzatvára sa vo vyhlásení, pričom sa však uznáva, že „presnosť nikdy nedosiahne 100 %, pretože bez ohľadu na veľkosť modelu, vyhľadávacie a logické možnosti sú niektoré otázky z reálneho sveta inherentne nezodpovedateľné.“