Məsələn, model aşağıdakı problemi yaxşı həll edə bilər: “Oliver cümə günü 44 kivi seçdi. Daha sonra şənbə günü 58 kivi yığdı. Bazar günü o, cümə günündən iki dəfə çox kivi toplayıb. Oliverin neçə kivisi var? Bununla belə, “Bazar günü bu kivilərdən 5-i orta göstəricidən bir qədər kiçik idi” ifadəsini əlavə etsəniz, model kivinin ölçüsünün onların sayına təsir etməməsinə baxmayaraq, çox güman ki, bu 5 kivi cəmindən çıxaracaq.
Tədqiqatın həmmüəlliflərindən olan Mehrdad Farajtabar izah edir ki, bu cür səhvlər LLM-lərin tapşırığın mahiyyətini anlamadıqlarını və sadəcə təlim məlumatlarından nümunələri təkrar təqdim etdiklərini göstərir. “Biz fərz edirik ki, [səmərəliliyin] bu azalması müasir LLM-lərin həqiqi məntiqi düşünmə qabiliyyətinə malik olmaması ilə bağlıdır; Bunun əvəzinə onlar təlim məlumatlarında müşahidə olunan əsaslandırma addımlarını təkrarlamağa çalışırlar”.
Başqa bir OpenAI mütəxəssisi “sorğunun kontekst ifadəsindən” istifadə edərək düzgün nəticələrin əldə oluna biləcəyini iddia etdi. (prompt engeneering). Bununla belə, Fərəctəbar qeyd etdi ki, mürəkkəb tapşırıqlar, məsələn, uşağın asanlıqla gözardı edəcəyi diqqəti yayındıran amilləri neytrallaşdırmaq üçün eksponent olaraq daha çox kontekstual məlumat tələb edə bilər.
Bu, LLM-lərin mühakimə etməyə bacarmadığını anlamına gəlirmi? Bəlkə. Nə baş verdiyini dəqiq başa düşmədiyi üçün hələ heç kim dəqiq cavab verməyib. LLM-lər “mühakimə əsaslarına” sahib ola bilər, lakin biz hələ tanımadığımız və ya idarə edə bilmədiyimiz bir şəkildə. Hər halda, bu mövzu gələcək tədqiqatlar üçün maraqlı perspektivlər açır.
Fikirləriniz ?
