Cercetătorii de la MIT au utilizat modele lingvistice mari (LLM)

Pentru a-i ajuta pe oameni să înțeleagă explicațiile IA, cercetătorii de la MIT au utilizat modele lingvistice mari (LLM) pentru a transforma explicațiile bazate pe comploturi în limbaj simplu. Ei au dezvoltat un
sistem în două părți care convertește o explicație de învățare automată într-un paragraf de text lizibil de către om și apoi evaluează automat calitatea narațiunii, astfel încât un utilizator final
să știe dacă să aibă încredere în aceasta.

Cercetătorii s-au concentrat pe un tip popular de explicație prin învățare automată numit SHAP, care atribuie o valoare fiecărei caracteristici pe care modelul o utilizează pentru a face o predicție. Cercetătorii au utilizat LLM pentru a transforma o explicație SHAP existentă într-o narațiune lizibilă, limitând posibilitatea de a introduce inexactități în explicație.

EXPLINGO este împărțit în două componente

Sistemul lor, numit EXPLINGO, este împărțit în două componente care funcționează împreună. Prima componentă, denumită NARRATOR, utilizează un LLM pentru a crea descrieri narative ale explicațiilor SHAP care îndeplinesc preferințele utilizatorului. Prin alimentarea inițială a NARRATOR cu trei până la cinci exemple scrise de explicații narative, LLM va imita stilul respectiv atunci când va genera textul. După crearea unei explicații în limbaj simplu, a doua componentă, GRADER, utilizează un LLM pentru a evalua narațiunea pe baza a patru parametri: concizie, acuratețe, exhaustivitate și fluență. GRADER solicită automat LLM cu textul din NARRATOR și explicația SHAP pe care o descrie.

Una dintre cele mai mari provocări pentru Zytek și colegii săi a fost ajustarea LLM astfel încât să genereze narațiuni cu un sunet natural. Cercetătorii au luat nouă seturi de date de învățare automată cu explicații și au pus diferiți utilizatori să scrie narațiuni pentru fiecare set de date. Aceștia au folosit GRADER pentru a evalua fiecare explicație narativă cu privire la toți cei patru parametri.

În cele din urmă, cercetătorii au constatat că sistemul lor poate genera explicații narative de înaltă calitate și poate imita eficient diferite stiluri de scriere. Cu toate acestea, furnizarea câtorva exemple de explicații scrise manual îmbunătățește foarte mult stilul narativ. Pe baza acestor rezultate, cercetătorii doresc să exploreze tehnici care ar putea ajuta sistemul lor să gestioneze mai bine cuvintele comparative și să extindă EXPLINGO prin adăugarea raționalizării la explicații. Pe termen lung, ei speră să folosească această lucrare ca o piatră de temelie către un sistem interactiv în care utilizatorul poate pune o întrebare de verificare a modelului cu privire la o explicație, scrie sciencedaily