Россия галимнәре ЯИка өйрәтүне кеше карашын модельләштерү ярдәмендә тизләтте
Иннополис университетының Ясалма интеллект өлкәсендәге тикшеренү үзәге хезмәткәрләре кеше фикерләренә нигезләнеп ныгыту аша укыту (RLHF) нәтиҗәлелеген арттыруның яңа ысулын тәкъдим иттеләр. Бу — зур тел модельләрен кулланучыларның өстенлекләренә яраклаштыру өчен төп метод булып тора.
Гыйльми хезмәткәрләр сүзләренчә, хәзерге RLHF методларының төп проблемалары — аларның югары хисаплау бәясе һәм кире элемтә сигналларының сирәклеге аркасында укыту процессының акрын баруы: бүләкләү моделе генерацияләнгән текстның кайсы өлешләре яхшы яки уңышсыз булуын күрсәтмичә, аңа бер гомуми бәя генә бирә. Тикшеренү авторлары бу проблемаларны чишү өчен текстны өйрәнүче кешенең караш траекториясе турындагы мәгълүматларны кулланырга тәкъдим иттеләр: ул текстның кайсы өлешләренә игътибар итә, нинди эзлеклелектә һәм һәр өлештә карашын күпме тота.
Караш турындагы мәгълүматларны компьютер мониторы нигезенә айтрекер — күз карашын күзәтү җайланмасын урнаштырып һәм берничә кулланучы белән экспериментлар үткәреп алып була. Мондый тикшеренүләр кыйммәткә төшә, озак бара һәм текст яңага алыштырылганда мәгълүматны тиз генә алу мөмкинлеген бирми. Мондый очракларда галимнәр текст укучы кешенең карашын фаразлау модельләрен кулланалар — синтетик мәгълүматларга нигезләнеп, алар RLHF-та куллану өчен текстның һәр өлеше буенча бүләкләүне исәплиләр.