AutoPatchBench predstavlja novo mjerilo dizajnirano za testiranje učinkovitosti AI alata u ispravljanju grešaka u kodu. Usmjeren je na ranjivosti u programskim jezicima C i C++, koje su otkrivene kroz fuzzing, popularnu metodu automatiziranog testiranja sigurnosti. Referentna vrijednost obuhvaća 136 stvarnih grešaka i njihovih provjerenih ispravki, uzetih iz skupa podataka ARVO. Ova inicijativa istražuje kako AI tehnologije mogu unaprijediti proces sanacije ranjivosti u softveru.
Shema toka stvaranja zakrpa
Cyberseceval 4
AutoPatchBench je ključni dio Meta Cyberseceval 4, skupine referentnih vrijednosti koje omogućuju objektivnu procjenu i usporedbu različitih alata za automatsko testiranje temeljenih na jezičnim modelima (LLM) za ranjivosti koje su posebno identificirane putem fuzzing-a. Ova široko prihvaćena metoda automatiziranog testiranja sigurnosti pomaže istraživačima da lakše usporede rezultate različitih alata i identificiraju koji od njih djeluje, a koji ne.
Ono što izdvaja AutoPatchBench jest njegova napredna metodologija provjere. “Ne radi se samo o tome da se provjeri grade li se zakrpe i sprječavaju li padove,” izjavila je Tj Byun, istraživačka znanstvenica iz Mete. “Referentna vrijednost sadrži dodatne provjere putem fuzzing-a i diferencijalnog ispitivanja bijele kutije, čime se osigurava ispravnost zakrpa koje generiraju AI.” Ovim pristupom osigurava se da zakrpe ne samo da sprječavaju krahove, nego i održavaju predviđenu funkcionalnost koda kroz usporedbu stanja programa prije i poslije primjene zakrpa.
Autopatch-lite
Kako bi omogućili podršku alatima u ranoj fazi razvoja, tim je izradio autopatchbench-lite, pojednostavljenu verziju koja se fokusira na 113 specifičnih ranjivosti, ograničenih na jednofunkcijske uzroke. Ova verzija održava rigorozne standarde pune referentne vrijednosti, uključujući postavke s dvostrukim kontejnerima za dosljednu reprodukciju i validaciju, dok istovremeno snižava barijeru za procjenu novih alata. “Naš cilj s ovim pristupom je omogućiti precizniju procjenu AI sposobnosti,” objašnjava Byun, “čime se potiče napredak u sanaciji ranjivosti na temelju AI s većim fokusom i preciznošću.”
AutoPatchBench i otvoreni izvor
Tim iza AutoPatchBench-a je prepoznao značaj zajedničkog rada, stoga su svoj projekt učinili potpuno otvorenim izvorom. “Otvoreni access omogućava unos industrije u napredak točnosti i pouzdanosti AI zakrpa,” izjavio je Byun. Osim same referentne vrijednosti, istraživači su razvili i objavili osnovni generator AI Patch, dizajniran kao referentna točka performansi. Prilagođena jednostavnijim slučajevima, ova implementacija služi kao polazište za daljnje nadogradnje i proširenja od strane zajednice.
Budući razvoj i preuzimanje
Tim planira stvoriti zajednički temelj za buduća istraživanja i razvoj izradom javno dostupnih referenci i osnovnih alata. “Programeri alata za automatsko patchiranje mogu iskoristiti naš generator zakrpa kako bi poboljšali svoje alate i procijenili njihovu učinkovitost kroz referentnu vrijednost,” dodao je Byun. Ova korisnost nije ograničena samo na usporedbu; softverski projekti koji koriste fuzzing mogu primijeniti zakrpe za brže rješavanje ranjivosti, dok podržavajući alati mogu biti korišteni u cjevovodima za učenje pojačanja.
AutoPatchBench je dostupan besplatno na GitHubu.
Mora čitati:
Pretplatite se na Mjesečni bilten bez sigurnosnih oglasa kako biste bili informirani o osnovnim alatima za kibernetičku sigurnost otvorenog koda. Pretplatite se ovdje!
