Treniranje prilagođenog LLM modela – Uspješna priča

NCC HPC BiH podržao doktorska istraživanja: treniranje prilagođenog LLM modela — Univerzitet u Bihaću

NCC HPC BiH pružio je pristup HPC infrastrukturi i tehničku podršku doktorskom studentu Univerziteta u Bihaću na istraživanju iz oblasti obrade prirodnog jezika i treniranja velikih jezičkih modela.

U sklopu projekta, student je koristio HPC resurse za treniranje prilagođenog LLM modela primjenom CUDA i PyTorch okvira. Istraživanje je obuhvatilo obradu tekstualnih skupova podataka s platforme Hugging Face, počevši od manjih podskupova za inicijalne eksperimente, te postepeno skaliranje prema zahtjevnijim trening procesima koji zahtijevaju značajne računarske kapacitete. Ovakav pristup omogućio je sistematičnu validaciju modela i optimizaciju hiperparametara u realnim uvjetima.

Projekt ilustruje kako pristup HPC resursima otvara nove istraživačke mogućnosti doktorskim studentima u Bosni i Hercegovini, omogućavajući im rad na istraživanjima koja su po obimu i složenosti ravnopravna s projektima vodećih evropskih istraživačkih institucija.