Vodja delavnice: Domen Vreš, Univerza v Ljubljani,
Fakulteta za računalništvo in informatiko, Laboratorij za strojno učenje in jezikovne tehnologije
Na delavnici bomo spoznali, kako v operativno okolje vpeljati slovenski odprti jezikovni model GaMS. V času, ko organizacije iščejo načine za varno in suvereno uporabo umetne inteligence, GaMS ponuja odgovor, ki ne temelji na tujih oblakih, temveč na lokalni infrastrukturi in poznavanju specifik slovenskega jezika.
Skozi praktične primere bomo prehodili pot od osnov do napredne uporabe:
- Osnove inference: Spoznali bomo knjižnici vLLM in transformers ter preizkusili zmogljivosti modela.
- Pametni odgovori (RAG): Demonstrirali bomo sistem za iskanje po lastnih dokumentih (Retrieval-Augmented Generation), ki modelu omogoča odgovarjanje na podlagi vaših specifičnih podatkov.
- Lokalna infrastruktura: Ogledali si bomo, kako vzpostaviti lasten AI strežnik z uporabo orodij vLLM ali Ollama ter pripraviti uporabniški vmesnik Open WebUI.
Priprava na delavnico: Če želite na delavnici aktivno sodelovati, vas prosimo, da s seboj prinesete prenosni računalnik. Za praktični bo dovolj, da imate ustvarjen Google račun za dostop do okolja Google Colab. V okolju Colab dobite dostop do osnovnih GPE računskih virov tudi z brezplačnim računom (z omejitvami). Naprednejši uporabniki, ki imate svoje GPU kapacitetami (vsaj 8GB) si lahko namestite Jupyter Notebook, knjižnico CUDA in Docker.
Seveda se lahko delavnice udeležite tudi brez prenosnika, zgolj iz radovednosti – postopke boste lahko spremljali na projekciji, kasneje pa s pomočjo gradiv vse naučeno preizkusili v svojem tempu.