Delavnica: Hitro razvijanje aplikacij z uporabo velikih jezikovnih modelov

Europe/Ljubljana
MS Teams

MS Teams

Domen Verber, Jani Dugonik
Description

Kratek opis: Ta delavnica ponuja praktičen uvod v razvoj aplikacij z velikimi jezikovnimi modeli (LLM). Napredek v tehnikah in dostopnosti LLM-jev odpira neprimerljive priložnosti za podjetja, da poenostavijo svoje poslovanje, zmanjšajo stroške in povečajo produktivnost. Udeleženci bodo pridobili temeljito razumevanje in praktično znanje o razvoju aplikacij z LLM-ji z raziskovanjem odprtokodnega ekosistema, vključno s prednastavljenimi modeli, ki omogočajo hiter začetek razvoja. Ob koncu delavnice lahko udeleženci pridobijo uradni certifikat NVIDIA Deep Learning Institute.

Podrobnejši opis: Delavnica ponuja celovit uvod v razvoj aplikacij z velikimi jezikovnimi modeli. Spoznali boste, kako so strukturirani veliki jezikovni modeli in kako jih uporabljati. Pregledali bomo arhitekture transformerjev, vmesnike in intuicije ter kako se skalirajo za doseganje najsodobnejših rešitev LLM.

Raziskovali boste specializirane kodirne modele (encoder models) za naloge, kot so semantična analiza, vektorske predstavitve (embeddings), odgovarjanje na vprašanja in klasifikacija brez učenja (zero-shot classification). Prav tako se boste naučili uporabljati dekodirne modele (decoder models) za generiranje zaporedij, kot so programska koda, neomejeni odgovori in pogovori.

Ob koncu tečaja boste znali uporabljati tehnike upravljanja stanja in kompozicije za vodenje LLM-jev k varnim, učinkovitim in natančnim pogovorom, vključno z implementacijo RAG (Retrieval-Augmented Generation) za dostop do zunanjega okolja. Ob koncu delavnice lahko udeleženci pridobijo uradni certifikat Deep Learning Institute pri NVIDIA.

Zahtevnost: Osnovna

Jezik: Slovenski

Opis poteka izobraževanja: Delavnica poteka na daljavo preko brskalnika na oblačni infrastrukturi.

Priporočeno predznanje: Osnovno poznavanje globokega učenja in udobje pri uporabi PyTorch ter prenosnem učenju. Srednje poznavanje Pythona, vključno z objektno orientiranim programiranjem in uporabo knjižnic.

Ciljna publika: Študenti računalništva in informatike, inženirji, raziskovalci, razvijalci ter vsi, ki želijo razumeti in uporabljati velike jezikovne modele v praksi.

Na izobraževanju pridobljena znanja:

  • Poiskati, uporabiti in eksperimentirati z repozitorijem modelov HuggingFace in pripadajočim API-jem 
  • Uporabljati kodirne modele za naloge, kot so semantična analiza, vektorske predstavitve, odgovarjanje na vprašanja in klasifikacija brez učenja
  • Uporabljati dekodirne modele za generiranje zaporedij, kot so programska koda, neomejeni odgovori in pogovori
  • Uporabljati tehnike upravljanja stanja in kompozicije za vodenje LLM-jev k varnim, učinkovitim in natančnim pogovorom

 

Omejitev števila udeležencev: 30

Virtualna lokacija: MS Teams

Organizator: UM FERI, NVIDIA

 

 

Predavatelja:

Ime: Domen Verber
Opis: Domen Verber je docent na Fakulteti za elektrotehniko in računalništvo Univerze v Mari-boru (UM FERI) ter deluje kot strokovnjak na področju visokozmogljivega računalništva (HPC). Njegovo raziskovalno delo je osredotočeno na visokozmogljivo računalništvo in umetno inteligenco, s čimer se kontinuirano ukvarja že več kot 25 let. Med drugim opravlja funkcijo ambasadorja NVIDIA Deep Learning Institute na UM.
  domen.verber@um.si, deep.learning@um.si

 

Ime: Jani Dugonik 
Opis: Jani Dugonik je raziskovalec na Fakulteti za elektrotehniko, računalništvo in informatiko Univerze v Mariboru (UM FERI). Ukvarja se z raziskavami na področjih obdelave naravnega jezika, evolucijskih algoritmov in umetne inteligence.
  jani.dugonik@um.si

Contact
Registration
Registration
    • 10:00 10:15
      Uvod (Spoznajte inštruktorje. Ustvarite račun na courses.nvidia.com/join)
    • 10:15 11:30
      Od globokega učenja do velikih jezikovnih modelov (Naučili se boste, kako so veliki jezikovni modeli strukturirani in kako jih uporabljati. Pregled globokega učenja in razmišljanja na osnovi razredov ter kako iz tega izhaja jezikovno modeliranje. Razpravljanje o arhitekturah transformerjev, vmesnikih in intuicijah ter o tem, kako se povečujejo in spreminjajo za vrhunske rešitve velikih jezikovnih modelov.
    • 11:30 11:45
      Odmor 15m
    • 11:45 12:30
      Specializirani kodirni modeli (Naučili se boste, kako obravnavati različne specifikacije nalog: Raziskali boste najsodobnejše kodirne modele HuggingFace. Uporabili boste že prilagojene modele za zanimive naloge, kot so klasifikacija tokenov, klasifikacija zaporedij, napoved obsega in klasifikacija brez učenja)
    • 12:30 13:30
      Odmor 1h
    • 13:30 14:15
      Kodirno-dekodirni modeli za Seq2Seq: Dekodirni modeli za generiranje besedila
    • 14:25 15:10
      Dekodirni modeli za generiranje besedila ( Naučili se boste o dekodirnih modelih v slogu GPT in kako jih določiti ter uporabljati: Raziskali boste, kdaj je dekodirnik samostojen primeren, in obravnavanje težav pri oblikovanju. Razpravljanje o velikosti modela, posebnih tehnikah uvajanja in premislekih. Uporabili boste nekaj velikih modelov za generiranje besedila in si oglejte, kako delujejo).
    • 15:10 15:30
      Odmor 20m
    • 15:30 16:30
      Stanje velikih jezikovnih modelov (Naučili se boste, kako dvigniti jezikovne modele nad “stohastične papige” z vnosom konteksta: Predstavitev sodobnih tehnik sestavljanja velikih jezikovnih za upravljanje zgodovine in stanja. Razpravljanje o generiranju z izboljšanim iskanjem (RAG) za dostop do zunanjega okolja)
    • 16:30 17:30
      Preverjanje znanja in vprašanja/odgovori (Pregled ključnih spoznanj. Opravite preverjanje znanja na osnovi kode in pridobite certifikat.)