Delavnica: Pospeševanje aplikacij CUDA C++ z več grafičnimi procesorji

Tuesday 28 Nov 2023, 10:00 → 18:00 Europe/Ljubljana

MS Teams

Domen Verber

Kratek opis: Ta delavnica pokriva, kako napisati aplikacije CUDA C++, ki učinkovito in pravilno uporabljajo vse razpoložljive grafične procesorje v enem samem vozlišču, kar dramatično izboljša zmogljivost vaših aplikacij in naredi najbolj stroškovno učinkovito uporabo sistemov z več grafičnimi procesorji

Podrobnejši opis: Računalniško intenzivne aplikacije CUDA® C++ v visokozmogljivem računalništvu, znanosti o podatkih, bioinformatiki in globokem učenju je mogoče pospešiti z uporabo več grafičnih procesorjev, kar poveča prepustnost in/ali skrajša vaš skupni čas izvajanja. V kombinaciji s sočasnim prekrivanjem prenosov izračunov in pomnilnika je mogoče izračun povečati na več grafičnih procesorjih brez povečanja stroškov prenosa pomnilnika. Te tehnike vam omogočajo, da dosežete vrhunsko zmogljivost iz aplikacij, pospešenih z GPU, za organizacije s strežniki z več GPE, bodisi v oblaku, omrežju ali lokalnih sistemih. Implementacija tehnik z več GPU-ji na enem vozlišču je pomembna pred skaliranjem vaših aplikacij na več vozliščih.

Na delavnici pridobljena znanja:

• uporabite sočasne tokove CUDA za prekrivanje prenosov pomnilnika z izračunom grafičnih procesorjev
• uporabite vse razpoložljive grafične procesorje na enem vozlišču, da povečate delovne obremenitve na vse razpoložljive grafične procesorje
• združite uporabo prekrivanja kopiranja/računanja z več grafičnimi procesorji
• zanesite se na časovnico NVIDIA Nsight™ Systems Visual Profiler, da opazujete priložnosti za izboljšave in vpliv tehnik, obravnavanih v delavnici

 

Opis izobraževanja: Delavnica poteka na daljavo z uporabo brskalnika na oblačni infrastrukturi AWS in preko oddaljenega dostopa do virov SLING HPC.

Ciljna publika: Razvijalci HPC, ki uporabljajo CUDA v omrežju ali oblaku.

Zahtevnost: Napredna

Priporočeno predhodno znanje: Srednje izkušnje s programiranjem aplikacij CUDA C/C++, vključno z uporabo prevajalnika nvcc, zagonom jedra, mrežnimi zankami, prenosi pomnilnika med napravami (host-to-device in device-to-host) ter obravnavanjem napak CUDA. Poznavanje ukazne vrstice Linux. Izkušnje z uporabo datotek Make za prevajanje kode C/C++.

Jezik: Slovenski

Maksimalno število udeležencev: 20

Termin: 28.11 2023, 10.00 - 18.00

Lokacija (virtualna): MS Teams

---

Organizator:

Univerza v Mariboru, Fakulteta za elektrotehniko, računalništvo in informatiko

---

Predavatelji

Ime:	Domen Verber
Opis:	Domen Verber je docent na Fakulteti za elektrotehniko in računalništvo Univerze v Mariboru (UM FERI) ter ambasador NVIDIA Deep Learning Institute za Univerzo v Mariboru in njihov specialist za HPC. S problematiko HPC in umetne inteligence se ukvarja že več kot 25 let.
E-naslov:	domen.verber@um.si, deep.learning@um.si

 

Ime:	Jani Dugonik
Opis:	Jani Dugonik je raziskovalec na Fakulteti za elektrotehniko, računalništvo in informatiko Univerze v Mariboru (UM FERI). Že več kot 10 let dela na področju obdelave naravnega jezika (predvsem strojnega prevajanja) in evolucijskih algoritmov.
E-naslov:	jani.dugonik@um.si

 

---

10:00 → 10:30 Uvod (Spoznajte inštruktorja. Ustvarite račun na courses.nvidia.com/join Spoznajte svoje interaktivno okolje JupyterLab, ki ga pospešuje GPU.)

Convener: Domen Verber

10:30 → 12:00 Pregled aplikacije (Usmerite se z eno samo aplikacijo GPU CUDA C++, ki bo izhodišče za tečaj. Opazujte trenutno zmogljivost posamezne aplikacije GPU CUDA C++ z uporabo Nsight Systems.)

Convener: Domen Verber

12:00 → 12:30 Uvod v tokove CUDA (Naučite se pravil, ki urejajo sočasno vedenje toka CUDA. Uporabite več tokov CUDA za izvajanje hkratnih prenosov pomnilnika od gostitelja do naprave in od naprave do gostitelja. Uporabite več tokov CUDA za zagon jeder GPU. Opazujte več tokov v pogledu časovne osi Nsight Systems Visual Profiler.)

12:30 → 13:30 Prekrivanje kopiranja/računanja s tokovi CUDA (Naučite se ključnih konceptov za učinkovito izvajanje prekrivanja kopiranja/računanja. Raziščite zanesljive strategije indeksiranja za prilagodljivo uporabo prekrivanja kopiranja/računanja v aplikacijah. Preoblikujte aplikacijo CUDA C++ z enim GPE-jem za izvedbo prekrivanja kopiranja/računanja. Oglejte si prekrivanje kopiranja/računanja na časovnici vizualnega profilerja Nsight Systems).

Convener: Domen Verber

13:30 → 14:00 Kosilo

14:00 → 15:30 Več grafičnih procesorjev s CUDA C++ (Naučite se ključnih konceptov za učinkovito uporabo več grafičnih procesorjev na enem vozlišču s CUDA C++. Raziščite robustne strategije indeksiranja za prilagodljivo uporabo več grafičnih procesorjev v aplikacijah. Preoblikujte aplikacijo CUDA C++ z enim GPE-jem za uporabo več GPU-jev. Oglejte si uporabo več grafičnih procesorjev na časovnici Nsight Systems Visual Profiler.

Convener: Domen Verber

15:30 → 16:30 Prekrivanje kopiranja/računanja z več grafičnimi procesorji (Naučite se ključnih konceptov za učinkovito izvajanje prekrivanja kopiranja/računanja na več grafičnih procesorjih. Raziščite robustne strategije indeksiranja za prilagodljivo uporabo prekrivanja kopiranja/računanja na več grafičnih procesorjih. Preoblikujte aplikacijo CUDA C++ z enim GPE-jem za izvajanje prekrivanja kopiranja/računanja na več GPE-jih. Opazujte prednosti zmogljivosti za prekrivanje kopiranja/računanja na več grafičnih procesorjih. Oglejte si prekrivanje kopiranja/računanja na več grafičnih procesorjih na časovnici vizualnega profilerja Nsight Systems.)

Convener: Domen Verber

16:30 → 17:30 Izvajanje aplikacije na infrastrukturi SLING (Naučite se zgraditi svoje okolje za usposabljanje iz vsebnika osnovnega okolja DLI. )

Convener: Jani Dugonik

17:30 → 18:00 Končni pregled (Preglejte ključna spoznanja. Ocena tečaja. Izpolni anketo na delavnici)