Cybersecurity Considerations in AI Development and Deployment

Izvajalec / Izvajalec tečaja: Institut "Jožef Stefan" (IJS), Center za mrećno infrastrukturo (CMI)
Predavatelji / Inštruktorji: Barbara Krašovec (CMI JSI), Dejan Lesjak (F9 JSI)

V tradicionalni varnostni arhitekturi delujemo znotraj dobro razumljenega okvira: poznamo temeljna načela – ničelno zaupanje, najmanjše privilegije, obramba v globino, ločitev dolžnosti, varnost že po zasnovi – in vemo, katere kontrole je treba uvesti, da jih izpolnimo. Skeniranje ranljivosti, segmentacija omrežja, nadzor dostopa – orodja so zrela in dobro preizkušena.

Sistemi umetne inteligence spreminjajo kontekst. Ista načela še vedno veljajo, vendar se številne znane kontrole ne prevajajo neposredno – skeniranje ranljivosti ne zazna zastrupljenega nabora podatkov, WAF pa ne ustavi takojšnjega vbrizgavanja. Pojavijo se nove površine za napad na ravni podatkov, modela in agenta, pojavljajo pa se tudi novi načini napak, ki jih tradicionalna varnostna orodja niso bila zgrajena za zaznavanje.

Ta delavnica obravnava, kaj je treba spremeniti za izgradnjo varnih procesov razvoja in uvajanje sistemov umetne inteligence: s katerimi grožnjami se dejansko soočamo, kje so naši obstoječi nadzorni mehanizmi pomanjkljivi, kaj si lahko sposodimo iz uveljavljenih okvirov, kot je OWASP Top 10 za aplikacije LLM, kako je mogoče te težave odkriti in kaj je treba dodati ali premisliti, da bi odpravili vrzel.

Glavne teme:

• Varnostna vprašanja pri razvoju LLM – tveganja, povezana s podatki (zastrupitev, uhajanje), tveganja, povezana z modeli (zadnja vrata, ekstrakcija, nasprotni vnosi) in tveganja, povezana z infrastrukturo v učnem procesu
• Varnostna vprašanja pri uvajanju sistemov in storitev umetne inteligence – napadi na ravni prompta (vbrizgavanje, prekinitev zapora), napadi na ravni sistema (nevarni API-ji, pretirana agencija) in napadi na dobavni verigi (ogroženi modeli, vtičniki, odvisnosti)
• OWASP Top 10 za aplikacije LLM – strukturiran pregled najpogostejših razredov ranljivosti v aplikacijah, ki temeljijo na LLM, in kako se preslikajo v resnične incidente
• Tehnike odkrivanja – praktični pristopi za prepoznavanje zastrupitve, zadnjih vrat, prompta in anomalnega vedenja modela/agenta ter kje avtomatizirana orodja še vedno ne uspevajo
• Operativna tveganja – zavrnitev storitve, vrzeli v spremljanju in opazovanju, napake v izolaciji več najemnikov
• Skladnost – regulativni in upravljavski vidiki za sisteme umetne inteligence, ki ravnajo z občutljivimi podatki

Kaj se boste naučili:

Do konca te delavnice bodo udeleženci znali:

• Pojasniti, zakaj standardni varnostni nadzor (skeniranje ranljivosti, WAF-i, tradicionalni Vrata SDLC) niso zadostna za sisteme umetne inteligence in opredelite, kje so potrebni novi nadzorni mehanizmi.
• Preslikati klasična varnostna načela (ničelno zaupanje, najmanj privilegijev, obramba v globino, ločitev dolžnosti, varnost že vgrajena) na specifične prakse pri razvoju in uvajanju umetne inteligence.
• Določiti glavne kategorije tveganj v celotnem življenjskem ciklu umetne inteligence: podatki, model, infrastruktura, raven prompta, raven sistema in dobavna veriga.
• Uporabiti OWASP Top 10 za aplikacije LLM kot referenčni okvir za oceno varnosti aplikacij umetne inteligence.
• Opisati praktične tehnike odkrivanja pogostih groženj, specifičnih za umetno inteligenco (zastrupitev, zadnja vrata, promptno vbrizgavanje, pretirana agencija).
• Prepoznati ključna operativna tveganja v produkcijskih sistemih umetne inteligence (DoS, vrzeli v spremljanju, izolacija več najemnikov) in kako jih obravnavati.
• Razumeti področje skladnosti, ki je pomembno za sisteme umetne inteligence, ter kako se to povezuje z varnostnimi zahtevami.

Izvajalec / Course provider: Jožef Stefan Institute (JSI), Network Infrastructure Centre (CMI)
Predavatelji / Instructors: Barbara Krašovec (CMI JSI), Dejan Lesjak (F9 JSI)

In traditional security architecture, we operate within a well-understood framework: we know the core principles — Zero Trust, Least Privilege, Defence in Depth, Segregation of Duties, Secure by Design — and we know which controls to put in place to satisfy them. Vulnerability scanning, network segmentation, access controls — the tools are mature and well-tested.

AI systems change the context. The same principles still apply, but many of the familiar controls don't translate directly — vulnerability scanning doesn't catch a poisoned dataset, and a WAF doesn't stop a prompt injection. New attack surfaces emerge at the data, model, and agent level, and new failure modes appear that traditional security tooling wasn't built to detect.

This workshop looks at what it takes to build secure development and deployment processes for AI systems: what threats we're actually facing, where our existing controls fall short, what we can borrow from established frameworks like the OWASP Top 10 for LLM Applications, how these issues can be detected, and what needs to be added or rethought to close the gap.

• Security issues in LLM development — data-related risks (poisoning, leakage), model-related risks (backdoors, extraction, adversarial inputs), and infrastructure-related risks in the training pipeline
• Security issues in deploying AI systems and services — prompt-level attacks (injection, jailbreaking), system-level attacks (insecure APIs, excessive agency), and supply chain attacks (compromised models, plugins, dependencies)
• OWASP Top 10 for LLM Applications — a structured walkthrough of the most common vulnerability classes in LLM-based applications and how they map to real-world incidents
• Detection techniques — practical approaches for identifying poisoning, backdoors, prompt injection, and anomalous model/agent behaviour, and where automated tooling still falls short
• Operational risks — denial of service, monitoring and observability gaps, multi-tenancy isolation failures
• Compliance — regulatory and governance considerations for AI systems handling sensitive data
  
  

• Explain why standard security controls (vulnerability scanning, WAFs, traditional SDLC gates) are insufficient for AI systems, and identify where new controls are needed.
• Map the classic security principles (Zero Trust, Least Privilege, Defence in Depth, Segregation of Duties, Secure by Design) to specific practices in AI development and deployment.
• Identify the main categories of risk across the AI lifecycle: data, model, infrastructure, prompt-level, system-level, and supply chain.
• Apply the OWASP Top 10 for LLM Applications as a reference framework for assessing AI application security.
• Describe practical detection techniques for common AI-specific threats (poisoning, backdoors, prompt injection, excessive agency).
• Recognise key operational risks in production AI systems (DoS, monitoring gaps, multi-tenancy isolation) and how to address them.
• Understand the compliance landscape relevant to AI systems and how it intersects with security requirements.