Center za kibernetsko varnost

Kibernetska varnost in arhitektura prihodnosti

Umetna inteligenca z izjemno hitrostjo spreminja področje IT. Medtem ko se številne organizacije osredotočajo na povečanje produktivnosti in odpravo ročnega dela, v ozadju poteka temeljitejša preobrazba: asimetrična tekma s časom na področju kibernetske varnosti.

Nujnost je očitna: organizacije, ki svoje varnosti in arhitekture ne prilagodijo temu tempu, bodo zaradi kibernetskih incidentov ali nezmožnosti pridobitve zavarovanja izrinjene s trga. Za razumevanje in obvladovanje te preobrazbe moramo preučiti tri zaporedne valove izziva varnosti umetne inteligence – ter arhitekturo, potrebno za obstanek.

Trije valovi preobrazbe varnosti umetne inteligence

3 waves of cybercrime

1. val: Tehnične ranljivosti v kodi (2025–2027)

  • Težava: Sedanji izbruh uhajanja podatkov in vdorov je posledica zgodovinskega dohitevanja. Orodja umetne inteligence prečesavajo desetletja zapuščene kode, ki so jo napisali ljudje. Napadalci v velikem obsegu odkrivajo klasične napake, kot so vbrizgavanje SQL, uhajanje pomnilnika in zastarele knjižnice.

  • Dinamika: Ta faza temelji na pristopu »Shift-Left« in samodejni higieni kode. Podjetja, ki svoje cevovode temeljito očistijo ter jih opremijo s samodejnim testiranjem in popravki, lahko svoje tradicionalne zbirke kode hitro naredijo varnejše kot kdaj koli prej.

  • Rešitev: Neprekinjeno samodejno popravljanje in čiščenje kode. cevovodi CI/CD opremijo se z vratarji umetne inteligence, ki neprekinjeno pregledujejo zbirke kode, samodejno ustvarjajo popravke in jih uvajajo po uspešno opravljenih integracijskih testih.

2. val: Zloraba poslovne logike (2026–2028)

  • Težava: Ko so tehnične vstopne točke zaščitene, se boj preseli na področje funkcionalne logike. API je lahko tehnično 100-odstotno varno programiran (brez vbrizgavanja SQL ali prekoračitev medpomnilnika), vendar lahko uporabnik ali skript s točno določenim zaporedjem dejanj (na primer z izkoriščanjem tekmovalnih pogojev pri popustih, manipulacijami BOLA ali preskakovanjem korakov v procesu) vpliva na sistem, kar povzroči neposredno finančno škodo.

  • Dinamika: Napadalci sistema ne zlomijo več; povzročijo, da sistem deluje na način, ki organizacijo stane denarja. To vodi v nenehno, nevidno erozijo marž.

  • Rešitev: Formalno preverjanje in strogi končni avtomati (FSM).

    • Končni avtomati stanj (FSM): Bedriftski procesi niso zapisani kot ločene končne točke API, temveč so matematično modelirani kot končni avtomat stanj. Sistem lahko preide le iz stanja A (CART_CREATED) v stanje B (PAYMENT_PENDING) in C (ORDER_COMPLETED). Manipuliranje korakov ali njihovo preskakovanje je na strežniški ravni tehnično onemogočeno.

    • Idempotentnost in atomske transakcije: Dejanja so idempotentna in se obdelujejo z uporabo strogih ravni izolacije v podatkovnih bazah. Tekmovalni pogoji (več zahtev, poslanih hkrati za kopičenje popustov) se na ravni podatkovne baze samodejno blokira ali uvrsti v čakalno vrsto.

    • Formalno preverjanje z umetno inteligenco: Agenti umetne inteligence se vgradijo v razvojni cevovod, da z matematičnim preverjanjem dokažejo dokažejo, da lahko programska oprema zavzame le predvidena logična stanja, še preden je koda uvedena v produkcijo.

3. val: Manipulacija agentov umetne inteligence in odločanja (2027–2030+)

  • Težava: V popolnoma agentski svetu avtonomni agenti umetne inteligence sodelujejo in sprejemajo odločitve na podlagi podatkov iz zunanjega sveta (e-pošta, računi, dokumenti). Napadalci se v tej fazi osredotočajo na Posredna vbrizgavanja pozivov, Zastrupljanje podatkov in prevzemanje ciljev agentov.

  • Dinamika: Izvorna koda in logika sta pravilni, vendar AI-agenta zavede kontekst, ki ga bere. Vprašanje se premakne z »ali je koda varna?« na »ali je odločanje agenta zanesljivo?«.

  • Rešitev: 3-slojni komunikacijski model A2A (agent-agent).

Arhitekturna rešitev za 3. val: 3-slojni model A2A

Da bi se lahko AI-agenti prožno pogajali o zapletenih situacijah in robnih primerih, ne da bi organizacijo izpostavili tveganjem 3. vala, je potrebna večslojna komunikacijska arhitektura. Načelo je preprosto: pogajanja potekajo v naravnem jeziku, izvajanje pa prek formalne pogodbe.

A2A architecture

Tri plasti arhitekture A2A:

1. plast: Plast svobodnega pogajanja (izražanje in ustvarjalnost)

Na tej ravni agenti med seboj izmenjujejo bogat kontekst, da preučijo zapletena vprašanja, cene in okvirne pogoje.

  • Tveganje: To je najbolj ranljiva plast za vplivanje, vbrizgavanje pozivov in manipulacijo.

  • Zaščita: Na tej ravni agenti smejo nobenega neposrednega dejanja izvesti v produkcijski infrastrukturi. Gre za izolirano peskovniško okolje. Poleg tega ta sloj nadzorujemo z Kognitivno omejevanje hitrosti (s čimer preprečimo, da bi agent neomejeno preizkušal parametre) in Navzkrižno preverjanje modelov (drugi, drugače usposobljen model umetne inteligence oceni pogajalski rezultat glede morebitne manipulacije).

2. plast: Plast formalizacije in namena (pravno jamstvo)

Takoj ko se agenti v 1. sloju dogovorijo o rešitvi ali transakciji, se izid očisti vsega prostega jezika in pripovednega besedila.

  • Zaščita: Rezultat se pretvori v formalno, strukturirano pogodbo (prek Domensko specifični jezik ali vnaprej določenega JSON-shema). V njej so izrecno opredeljene obveznosti, omejitve in pogoji. Ta sloj deluje kot digitalni »notar«, ki preveri, ali predlog izpolnjuje vnaprej določene poslovne okvire.

3. plast: Deterministična izvedbena plast (neomajna osnova)

To je raven, na kateri se izvede dejanska transakcija ali sprememba sistema. Tu se ne pogovarjajo več agenti umetne inteligence, temveč strogi matematični sistemi komunicirajo prek nadzorovane logike iz 2. vala.

  • Zaščita:

    • Kriptografsko preverjanje: Sporočila med sistemi so zaščitena z uporabo vzajemni TLS (mTLS), opremljena z edinstvenimi nonce (za preprečevanje napadov s ponovnim predvajanjem) in podpisana s kriptografskimi ključi.

    • Deterministični prehodi: Prehodi API brez posredovanja umetne inteligence preverijo, ali zahteva spada v stroge omejitve, na primer v največji dovoljeni znesek transakcije.

Nova vloga človeških strokovnjakov

Ta večplastni pristop kaže, da vloga človeških strokovnjakov ne izgine, temveč se premakne v okvirje sistema:

  • Nabavni strokovnjak oblikuje strategije, parametre in meje, znotraj katerih se lahko agent v 1. plasti pogaja.

  • Pravni strokovnjak oblikuje predloge, ontologije ter formalno-logične okvire za 2. plast.

  • Varnostni arhitekt vzpostavi deterministično nadzorovano izvajalno okolje v 3. plasti in zagotovi logiko končnega avtomata iz 2. izziva.

Z doslednim ločevanjem »faze razmišljanja in pogajanja« od »faze izvajanja« ohranjamo prilagodljivost agentov umetne inteligence, hkrati pa nadzor nad poslovanjem ostaja v celoti v rokah organizacije.

Potrebujete pomoč pri preobrazbi v kibernetsko varnost in avtomatizacijo, ki ju poganja umetna inteligenca? Še danes stopite stik v stik

Gerard

Gerard deluje kot svetovalec za umetno inteligenco in vodja. Z bogatimi izkušnjami v velikih organizacijah lahko izjemno hitro razčleni problem in začne iskati rešitev. V kombinaciji z ekonomskim ozadjem skrbi za poslovno utemeljene odločitve.