Kibernetinio saugumo centras

Kibernetinis saugumas ir ateities architektūra

Dirbtinis intelektas sparčiai keičia IT sritį. Nors daugelis organizacijų daugiausia dėmesio skiria produktyvumo didinimui ir rankinio darbo atsisakymui, fone vyksta fundamentalesnė transformacija: asimetrinės lenktynės su laiku kibernetinio saugumo srityje.

Skubos poreikis akivaizdus: organizacijos, kurios nepritaikys savo saugumo ir architektūros prie šio tempo, dėl kibernetinių incidentų arba negalėjimo apsidrausti bus išstumtos iš rinkos. Norėdami suprasti ir suvaldyti šią transformaciją, turime pažvelgti į tris vienas po kitos einančias dirbtinio intelekto saugumo problematikos bangas ir architektūrą, būtiną siekiant išlikti.

Trys dirbtinio intelekto saugumo transformacijos bangos

3 waves of cybercrime

1-oji banga: techninės kodo spragos (2025–2027 m.)

  • Problema: Dabartinį duomenų nutekėjimų ir įsilaužimų proveržį lemia istorinis atsilikimo mažinimas. DI įrankiai peržiūri dešimtmečius žmonių rašyto pasenusio kodo. Klasikines klaidas, tokias kaip SQL injekcijos, atminties nutekėjimai ir pasenusios bibliotekos, užpuolikai randa dideliu mastu.

  • Dinamika: Šis etapas susijęs su principu „Shift-Left“ ir automatine kodo higiena. Įmonės, kurios išvalo savo kūrimo ir diegimo grandines bei aprūpina jas automatiniais testais ir pataisomis, gali greitai padaryti savo tradicines kodų bazes saugesnes nei bet kada anksčiau.

  • Sprendimas: Nuolatinis automatinis pataisų diegimas ir kodo valymas. CI/CD kūrimo ir diegimo grandinės aprūpinamos DI apsaugos vartais, kurie nuolat tikrina kodų bazes, automatiškai generuoja pataisas ir jas įdiegia tik sėkmingai atlikus integracinius testus.

2-oji banga: verslo logikos išnaudojimas (2026–2028 m.)

  • Problema: Kai techninės sistemos durys jau užvertos, kova persikelia į funkcinę logiką. API gali būti techniškai 100 % saugiai suprogramuota – joje nėra SQL injekcijų ar buferio perpildymo pažeidžiamumų, tačiau jei naudotojas arba scenarijus, atlikdamas veiksmus tam tikra seka, pavyzdžiui, pasinaudodamas nuolaidų lenktyninėmis sąlygomis, manipuliuodamas BOLA arba praleisdamas proceso etapus, gali paveikti sistemą, atsiranda tiesioginė finansinė žala.

  • Dinamika: Užpuolikai nebeįsilaužia į sistemą – jie priverčia ją veikti taip, kad organizacija patirtų išlaidų. Dėl to maržos nuolat ir nepastebimai mažėja.

  • Sprendimas: Formalus tikrinimas ir griežtos būsenų mašinos (FSM).

    • Baigtinės būsenų mašinos (FSM): Verslo procesai neaprašomi kaip atskiri API galiniai taškai, o matematiškai modeliuojami kaip baigtinė būsenų mašina. Sistema gali pereiti tik iš būsenos A (CART_CREATED) į būseną B (PAYMENT_PENDING) ir C (ORDER_COMPLETED). Manipuliuoti veiksmais ar praleisti etapus serverio lygmeniu techniškai neįmanoma.

    • Idempotentiškumas ir atominės transakcijos: Veiksmai paverčiami idempotentiniais ir apdorojami taikant griežtus duomenų bazių izoliacijos lygius. Varžymosi sąlygos (kelių užklausų siuntimas vienu metu siekiant sukaupti nuolaidas) duomenų bazės lygmeniu automatiškai blokuojamas arba nukreipiamas į eilę.

    • Formalusis tikrinimas pasitelkiant DI: DI agentai įtraukiami į kūrimo konvejerį, kad matematinio tikrinimo būdu įrodytų būtų įrodyta, jog programinė įranga gali pasiekti tik numatytas logines būsenas dar prieš perkeliant kodą į gamybinę aplinką.

3-ioji banga: dirbtinio intelekto agentų ir sprendimų priėmimo manipuliavimas (2027–2030 m. ir vėliau)

  • Problema: Tokiame visiškai agentinis pasaulyje autonominiai DI agentai bendradarbiauja ir priima sprendimus remdamiesi išorinio pasaulio duomenimis (el. laiškais, sąskaitomis faktūromis, dokumentais). Šiame etape užpuolikai daugiausia taikosi į Netiesioginis raginimo įterpimas, Duomenų nuodijimas ir perimti agentų tikslus.

  • Dinamika: Šaltinio kodas ir logika yra teisingi, tačiau AI agentą suklaidina jo skaitomas kontekstas. Klausimas keičiasi iš „ar kodas yra saugus?“ į „ar agento sprendimų priėmimas yra patikimas?“.

  • Sprendimas: 3 sluoksnių A2A komunikacijos modelis (agentas–agentas).

3-iosios bangos architektūrinis sprendimas: 3 sluoksnių A2A modelis

Norint suteikti AI agentams galimybę lanksčiai derėtis dėl sudėtingų situacijų ir išskirtinių atvejų, nesukeliant organizacijai 3-osios bangos rizikos, būtina daugiasluoksnė komunikacijos architektūra. Pagrindinis principas paprastas: deramasi laisva kalba, tačiau vykdoma pagal formalų susitarimą.

A2A architecture

Trys A2A architektūros sluoksniai:

1 sluoksnis: laisvų derybų sluoksnis (raiška ir kūrybiškumas)

Šiame sluoksnyje agentai keičiasi išsamiu kontekstu, kad išnagrinėtų sudėtingus klausimus, kainas ir sąlygas.

  • Rizika: Tai pažeidžiamiausias sluoksnis, kuriam kyla poveikio, raginimų įterpimo ir manipuliavimo grėsmė.

  • Apsaugos užtikrinimas: Šiame sluoksnyje agentams leidžiama jokių tiesioginių veiksmų vykdyti gamybinėje infrastruktūroje. Tai izoliuota smėlio dėžė. Be to, šį sluoksnį stebime naudodami Kognityvinis užklausų dažnio ribojimas (užkertant kelią agentui neribotai išbandyti parametrus) ir Kryžminis modelių tikrinimas (antras, kitaip išmokytas dirbtinio intelekto modelis įvertina derybų rezultatą dėl manipuliavimo požymių).

2 sluoksnis: formalizavimo ir ketinimų sluoksnis (teisinis užtikrinimas)

Kai 1-ojo sluoksnio agentai pasiekia susitarimą dėl sprendimo ar sandorio, rezultatas pašalinamas iš visos laisvos kalbos ir pasakojamojo turinio.

  • Apsaugos užtikrinimas: Rezultatas paverčiamas formalia struktūrizuota sutartimi (naudojant Domenui specifinė kalba arba iš anksto nustatytą JSON schemą). Joje aiškiai apibrėžiami įsipareigojimai, ribos ir sąlygos. Šis sluoksnis veikia kaip skaitmeninis „notaras“, tikrinantis, ar pasiūlymas atitinka iš anksto nustatytas organizacijos veiklos taisykles.

3 sluoksnis: deterministinis vykdymo sluoksnis (nepajudinamas pagrindas)

Tai lygmuo, kuriame įvykdoma faktinė operacija arba atliekamas sistemos pakeitimas. Čia dirbtinio intelekto agentai jau nebesikalba tarpusavyje – griežtai matematinės sistemos komunikuoja naudodamos kontroliuojamą 2-ojo etapo logiką.

  • Apsaugos užtikrinimas:

    • Kriptografinis tikrinimas: Sistemų pranešimai apsaugomi naudojant Abipusis TLS (mTLS), jiems suteikiami unikalūs nonce'ai (siekiant išvengti pakartotinio atkūrimo atakų) ir jie pasirašomi kriptografiniais raktais.

    • Deterministinės sąsajos: API sąsajos tikrina, nepasitelkdamos dirbtinio intelekto, ar užklausa neviršija griežtų ribų, pavyzdžiui, didžiausios operacijos sumos.

Naujas žmogaus eksperto vaidmuo

Šis daugiasluoksnis požiūris rodo, kad žmogaus specialistų vaidmuo neišnyksta, o persikelia į sistemos veikimo ribas:

  • Pirkėjas kuria strategijas, parametrus ir ribas, kurių laikydamasis 1-ojo sluoksnio agentas gali derėtis.

  • Teisininkas kuria 2-ojo sluoksnio šablonus, ontologijas ir formaliosios logikos sistemas.

  • Saugumo architektas kuria deterministinę prižiūrimą vykdymo aplinką 3-ajame sluoksnyje ir užtikrina 2-osios bangos FSM logikos įgyvendinimą.

Griežtai atskirdami „mąstymo ir derybų etapą“ nuo „vykdymo etapo“, išlaikome dirbtinio intelekto agentų lankstumą, kartu užtikrindami, kad veiklos kontrolė ir toliau visiškai priklausytų organizacijai.

Reikia pagalbos pereinant prie dirbtiniu intelektu grindžiamo kibernetinio saugumo ir automatizavimo? Susisiekite kontaktas šiandien

Gerardas

Gerardas dirba dirbtinio intelekto konsultantu ir vadovu. Turėdamas daug patirties didelėse organizacijose, jis ypač greitai gali išanalizuoti problemą ir rasti sprendimą. Ekonomikos išsilavinimas padeda jam priimti verslo požiūriu pagrįstus sprendimus.