Az összes mesterségesintelligencia-alkalmazás átvizsgálása során, amelyeket különböző iparágakban végeztem, egy minta tűnik ki: a szervezetek rossz helyen keresik a kockázatot. Figyelmük általában magára a modellre összpontosul – beleértve a tanítási adatokat, a biztonsági mechanizmusokat és a viselkedést. A gyakorlatban azonban ritkán ott következnek be a hibák.
A legsúlyosabb sebezhetőségek közül sok a körülvevő rendszerben jelenik meg – abban, ahogyan a promptok felépülnek, ahogyan a külső adatok forrásait kezelik és megbízhatónak minősítik, hogy a modell mihez férhet hozzá, és milyen identitások alatt működik. Ez az a pont, ahol a mesterségesintelligencia-rendszerek a leggyakrabban ki vannak téve a kockázatnak: az összetevők közötti illesztési pontokon, ahol az irányítás általában a leggyengébb.
A mélyebb probléma az elvárások és a valóság közötti szakadék. A szervezetek egy bizonyos típusú meghibásodásra számítanak, de az éles rendszerek egészen másképpen mondanak csődöt. A kockázat éppen ebből az eltérésből fakad – olyan feltételezésekből, amelyek nem állják meg a helyüket a méretezhetőség, az autonómia vagy az integráció próbájával szemben.
Ugyanazok a tévhitek a mesterséges intelligencia biztonságossá tételéről újra és újra felbukkannak. Érdemes megvizsgálni azt az ötöt, amelyek a leginkább számítanak.
1. tévhit: Ha a modell biztonságos, a rendszer is biztonságos
Ez a leggyakoribb hiba, amellyel találkozom, és könnyű elkövetni. A modell újszerűnek hat, ezért a csapatok a korlátokra és a tesztelésre összpontosítanak, majd feltételezik, hogy a munkájuk kész.
Ezek a rendszerek azonban nem így mondanak csődöt. A modell csupán egy alkotóeleme egy sokkal nagyobb infrastruktúrának, és a legtöbb hiba ott következik be, ahol az adatokhoz, eszközökhöz és egyéb rendszerekhez kapcsolódik. Kizárólag a modellre összpontosítani olyan, mintha egy magas biztonsági fokozatú ajtót szerelnénk be egy falak nélküli épületbe.
Hogyan orvosoljuk: Egy mesterségesintelligencia-rendszer védelme érdekében tekintse a teljes környezetet támadási felületként. Térképezze fel a teljes adatfolyamot – a bemenetektől a visszakeresésig és a memóriáig, valamint az eszközöktől a kimenetekig –, és kezelje a promptokat, az ágenseket, a vektortárakat, az identitásokat és a csatlakozókat saját eszközökként, egyértelmű ellenőrzési pontokkal, elszámoltathatósággal és szabályzattal, ahogyan azt bármely más kritikus rendszernél tenné.
2. tévhit: A prompt injection csupán egy újabb bemeneti probléma
A webes háttérrel rendelkező biztonsági csapatok új problémával szembesülve gyakran ismert eszközökhöz nyúlnak. A mesterséges intelligencia biztonságossá tétele terén azonban ez az ösztön rossz irányba vezetheti őket.
A prompt injection hasonlít az SQL-injektálásra – ahol a rendszerek a rosszindulatú bemenetet parancsként értelmezik –, de viselkedése lényegesen eltér attól. A hagyományos szoftverek egyértelmű szétválasztást tudnak érvényesíteni az utasítások és az adatok között. A nagy nyelvi modellek ezt nem képesek megbízhatóan megtenni. Az utasításokat és az adatokat egyazon szöveges adatfolyamként dolgozzák fel, és valószínűségi alapon döntenek arról, melyik melyik.
Az Egyesült Királyság Nemzeti Kiberbiztonsági Központja (NCSC) ebben a kérdésben egyértelmű: a prompt injection szerkezetileg különbözik az SQL-injektálástól, és eltérő megközelítést igényel.
Hogyan orvosoljuk: A szűrők és detektorok segítenek, de önmagukban nem oldják meg a problémát. A leghatékonyabb védelmi intézkedések architekturális jellegűek. Korlátozza az eszközökhöz való hozzáférést, érvényesítse a minimális jogosultság elvét, szigetelje el a nem megbízható tartalmakat, és determinisztikusan ellenőrizze az eszközhívásokat és paramétereiket. Érzékeny műveleteknél követeljen meg kifejezett jóváhagyást, futtasson homokozóban, és végezzen agresszív monitorozást. Ezek az intézkedések csökkentik a kompromittálás valószínűségét és hatását egyaránt, de nem szüntetik meg teljesen a kockázatot. Ha a maradványkockázat elfogadhatatlan marad, az adott felhasználási eset nem alkalmas nagy nyelvi modellel való megvalósításra.
3. tévhit: A mesterséges intelligencia kimenetei csupán szövegek – nem jelentenek valódi kockázatot
A korai mesterségesintelligencia-alkalmazások az autonómiát jutalmazták. Ez a szemlélet olyan éles környezetekbe is bekerült, ahol nincs helye.
A mesterséges intelligencia kimenetei ártalmatlan szövegnek tűnhetnek, de ritkán maradnak azok. Abban a pillanatban, amikor átadják őket egy másik rendszernek, valós műveletekhez vezethetnek – e-mailek küldéséhez, adatbázisok lekérdezéséhez, kód végrehajtásához vagy rekordok törléséhez. Ebben a kontextusban egy sikeres prompt injection örökli mindazt, amire a rendszer képes.
Ez az a pont, ahol a kockázat valóságossá válik: a rendszer képességei az támadó képességeivé válnak.
Az Open Web Application Security Project a túlzott cselekvési autonómiát az agentikus mesterséges intelligencia egyik legsúlyosabb kockázataként azonosítja, míg az NCSC rámutat, hogy pontosan itt szűnik meg a prompt injection kellemetlenség lenni, és válik biztonsági incidenssé.
Hogyan orvosoljuk: A megoldás egyszerű: korlátozza, hogy a rendszer mit tehet, alkalmazza a minimális jogosultság elvét, és kezelje a modell kimenetét megbízhatatlanként mindaddig, amíg az nem megy át a determinisztikus ellenőrzésen a végrehajtási határon. Ez nem teszi ártalmatlanná a kompromittált ágenst, de érdemben csökkenti a kár mértékét.
4. tévhit: A külső adatok felhasználása megbízhatóbbá és biztonságosabbá teszi a mesterséges intelligenciát
A visszakereséssel augmentált generálás (RAG), ahol a modellek külső adatokat vonnak be, javítja a pontosságot, de nem teszi biztonságosabbá a rendszereket. A USENIX által publikált kutatás kimutatta, hogy a tudásbázis néhány bejegyzésének megrongálása elegendő ahhoz, hogy a RAG kimeneteit nagyvállalati szinten megbízhatóan manipulálják.
Minden csatlakoztatott adatforrás potenciális belépési ponttá válik. Ha ezek az adatok megbízhatatlanok, elavultak vagy manipuláltak, nehezen észlelhető módon befolyásolhatják a modell kimenetét.
Hogyan orvosoljuk: Ez egyszerre modellprobléma, valamint adat- és ellátásilánc-probléma. Kezelje a külső forrásokat irányítást igénylő függőségekként. Alkalmazzon ellenőrzéseket a proveniencia, az érvényesítés, az írási hozzáférés, a betöltési szkennelés, a verziókezelés, a forrásszétválasztás és a változáskezelés terén.
5. tévhit: A felügyelt mesterséges intelligencia azt jelenti, hogy a biztonságról a szolgáltató gondoskodik
Sokan összekeverik a felügyelt szolgáltatásokat a kiszervezett biztonsággal. A valóságban a felelősség megosztott, az ügyfelek biztonsági kötelezettségei azonban továbbra is jelentősek.
A szolgáltató magát a szolgáltatást védi. Ön felelős mindenért, ami körülveszi azt: milyen adatok kerülnek be, kinek van hozzáférése, mit tehet a modell, és hogyan használják fel a kimeneteket.
Hogyan orvosoljuk: Legyen egyértelmű abban, hogy mi az Ön felelőssége, térképezze fel pontosan a megosztott felelősséget, és ne feltételezze, hogy valami azért biztonságos, mert felügyelt. Vizsgálja felül a szolgáltató ellenőrzési mechanizmusait, majd saját maga zárja be a réseket az identitáskezelés, az adatkezelés, a konfiguráció, a monitorozás és az integrációs biztonság terén.
Aminek minden bevezetésben meg kell lennie
Az általam értékelt szervezetek többsége fel tudja sorolni a bevezetett mesterséges intelligenciát. Lényegesen kevesebben tudják megmondani, ki a felelőse, milyen adatokat érint, mire képes, vagy mi történik, ha meghibásodik. Ez irányítási problémára utal.
Az alapok nem különösebben bonyolultak – csupán egyenetlenül alkalmazzák őket.
Legalább a következőkkel kell rendelkeznie:
- Egyértelmű, vezető szintű jóváhagyással rendelkező mesterségesintelligencia-biztonsági pozíció és meghatározott kockázatvállalási hajlandóság, amelyek összhangban vannak az adott felhasználási esetekkel és adattípusokkal
- Teljes leltár a mesterségesintelligencia-eszközeiről (modellek, promptok, ágensek, adatkészletek, vektortárak, csatlakozók, szolgáltatási fiókok és bővítmények) megnevezett tulajdonosokkal
- Fenyegetési modellek, amelyek meghatározzák a bizalmi határokat és érvényesítik a szabályzatot kiszámítható ellenőrzési pontokon
- Erős integritásvédelmi intézkedések az ellátási lánc és az adatcsővezeték egészére kiterjedően, beleértve a provenienciát, az aláírást, a szkennelést, a lineázst, a verziókezelést és where appropriate, a kezelt regisztreket
- Minimális jogosultságú eszközhozzáférés az ágensek számára, emberi felügyelettel a nagy hatású műveletek esetén
- Érvényesítési rétegek a kimeneteken, mielőtt bármit végrehajtanak, rögzítenek vagy a felhasználók elé tárnak
- Folyamatos értékelés és monitorozás, beépítve a változáskezelésbe
- Incidenskezelési útmutatók, amelyeket a gyakorlatban teszteltek, beleértve az elszigetelési, biztonságos leállítási és visszaállítási forgatókönyveket
Ha ezeket bevezeti, ugyanolyan mérnöki fegyelmet alkalmaz, amelyet bármely kritikus rendszertől elvárnak.
A mesterséges intelligencia biztonságának lényege
A mesterséges intelligencia biztonsága túlmutat pusztán a rendszerek vagy modellek védelmén. Ismerje fel ezt időben, és előnybe kerül azokkal szemben, akik ezt csak egy incidens után tanulják meg.
Ez nem egyszeri feladat. A mesterségesintelligencia-rendszerek folyamatosan fejlődnek, és a biztonságnak lépést kell tartania velük. Ez folyamatos tesztelést jelent, beleértve a red teamingot – a rendszer szándékos feltörésének kísérletét a gyengeségek megértése érdekében.
Ha pedig nem tudja egyértelműen felmérni kitettségét a modellek, integrációk, adatcsővezetékek és ágensek tekintetében, ez a bizonytalanság maga is a kockázat részét képezi.
OLVASSA EL → Felkészülve, rajt: Hogyan építsünk biztonságos hálózati infrastruktúrát a sikerhez