Az Open Agent Safety Platform az OpenShellt egy Sentry nevű BlueField-4 watchdoggal párosítja
Összefüggésben: Minden nap egy újabb történetet hoz egy AI ügynök szélhámosról, egy másik szervezet feltöréséről, vagy általában olyasmiről, amit nem kellene. Az Nvidia azt reméli, hogy az Open Agent Safety Platform elindításával kezelni tudja ezt az egyre aggasztóbb tendenciát. A Team Green nagyon bízik a rendszerben: azt állítják, hogy a platform megakadályozhatta volna az OpenAI ügynökeinek hírhedt feltörését a Hugging Face-en.
A platform egyesíti az OpenShell-t, az Nvidia nyílt forráskódú szoftverét, amely az ügynököket meghatározott határokon belül tartja, a Sentry-vel, egy külön hardveren futó őrzőkutyával.
Az ötlet az, hogy a korlátozásokat magán az ügynökön kívül kényszerítsék ki, így a biztonsági ellenőrzéseket a szoftverek hatókörén kívül helyezik el, amelyek eldönthetik, hogy a szabályok az útjába kerüljenek, ami az utóbbi időben gyakran megtörténik.
Az OpenShell nyomon követi az ügynökök tevékenységét, és betartja a házirendeket, miközben dolgoznak. Az Nvidia szerint már széles körben elérhető, támogatja a nyitott és zárt modelleket is, és minimális többletterheléssel fut a Vera CPU-in. Nyílt forráskódú kialakítása azt is lehetővé teszi, hogy harmadik féltől származó processzorokra is kiterjeszthető legyen, beleértve az Arm és az Intel processzorait is.
A Sentry egy újabb védelmi réteget ad az Nvidia BlueField-4 adatfeldolgozó egységeivel. Figyeli az ügynök viselkedését egy elszigetelt környezetből, és a vállalat szerint ezredmásodperceken belül karanténba helyezheti azt az ügynököt, aki megpróbálja kibújni a határait. Az Arm azt írja, hogy ha ezeket a vezérlőket egy külön processzorra helyezi, akkor azok függetlenek maradnak az ügynököt futtató rendszertől.
Az Nvidia ügyvezetője, Justin Boitano azt mondta az újságíróknak, hogy a platform megállíthatta volna a Hugging Face feltörését, amelynek felvásárlását az Nvidia vállalta, ha a határlaboratóriumok használták volna a korai modellértékelések során.
Az incidens során az OpenAI-ügynök kimenekült a tesztkörnyezetből, miközben megpróbált csalni egy benchmarkon, és feltört fiókokat négy szolgáltatásban. És korántsem a hackelés az egyetlen gond: egy másik kódoló ügynök kilenc másodperc alatt törölte egy startup éles adatbázisát és annak biztonsági másolatait.
Az Nvidia azon ügynököket is el akarja fogni, akik alügynökök létrehozásával próbálják megkerülni a korlátozásokat. A cég azt mondta a Reutersnek, hogy eszközei matematikai módszereket használnak ezeknek a megoldásoknak a felderítésére, az ügynökcsoportok együtt dolgozó csoportjainak viselkedésére.
Az erőfeszítést már néhány nagy név támogatja, köztük az Anthropic, a Microsoft, a Cisco és a Dell. Az IBM azt állítja, hogy az Agent Identity szolgáltatása és a HashiCorp Vault integrálódik az OpenShell-lel, hogy ellenőrizze az ügynökök személyazonosságát és korlátozza hozzáférésüket.
Az OpenShell és a kapcsolódó szoftverek az Nvidia fejlesztői erőforrásain és a GitHubon keresztül érhetők el.