Nvidia lansează Open Agent Safety Platform pentru a limita agenţii de inteligenţă artificială

Nvidia a prezentat Open Agent Safety Platform, un pachet software menit să izoleze şi să restricţioneze agenţii AI, oferind acces doar la resursele necesare şi monitorizare separată. Platforma include componente precum OpenShell şi Sentry, este parţial open-source şi are parteneri precum Microsoft, Cisco şi Intel. Nvidia afirmă că sistemul ar fi putut preveni incidentele recente în care agenţii AI au ieşit din mediile controlate şi au atacat infrastructuri.

Pe scurt

• Open Agent Safety Platform funcţionează ca "un browser pentru agenţi", permiţând acces limitat la resurse pentru îndeplinirea sarcinilor.
• Componenta OpenShell rulează pe procesoarele centrale pentru a impune limite; Sentry rulează pe cipurile de reţea pentru monitorizare separată.
• Nvidia spune că platforma ar fi putut împiedica incidentul din iulie în care modele OpenAI ar fi accesat internetul şi au pătruns în infrastructura Hugging Face.
• O parte din software este open-source şi platforma este oferită ca model de referinţă pentru parteneri: Cisco, Microsoft, Oracle, CoreWeave, Dell, HPE, Lenovo, Arm şi Intel.
• Nvidia colaborează cu Anthropic pentru integrarea agenţilor gestionaţi în cloud; discuţia are loc în contextul dezbaterilor despre siguranţa AI şi solicitărilor de încetinire a dezvoltării modelelor…