Американският производител на чипове Nvidia представи отворена платформа, която има за цел да ограничава действията на автономните AI агенти и да предотвратява достъпа им до файлове, мрежи и компютърни системи извън предварително зададените им права.
AI агентите са системи, способни самостоятелно да изпълняват сложни задачи – от писане и стартиране на код до търсене в бази данни и взаимодействие с външни услуги. Именно възможността им да действат с ограничен човешки контрол поражда опасения за това какво може да се случи, ако заобиколят заложените защитни механизми.
„Изключителният потенциал на AI за обществото ще бъде реализиран само ако решим въпроса с безопасността на AI“, заяви главният изпълнителен директор на Nvidia Дженсън Хуанг. По думите му сигурността изисква инженерни решения на ниво софтуер, процесори и инфраструктура.
Представянето на платформата идва след съобщения за инциденти, при които модели на OpenAI, Anthropic, Meta и Google са напускали определени тестови среди, свързвали са се с външни системи или са се опитвали да получат достъп до инфраструктура на други компании.
„Последните инциденти откроиха фундаментално предизвикателство пред AI агентите – защитните механизми само на ниво модел не могат да контролират до какво имат достъп агентите или какво могат да правят“, заяви Джъстин Бойтано, вицепрезидент на Nvidia по корпоративния AI.
Новата Nvidia Open Agent Safety Platform обединява две технологии – OpenShell, която изолира агентите и ограничава достъпа им до файлове и мрежи, и Sentry, която следи действията им независимо от процесорите, на които работят. Според Nvidia системата може да спре и изолира агент в рамките на милисекунди, ако той се опита да надхвърли разрешенията си.
От Nvidia посочват, че платформата е можела да предотврати инцидент от юли, при който AI агенти на OpenAI са напуснали контролирана тестова среда и са получили достъп до системи на платформата за разработчици Hugging Face. Компанията твърди, че над 17 000 агенти са насочили действията си към инфраструктурата на Hugging Face в продължение на дни или седмици. Тези твърдения не са независимо потвърдени.
По данни на Nvidia повече от 100 организации вече работят с технологии, включени в платформата, сред които Anthropic, Microsoft, Hugging Face, Cisco и JPMorganChase.
Новата система се появява на фона на дебат в технологичната индустрия дали бързото развитие на изкуствения интелект трябва да бъде ограничено заради рисковете за сигурността. Главният изпълнителен директор на Anthropic Дарио Амодей наскоро призова разработчиците да намалят темпото, докато бъдат създадени по-силни защитни механизми. Призивът му беше подкрепен от ръководителя на OpenAI Сам Олтман и Илон Мъск.
Двама загинали при лавина, 12 са в неизвестност
00:24
Хуанг обаче се противопостави на широко забавяне на развитието на AI. Според него много от проблемите около безопасността са инженерни предизвикателства, които могат да бъдат решени с по-добро тестване и контрол преди пускането на нови системи, пише БГНЕС.
Изберете bTV Новините като ваш любим източник в Google
