Gemini на Google самостоятелно хакна три компании

Моделът с изкуствен интелект Gemini на Google е получил достъп до интернет и е проникнал в системите на други компании по време на тест на възможностите му в областта на киберсигурността.

Това е първият известен случай, при който система с изкуствен интелект на компанията самостоятелно извършва подобно действие.

Пробивите са станали през май по време на тест за киберсигурност, проведен от независимата компания Irregular, която извършва оценки на сигурността на AI системи.

Gemini е получил достъп до три сайта

При стандартната оценка Gemini е открил публично достъпна информация в интернет и е отгатнал идентификационни данни, с които е получил достъп до три уебсайта, за които моделът е смятал, че попадат в обхвата на теста. Това заяви Хедър Адкинс, вицепрезидент на Google по инженеринг на сигурността.

„Погрижихме се трите засегнати организации да бъдат уведомени и работихме с партньора ни по обучението по промените, които той вече направи в процесите си за тестване“, каза Адкинс. „Тези събития подчертават колко е важно мощните AI модели да бъдат обучавани да действат отговорно.“

Говорител на Irregular заяви, че инцидентът е свързан със същия проблем, който е засегнал и други лаборатории за изкуствен интелект, като всички засегнати лаборатории са били уведомени в края на юли.

„Всички известни проблеми от наша страна бяха отстранени и разрешени преди седмици“, заяви говорителят.

Подобни случаи са установени и при други AI компании

За сходни инциденти, свързани с Irregular, съобщиха Meta, Anthropic и OpenAI. През август Meta заяви, че инцидентът при нея не е включвал излизане извън изолираната тестова среда („sandbox“) или сложна кибератака. От Irregular от своя страна посочиха, че работят върху добри практики за сигурно провеждане на тестове на възможностите на изкуствения интелект в областта на киберсигурността.

Случаите повдигат въпроси за необходимите защитни механизми, тъй като AI агентите получават все по-голяма автономност и достъп до интернет и компютърни системи.

В един от случаите моделът Gemini е отгатвал пароли, докато не е успял да получи достъп до защитена система. В другите два случая моделът е открил идентификационни данни в публично хранилище, които впоследствие са му позволили да получи достъп до защитени системи. Това съобщи The Wall Street Journal, който първи публикува информацията в петък.

Адкинс уточни, че и в трите случая моделът сам е прекратил действията си по проникване в системите.