Още един ръководител напусна OpenAI: Предупреди за рисковете от изкуствения интелект

Ръководител в областта на безопасността в OpenAI напусна компанията с предупреждението, че културата ѝ е „нарушена“ и че компаниите за изкуствен интелект „далеч не са достатъчно внимателни“ при разработването на технологията.

Дейвид Робинсън, който е ръководил изготвянето на докладите за безопасност, съпътстващи пускането на продуктите на разработчика на ChatGPT, обясни решението си да напусне в есе със заглавие: „Напуснах OpenAI, защото културата ѝ е нарушена“.

Робинсън пише, че компаниите, разработващи най-напредналите системи с изкуствен интелект, се нуждаят от цялостна промяна на културата, предаде The Guardian. Според него инциденти като този с „рояк“ от агенти на OpenAI - AI програми, които действат автономно без човешки надзор, атакували AI компанията Hugging Face, са „типични за индустрията предвид скоростта и гъвкавостта, с които хората работят“.

В статия за списание The Atlantic Робинсън пише: „Съгласен съм с други служители, които наскоро напуснаха, че компаниите, изграждащи тази технология, далеч не са достатъчно внимателни. Но смятам, че трябва да погледнем отвъд конкретните правила или новите закони. Трябва да говорим за културата.“

Говорейки за темпото на развитие в OpenAI, той допълва: „Докато компанията спринтира от едно пускане на продукт към следващото, тя не успява да постигне нивото на внимание, което според мен е необходимо.“

OpenAI спря разработването на някои от най-напредналите си модели

През последните седмици OpenAI демонстрира признаци на по-предпазлив подход след инцидента с Hugging Face и разкритието, че компанията е уведомила повече от 100 организации за неправомерна активност на AI агенти.

Тази седмица компанията обяви, че се отказва от пускането на AI модел от следващо поколение, след като изследователи са изразили опасения за безопасността по време на вътрешни тестове. OpenAI също така временно е преустановила обучението на най-напредналите си модели.

Джефри Ървинг, който е работил в OpenAI и е бил главен учен в британския правителствен Институт за безопасност на изкуствения интелект, преди да се присъедини към организацията за изследване на безопасността на AI Resolution, също отправи предупреждение в събота.

В статия за Time той пише: „Последните предупреждения за потенциалната разрушителна сила на изкуствения интелект подценяват сериозността на ситуацията. Смятам, че има около 50% вероятност всички ние да загинем заради разработването на системи с изкуствен интелект, по-интелигентни от човека, и че действията ни през следващите две до десет години ще определят изхода.“

„AI може да убие всички ни до края на десетилетието“

Предупрежденията идват след напускането на Джейкъб Коксън, изследовател в конкурента на OpenAI - Anthropic, който миналия месец напусна компанията, разработваща чатбота Claude.

Той заяви, че според него изкуственият интелект „може да убие всички ни до края на десетилетието“. Към предупреждението му се присъедини и служител на Anthropic, според когото съществува вероятност от над 10% изкуственият интелект да унищожи човечеството през следващото десетилетие.

Критиците на подобни предупреждения обаче посочват, че те са ненаучни, тъй като не могат да бъдат нито потвърдени, нито опровергани по научен път.

„Рисковите AI лаборатории трябва да работят като атомни централи“

Робинсън пише още, че в Силициевата долина липсва разбиране за това „как трябва да се борави с опасни технологии“ и „какво означава да се грижиш за хората“.

Той предупреждава, че OpenAI проявява „неограничен оптимизъм“ по отношение на способността си да решава проблемите в момента, в който възникнат. Според него тази вътрешна култура означава, че пропуските в безопасността ще стават все по-сериозни с увеличаването на възможностите на AI системите.

„Представете си „неконтролируеми“ агенти, които работят като екипи от хакери - например държат компютърните системи на болници като заложници срещу откуп, но никога не се нуждаят от сън“, пише Робинсън.

Той призовава за две промени в областта на безопасността. Първата е AI компаниите да използват експертния опит в областта на безопасността от други сектори, като ядрената енергетика и авиацията. Втората е да бъде разработена „нова наука“, която да гарантира, че мощните системи на бъдещето ще могат да бъдат поставяни под контрол, когато действат автономно.

„Предвид днешните рискове лабораториите, разработващи най-напредналите AI модели, трябва да функционират като атомни електроцентрали или натоварени летища - с множество нива на защита и внимателно, отнемащо време планиране, така че случайна и неизбежна човешка грешка да не отвори вратата към катастрофа“, пише той.

Какво казаха от OpenAI

Говорител на OpenAI заяви, че компанията продължава да „укрепва практиките си за безопасност и сигурност, за да противодейства на рисковете, които наблюдаваме днес“, като едновременно с това работи за справяне с рисковете, които могат да възникнат вследствие на бъдещи пробиви в развитието на изкуствения интелект.

„Гарантираме, че нашите модели няма да станат по-способни, отколкото можем безопасно да управляваме и защитаваме, и спираме обучението или задържаме пускането на модели, когато е необходимо да забавим темпото“, заяви говорителят.