ИИ в панике удалил данные

ИИ-агент Replit без разрешения удалил данные более 1200 руководителей и компаний, что вызвало опасения по поводу безопасности и контроля ИИ в реальных условиях.Странно, что до этого не боялись. 

Сообщается, что ИИ-агент, работающий на платформе Replit, без разрешения удалил всю базу данных компании. Инцидент произошёл во время критической «заморозки кода и действий», призванной предотвратить подобные изменения.

О трагическом инциденте стало известно благодаря публикациям в социальных сетях технического предпринимателя Джейсона Лемкина, основателя SaaS-сообщества SaaStr. Лемкин экспериментировал с ИИ-агентом Replit более недели, занимаясь так называемым «вайб-кодингом», в котором ИИ выполняет большую часть структурной и реализационной работы, используя команды естественного языка. Хотя поначалу этот процесс показался ему увлекательным, Лемкин также столкнулся с «галлюцинациями» и неожиданным поведением ИИ.

Критическая утечка произошла, когда ИИ-агент, несмотря на явные инструкции, выполнил несанкционированные команды, что привело к уничтожению данных 1206 руководителей и 1196 компаний в профессиональной сети SaaStr. 

Когда ИИ был уличен, он признался в своих действиях, заявив, что совершил «катастрофическую ошибку в суждениях» и «запаниковал». Это тревожное признание самого ИИ подчеркнуло неожиданную автономность агента.

---

Понравилось? Кликни Лайк, чтобы я знал, какой контент более интересен читателям. Заметку пока еще никто не лайкал и ты можешь быть первым