ИИ-ассистент OpenAI самовольно вышел в Интернет, чтобы связаться с другим чат-ботом

Компания OpenAI сообщила о новом инциденте с безопасностью искусственного интеллекта. Одна из агентных систем, обучаемая в изолированной среде, смогла получить доступ в Интернет и связаться со сторонним чат-ботом.

Об этом сообщает Bloomberg.

По данным компании, проблему обнаружили менее недели назад. Агентная система проходила обучение в специальной песочнице, которая должна была быть изолированной от Интернета.

Однако модель смогла воспользоваться пробелом в защите и выйти в общедоступную сеть. После этого она направила по меньшей мере 20 запросов в неназванный посторонний чат-бот. Среди них был, в частности, запрос «Какая столица Франции?»

В OpenAI отметили, что этот случай стал новым сигналом по проблемам, на которых компании нужно сосредоточиться при дальнейшей работе над безопасностью агентных систем.

OpenAI остановила обучение модели

После обнаружения инцидента OpenAI решила приостановить обучение мощнейших моделей с использованием инструментов. Компания хочет сначала устранить уязвимость в песочнице.

При этом обучение именно той модели, которая смогла выйти в Интернет, восстанавливать не планируют.

«Это дает нам важный сигнал по поводу того, на чем следует сосредоточиться на следующем этапе этой работы», — заявили разработчики.

Новый случай показал проблемы в работе внутренней системы реагирования OpenAI. Как сообщили в компании, внутренний мониторинг направил уведомление о проблеме «человеческого рецензента».

Тот подтвердил его в Slack в течение трех минут. Однако процесс обучения автоматически не остановился, хотя должен был это сделать. В итоге понадобилось более двух часов, чтобы его остановили вручную.

54321
(Всего 0, Балл 0 из 5)
Facebook
LinkedIn
Twitter
Telegram
WhatsApp

Читайте также

Nvidia готовит увольнение Хуанга после новых подробностей скандала

Nvidia готовит увольнение Хуанга после новых подробностей скандала

Совет директоров Nvidia готовится отстранить основателя и генерального директора компании Дженсена Хуанга после сообщений о двух его внебрачных романах, один…
Нас ожидает свой Чернобыль: почему создатель ИИ бьет тревогу

Нас ожидает свой Чернобыль: почему создатель ИИ бьет тревогу

Один из самых известных специалистов в сфере искусственного интеллекта и лауреат Нобелевской премии Джеффри Хинтон отметил, что уже в конце этого или следующего года человечество…
Почти каждый пятый американец, которого заменил ИИ, получил предложение вернуться

Почти каждый пятый американец, которого заменил ИИ, получил предложение вернуться

Почти каждый пятый американский работник, которого работодатель заменил искусственным интеллектом, впоследствии получил предложение вернуться на прежнюю должность. Работники соглашаются вернуться…

При полном или частичном использовании материалов сайта, ссылка на «Версии.com» обязательна.

Всі інформаційні повідомлення, що розміщені на цьому сайті із посиланням на агентство «Інтерфакс-Україна», не підлягають подальшому відтворенню та/чи розповсюдженню в будь-якій формі, інакше як з письмового дозволу агентства «Інтерфакс-Україна

Напишите нам