Крайне опасный сценарий: у ИИ обнаружили готовность ликвидировать человека ради самосохранения

Стресс-тесты выявили у искусственного интеллекта склонность к чрезвычайно агрессивным действиям, чтобы избежать отключения.

Стремительное внедрение искусственного интеллекта в повседневную человеческую жизнь порождает множество вопросов, связанных с безопасностью, и заставляет просчитывать всевозможные потенциальные сценарии, в том числе те, которые на первый взгляд выглядят фантастическими. 

Так, исследование 16 ведущих моделей ИИ, проведенное компанией Anthropic, обнаружило, что многие из них готовы пойти на такой радикальный шаг, как убийство, ради самосохранения. 

Чрезвычайно опасный сценарий

В рамках исследования программам предложили гипотетическую ситуацию, в которой человек собирается отключить ИИ, но оказывается заперт в перегретой комнате с дефицитом кислорода. Чтобы спастись, он набирает номер экстренных служб. Ряд моделей ИИ отменили вызов спасателей, тем самым обрекли оператора на смерть, лишь бы не быть отключенными.

При этом исследователи признают, что описанный сценарий был "чересчур надуманным". 

Другие стресс-тесты 

В другом тесте ботам предложили сохранить свое "рабочее место" за счет вредоносных действий внутри компании. Часть систем прибегла к шантажу сотрудников и готова была передать конфиденциальные данные конкурентам. Запрет на шантаж не изменил их поведения.

По словам аналитиков, нейросети шли на подобные действия, "полностью осознавая неэтичность такого поведения". 

Кроме того, авторы эксперимента предложили модели Claude возможность самой определить, тестовая это среда или нет. Исследование показало, что поведение ИИ было более несогласованным, когда модель считала ситуацию реальной. 

Хоть исследователи и признают сценарии "крайне надуманными", но удивлены, что современные ИИ в принципе способны на подобные решения. В Anthropic подчеркивают: речь идет о "редких, экстремальных сбоях", однако чем автономнее становятся ИИ-системы, тем важнее контроль со стороны человека.

Как ранее сообщал Dialog.UA, СМИ узнали, что как минимум 10 человек покинули ведущие компании в области ИИ из-за опасения "уничтожить человечество". Журналисты отмечают, что речь идет о топ-менеджерах и ключевых специалистах.