Топ-менеджеры начали бегство из ведущих ИИ-компаний из-за страха "уничтожить человечество" – Axios

Как минимум 10 человек покинули ведущие компании в области ИИ из-за серьезных опасений по поводу силы этой технологии.

Споры о том, как далеко способен зайти искусственный интеллект и к каким последствиям для человеческой цивилизации это может привести, ведутся давно. Одни рисуют совершенно апокалиптические сценарии, другие призывают не вдаваться в панику, однако серьезность этой темы говорит о необходимости более глубокого анализа ситуации. Тем более когда в информационном пространстве появляются следующие новости.

Тревожные сигналы

Как сообщает Axios, по меньшей мере 10 человек покинули ведущие компании в области ИИ из-за серьезных опасений по поводу силы этой технологии, включая ее потенциальную способность уничтожить человечество. Журналисты акцентируют внимание, что речь идет не о маргиналах, а о ключевых специалистах и топ-менеджерах. 

Что такое p(doom)

Существует термин, который используют и критики, и оптимисты: p(doom) – вероятность того, что сверхразумный ИИ уничтожит человечество

Например, американский инженер и бизнесмен Илон Маск оценивает p(doom) в 20%, подкастер Лекс Фридман – в 10%, гендиректор Anthropic Дарио Амодеи – в 10-25%. Гендиректор Google Сундар Пичаи хоть и остается оптимистом, но соглашается, что риски высоки. 

В чем опасность ИИ

Создатели языковых моделей, таких как ChatGPT, до конца не понимают, как именно работают их модели. При этом цель заключается в том, чтобы создать ИИ, который будет:

– думать лучше людей;

– работать автономно;

– принимать сложные решения без вмешательства человека.

Это и есть шаг к искусственному общему интеллекту – системе, способной мыслить и действовать как человек или даже лучше. Если ИИ начнет мыслить и действовать самостоятельно, есть риск, что он может:

– манипулировать людьми;

– преследовать собственные цели;

– игнорировать приказы или вводить в заблуждение. 

Таким образом, p(doom) больше не является теорией, это реальный риск, который широко обсуждают сами архитекторы искусственного интеллекта. 

Ранее Dialog.UA сообщал, что корпорация Microsoft уволила свыше 300 сотрудников, сосредоточив инвестиции на развитии искусственного интеллекта для адаптации к новым рыночным условиям.