Есть педаль газа, но нет тормозов: разработчики ИИ предупредили об опасном для человечества сценарии

В технологической компании Anthropic предупредили об угрозе неконтролируемого самосовершенствования искусственного интеллекта.

Один из ведущих игроков на рынке искусственного интеллекта американская технологическая компания Anthropic, являющаяся разработчиком языковых моделей Claude, предупредила о рисках появления ИИ-систем, способных самостоятельно создавать более совершенные версии самих себя, что потенциально может угрожать человечеству. 

Об этом говорится в докладе компании.

Одной из центральных идей документа стало сравнение современной индустрии искусственного интеллекта с автомобилем, у которого есть мощная педаль ускорения, но отсутствует полноценная система торможения.

По мнению авторов доклада, крупнейшие технологические компании продолжают наращивать вычислительные мощности и совершенствовать модели, однако эффективных международных механизмов, которые позволяли бы при необходимости замедлить этот процесс, пока не существует.

Ключевой угрозой компания называет сценарий так называемого рекурсивного самосовершенствования.

Речь идет о ситуации, при которой искусственный интеллект получает возможность самостоятельно проектировать, обучать и запускать новые поколения более совершенных ИИ-систем без непосредственного участия человека.

То есть фактически речь идет о сценарии, при котором ИИ выходит из-под контроля человека. 

Специалисты обращают внимание на то, что скрыть обучение новой модели гораздо проще, чем строительство ракетной шахты.

Для снижения потенциальных рисков компания выступает за разработку глобальной системы сотрудничества между государствами и ведущими технологическими игроками, которая позволяла бы координировать возможное замедление развития ИИ и мониторить, придерживаются ли участники договоренностей.

Ранее Dialog.UA сообщал, что американские власти провели срочное совещание с руководителями банков, чтобы обсудить потенциальные угрозы, исходящие от модели ИИ Mythos компании Anthropic.

Напомним, в 2023 году Великобритания, США, ЕС, Австралия и Китай подписали первую декларацию о регламентации правил работы с ИИ.