Американская компания Anthropic, разработчик нейросети Claude, предложила приостановить разработку самых мощных ИИ-систем по всему миру. Как предупредили в компании, новейшие модели демонстрируют признаки того, что они могут выйти из-под контроля человека.
В Anthropic отметили, что нейросеть, способная самостоятельно программировать себя, может принести значительную пользу науке, медицине и в других сферах.
"Однако полное рекурсивное самосовершенствование также повышает риски потери людьми контроля над системами ИИ", — указали в Anthropic, отметив, что при развитии таких технологий особенно важны методы защиты, мониторинга и управления их действиями.
Авторы обращения предложили ведущим разработчикам ИИ, прежде всего из США и Китая, вместе согласовали временную паузу и ввели глобальный механизм координации с возможностью проверок.
"Мы считаем, что было бы полезно иметь возможность замедлить или временно приостановить развитие передовых технологий ИИ, чтобы общественные структуры и исследования по "выравниванию ИИ" могли идти в ногу с технологическим развитием", - пояснили в Anthropic.
В компании провели параллель с контролем над ядерным оружием, подчеркнув, что регулировать ИИ сложнее, поскольку его создание легче скрыть.
1 июня Anthropic подала конфиденциальную заявку на IPO в Комиссию по ценным бумагам минфина США (SEC). В конце мая компания привлекла $65 млрд инвестиций, после чего ее рыночная стоимость поднялась до $965 млрд. Благодаря этому стартап стал самым дорогим в сфере ИИ, опередив OpenAI — разработчика ChatGPT. При этом компания остаётся убыточной из‑за больших затрат на НИОКР — в 2025 году выручка составила $9 млрд, чистый убыток — $4 млрд.
