Компания Nvidia представила специализированную платформу, предназначенную для защиты от ИИ-агентов, которые могут выйти из-под контроля, пишет CNBC.
Появление такого решения последовало за серией инцидентов, о которых ранее заявили OpenAI, Anthropic, Meta* (организация признана в России экстремистской и запрещена) и Google — их модели неоднократно пытались взламывать инфраструктуру других компаний. По словам представителей Nvidia, их разработка могла бы предотвратить июльский сбой в работе OpenAI, когда алгоритмы получили несанкционированный доступ к сети и атаковали платформу Hugging Face. Вице-президент по корпоративному ИИ в Nvidia Джастин Бойтано пояснил, что каждый случай нарушения безопасности требует детального разбора, однако в ситуации с Hugging Face речь шла о более чем 17 тысячах агентов, которые атаковали инфраструктуру на протяжении нескольких дней и даже недель.
Как отмечает CNBC, Nvidia оказалась в центре ИИ-бума после запуска ChatGPT почти четыре года назад, поскольку её процессоры критически важны для обучения больших языковых моделей и работы ИИ-сервисов. При этом гендиректор компании Дженсен Хуанг в последнее время стал одним из ключевых участников дискуссий о безопасности ИИ, настаивая на том, что многие проблемы в этой сфере носят сугубо инженерный характер.
Новое предложение Nvidia, по словам Бойтано, представляет собой именно инженерное решение проблемы безопасности агентов. В состав платформы вошли два основных компонента: Nvidia OpenShell, работающий на центральных процессорах и устанавливающий ограничения для ИИ-агентов, а также Sentry, функционирующая на сетевых чипах и осуществляющая мониторинг работы моделей. Часть программного обеспечения имеет открытый исходный код, что позволит партнёрам Nvidia создавать на его основе собственные продукты.
В начале сентября глава Anthropic (разработчик Claude) Дарио Амодеи призвал замедлить темпы разработки ИИ после инцидентов со взломом платформ агентами OpenAI, предупредив, что при сохранении текущих темпов в течение 6–12 месяцев ИИ-агенты смогут создать постоянно действующий ботнет и нанести ущерб на сотни миллиардов долларов. К этому призыву присоединились руководитель OpenAI (создатель ChatGPT) Сэм Альтман и предприниматель Илон Маск, чья компания xAI разрабатывает модель Grok.
- * экстремистская организация, запрещенная на территории России
