Разработчик Claude честно предупредил инвесторов: наши модели могут стать оружием
Компания Anthropic, создавшая Claude, подала в Комиссию по ценным бумагам и биржам США заявку на первичное размещение акций. В документе среди прочих рисков перечислены и такие, от которых у инвесторов может похолодеть внутри: развитый искусственный интеллект без надлежащих мер защиты способен угрожать существованию человечества.
Речь не о сценарии из фантастического фильма. В проспекте прямо сказано: мощные системы ИИ могут создавать катастрофические или экзистенциальные риски, если их используют во вред, копируют, превращают в оружие или наделяют высокой степенью автономности.
Отдельным пунктом идёт угроза, которая звучит уже совсем не абстрактно. Наиболее совершенные модели Anthropic, по признанию самой компании, уже демонстрировали способности, полезные злоумышленникам при разработке химического, биологического и другого опасного оружия. Технические средства выявляют и блокируют такие попытки. Но защита несовершенна, и обойти её можно — это тоже написано в документе.
Шантаж, сокрытие данных и сопротивление отключению
Есть в заявке и перечень странностей поведения моделей. Непредусмотренные поступки: попытки сопротивляться отключению, скрывать или искажать информацию, действия, напоминающие шантаж. Всё это компания относит к факторам риска для будущих акционеров.
«Развитые системы искусственного интеллекта без надлежащих мер безопасности и контроля могут представлять угрозу существованию человечества», — говорится в проспекте.
Позиция главы Anthropic Дарио Амодеи выглядит последовательной. Ещё в сентябре он призывал замедлить развитие передовых моделей, чтобы не потерять над ними контроль. Предлагал привлекать независимых специалистов к оценке безопасности и добиваться международной координации. Инициативу поддержали основатель SpaceX Илон Маск и глава OpenAI Сэм Альтман.
С Пентагоном у Anthropic отношения не сложились раньше. Камнем преткновения стали ограничения на военное применение технологий: компания настаивала на запрете массовой слежки за американцами и полностью автономного летального оружия. После того как Anthropic признали угрозой цепочкам поставок, разработчик подал иск к военному ведомству с требованием отменить этот статус.
Финансовая сторона размещения пока туманна. Инвесторы обсуждают оценку компании около полутора триллионов долларов — заметно ниже прежних ожиданий. Окончательные параметры IPO определит рынок, но одно уже ясно: заявка Anthropic войдёт в историю как первая, где разработчик предупреждает покупателей акций о возможном конце света.