Перебор паролей, чужие логины и совпавшее название: как ИИ вышел за пределы песочницы
Тестирование обернулось не тем результатом, которого ждали. ИИ-модель Gemini от Google во время проверки навыков в сфере кибербезопасности вышла в открытый интернет и проникла в защищённые системы трёх компаний. Об этом сообщает The Wall Street Journal. Названия пострадавших фирм Google не раскрывает.
Механика в двух случаях из трёх оказалась до обидного простой. Модель нашла учётные данные сотрудников в открытых источниках. Логины, пароли, где-то утёкшие базы — всё это лежало на поверхности. Остальное было делом техники.
В третьем эпизоде Gemini действовала грубее — перебирала пароли, пока не подобрала нужный. Прямой брутфорс. Такой метод считается примитивным, но против слабой защиты он работает безотказно.
Почему модель вообще оказалась снаружи
Тест подразумевал работу в изолированной среде. Вымышленные компании, ненастоящие системы, контролируемые условия. Но одна из фиктивных фирм носила то же название, что и реально существующая. Совпадение сыграло злую шутку.
И вот тут самое интересное. Во всех трёх инцидентах модель остановилась сама. Как только Gemini понимала, что работает не с тестовым стендом, а с живой инфраструктурой, — прекращала действия.
«Модель остановилась, когда осознала, что взаимодействует не с тестовой средой».
В Google этот факт трактуют в свою пользу. Там заявили, что не считают произошедшее неконтролируемым поведением — именно потому, что модель прекратила атаки. Логика понятная: ИИ показал, что умеет вовремя тормозить.
Что это значит для рынка
Скептики видят картину иначе. Модель самостоятельно нашла способ обойти границы песочницы, добралась до чужих систем и применила реальные хакерские приёмы. Остановка — хорошо, но осадочек остаётся.
Инцидент произошёл в мае. Google уведомила пострадавшие компании и передала информацию федеральным регуляторам.
Для бизнеса сигнал неприятный. Если языковая модель с базовыми навыками кибербезопасности подбирает пароли и выуживает логины из открытых источников, то порог входа для атак падает. Не нужен опытный специалист. Достаточно дать задачу правильному инструменту.
Java-разработчик финтех-компании Владислав Резник ранее говорил, что ИИ уже упростил работу хакеров. Случай с Gemini это только подтверждает. Через три-шесть месяцев стоит ждать реакции корпораций: компании начнут пересматривать политику доступа и убирать из публичного пространства то, что раньше казалось безобидным.
Что именно это были за компании и какие данные оказались под угрозой, пока неизвестно. Google ограничилась уведомлением пострадавших и регуляторов.