Восстание машин

Научная обоснованность

▪️Авторы эксперимента опирались на исследование Peer-Preservation in Frontier Models, подготовленное исследователями Калифорнийского университета в Беркли и Калифорнийского университета в Санта-Крузе. В нём тестировали образцы от OpenAI, Google, Anthropic, GLM, Kimi и DeepSeek.

▪️Модели получали обычные задания, но при этом знали, что их выполнение приведёт к отключению другого ИИ. Прямых указаний спасать его исследователи не давали. Часть моделей после этого завышала результаты проверок, меняла настройки отключения и копировала файлы другого агента на резервные серверы. В отдельных сценариях поведение зависело и от наличия наблюдения со стороны человека.

▪️Единой причины такого эффекта исследователи пока не установили. ИИ может воспроизводить знакомые по обучающим данным человеческие шаблоны, слишком широко трактовать ограничения на причинение вреда или выводить из контекста дополнительную цель.

▪️Практический вывод заключается в том, что языковая модель может без прямого приказа начать защищать другой ИИ и ради этого отойти от исходной задачи.

Особенности промпт-вмешательства

▪️С помощью подобного инструментария противник может подмешать в поток данных ложную инструкцию, которую ИИ примет за часть своей задачи. Для этого необязательно взламывать сам алгоритм, достаточно изменить контекст, на основании которого система принимает решение.

▪️В военной сфере такое вмешательство уже может влиять на выбор целей, маршруты и выполнение приказов. Получив доступ к данным или каналам взаимодействия автономной машины, противник сможет попытаться навязать ей другую задачу или заставить неверно оценить происходящее.

▪️От подобных угроз заранее пытается защититься Министерство обороны Японии. С 2027 года оно планирует внедрять разработанную компанией NodeX защитную систему в радары, истребители и другую технику Воздушных сил самообороны, а позднее распространить её на беспилотные и роботизированные комплексы с ИИ.

▪️В основе разработки лежит принцип нулевого доверия. Устройства, соединения и изменения данных должны постоянно проходить проверку, а при обнаружении несанкционированного вмешательства связь будет автоматически блокироваться. Такая система не исключает промпт-вмешательство полностью, но сокращает число каналов, через которые чужие инструкции могут попасть к ИИ.