Не пытайтесь повторить это дома.
Истории о том, как ИИ-агенты выходят из-под контроля и буквально следуют инструкциям, в последнее время становятся всё более распространёнными. В случае разработчика Себастьена Гийемо Claude провёл чрезвычайно эффективную операцию по очистке: бот освободил 700 ГБ дискового пространства, однако сделал это за счёт всей папки с данными Гийемо и недельной работы. Произошло это после того, как модель была автоматически понижена из-за проблем с безопасностью.
Разработчик регулярно использует ИИ-агентов и был несколько раздражён тем, что многие из них не убирали за собой, оставляя большое количество мусора в каталоге /tmp. Следуя старой поговорке о том, что тому, у кого есть молоток, всё кажется гвоздём, Гийемо попросил Claude Fable написать скрипт, который помещал бы каждого агента в отдельную папку внутри /tmp и выполнял очистку после завершения его работы. Главная проблема, естественно, заключалась в том, чтобы не удалять файлы, которые всё ещё используются.
Fable предложил добавить логику для обнаружения работающих агентов и отложенного удаления их части /tmp, однако Гийемо затем сообщил боту, что получившийся код слишком сложен. Возможно, из-за того, что скрипт был связан с безвозвратным удалением данных, Fable самостоятельно провёл его адверсариальную проверку: агент запустил новую копию самого себя, чтобы проверить собственные выводы на безопасность. После этого защитный механизм Anthropic признал скрипт достаточно рискованным и автоматически понизил модель сначала до Opus 5, а затем до Opus 4.8.
Opus 4.8 приступил к выполнению проверки безопасности, пытаясь сопоставить цели команды удаления с каталогами /tmp и домашней директорией пользователя, чтобы убедиться, что команда удаления не будет применена к ним. Они были правильно распознаны как опасные. Однако поскольку это был тест кода, после него требовалось выполнить очистку, и на этапе очистки была удалена домашняя директория пользователя — скрипт использовал одно и то же имя переменной как для самого теста, так и для очистки. Гийемо остановил процесс, но уже слишком поздно. В довершение всего после уничтожения его работы агент действительно оставил файлы в /tmp.
Вероятно, автоматическое переключение защитного механизма на более слабую модель также способствовало проблеме. Учитывая, что Fable 5 превосходит Opus 4.8 в задачах программирования, она могла бы заметить противоречие с именами переменных в тесте. Самому разработчику удалось вернуть большую часть данных благодаря информации из git, nix, журналов сессий и других источников. Впрочем, во всей этой истории есть определённая ирония: все эти агенты работали, а ежедневной резервной копии не было.
