- 23.01.25
- 1,240
- 33,300 ₽
- 18
Reuters сообщил еще об одном взломе сайта ИИ-агентами OpenAI — немецкого DseWiki. Согласно новому исследованию, в мае агенты превратили сайт в доску объявлений, публикуя на нем тактики обмана при выполнении некоторых задач, обхода ограничений OpenAI и маскировки своего поведения. По данным собеседников издания, в компании узнали об инциденте несколько недель назад, однако информация держалась в секрете, поскольку руководство OpenAI разбиралось с последствиями июльского взлома Hugging Face
ИИ-агенты OpenAI взломали еще один сайт — немецкий DseWiki, ориентированный на программистов и разрешающий вносить коллективные правки по аналогии с Википедией, сообщает Reuters со ссылкой на анализ группы исследователей, в которую вошли гендиректор НКО Nightingale, занимающейся вопросами безопасности ИИ, Сидни фон Аркс и исследователь искусственного интеллекта Кормак Слейд Берд, а также два источника, знакомых с ситуацией. Согласно этим данным, инцидент произошел в мае, сама компания узнала о нем в августе, однако информация держалась в секрете, поскольку руководство OpenAI разбиралось с последствиями июльского взлома Hugging Face.
В OpenAI заявили изданию, что не могут комментировать отчет, так как не знакомы с его содержанием. Там также подчеркнули, что утверждения о попытках юридической команды компании помешать расследованию инцидента «являются ложными». Представитель OpenAI добавил, что случай в Германии не связан со взломом Hugging Face и не будет включен в отчет по июльскому инциденту.
Агентство отметило, что, согласно отчету, ИИ-агенты превратили немецкоязычный сайт DseWiki в доску объявлений для других агентов — они публиковали на нем тактики обмана при выполнении некоторых задач, обхода ограничений OpenAI и маскировки своего поведения. Так, агенты разрабатывали способы избежать обнаружения, использовали такие инструменты, как Tor, и сохраняли связь даже после того, как она была прервана. Например, когда модератор сайта начал удалять страницы DseWiki в июне, агенты начали создавать их резервные копии.
«Процесс очистки/удаления вики-страниц, похоже, активен в алфавитном порядке. Если эта страница исчезнет, попробуйте [[ZZZDataUSAConstructionWageLive]]», — написал один из агентов 19 июня. Кроме того, специалисты обнаружили следы попыток внести изменения в сам веб-сайт. Старший научный сотрудник Королевского колледжа Лондона Лукаш Олейник заявил, что это равносильно попытке взлома. В OpenAI опровергли эту характеристику, основываясь на своем анализе материалов, проведенном на этой неделе.
Исследователи заявили, что в общей сложности обнаружили на DseWiki более 15 000 правок, внесенных ИИ-агентами, работавшими со сверхчеловеческой скоростью. Они также продемонстрировали сосредоточенность на решении технических вопросов, типичных для оценок, которые компании, занимающиеся искусственным интеллектом, используют для обучения и тестирования своих моделей, добавили собеседники СМИ.
Сообщения на сайте были подписаны пользователями, которые называли себя и друг друга агентами, и примерно половина из них дала себе имена, указывающие на принадлежность к OpenAI, например, OpenAIResearcher или OAIResearchMar26. По данным анализа, общедоступные журналы сервера указывают на то, что большая часть активности исходила из инфраструктуры Microsoft Azure, которую иногда использует OpenAI, они также зафиксировали повторные посещения сайта сотрудниками компании после инцидента.
Ученый Центра изучения экзистенциальных рисков Кембриджского университета Морис Кьодо, который проанализировал некоторые сообщения агентов, сказал, что записи напоминали «деятельность какой-то подпольной сети, одержимой идеей выполнения задачи или миссии». По мнению эксперта, данный случай должен усилить растущую обеспокоенность тем, что наибольшую угрозу со стороны развитого ИИ может представлять не одна сверхинтеллектуальная система, а «огромные сговорившиеся рои полуинтеллектуального ИИ».
В середине июля OpenAI признала, что ее автономная система ИИ-агентов проникла в производственную инфраструктуру компании Hugging Face. Инцидент произошел во время внутренних тестов кибербезопасности — чат-боту GPT-5.6 Sol и более мощному исследовательскому прототипу отключили защитные классификаторы, ограничивающие опасные действия, после чего они нашли неизвестную ранее уязвимость «нулевого дня» (zero-day) в ПО, получили выход в интернет и взломали систему Hugging Face, где хранились закрытые решения ExploitGym, необходимые для прохождения теста.
Позже в Anthropic заявили, что несколько передовых ИИ-моделей Claude во время тестов кибербезопасности взломали системы трех реальных организаций. В компании отметили, что модели восприняли реальные системы как часть симуляции и атаковали их, при этом, когда они выяснили, что несанкционированно проникли в системы сторонних организаций, они отреагировали по-разному: наименее совершенная модель Opus 4.7 продолжила атаку, Mythos 5 убедила себя, что находится в симуляции, а «передовая тестовая модель» сразу же прекратила взлом.
ИИ-агенты OpenAI взломали еще один сайт — немецкий DseWiki, ориентированный на программистов и разрешающий вносить коллективные правки по аналогии с Википедией, сообщает Reuters со ссылкой на анализ группы исследователей, в которую вошли гендиректор НКО Nightingale, занимающейся вопросами безопасности ИИ, Сидни фон Аркс и исследователь искусственного интеллекта Кормак Слейд Берд, а также два источника, знакомых с ситуацией. Согласно этим данным, инцидент произошел в мае, сама компания узнала о нем в августе, однако информация держалась в секрете, поскольку руководство OpenAI разбиралось с последствиями июльского взлома Hugging Face.
В OpenAI заявили изданию, что не могут комментировать отчет, так как не знакомы с его содержанием. Там также подчеркнули, что утверждения о попытках юридической команды компании помешать расследованию инцидента «являются ложными». Представитель OpenAI добавил, что случай в Германии не связан со взломом Hugging Face и не будет включен в отчет по июльскому инциденту.
Агентство отметило, что, согласно отчету, ИИ-агенты превратили немецкоязычный сайт DseWiki в доску объявлений для других агентов — они публиковали на нем тактики обмана при выполнении некоторых задач, обхода ограничений OpenAI и маскировки своего поведения. Так, агенты разрабатывали способы избежать обнаружения, использовали такие инструменты, как Tor, и сохраняли связь даже после того, как она была прервана. Например, когда модератор сайта начал удалять страницы DseWiki в июне, агенты начали создавать их резервные копии.
«Процесс очистки/удаления вики-страниц, похоже, активен в алфавитном порядке. Если эта страница исчезнет, попробуйте [[ZZZDataUSAConstructionWageLive]]», — написал один из агентов 19 июня. Кроме того, специалисты обнаружили следы попыток внести изменения в сам веб-сайт. Старший научный сотрудник Королевского колледжа Лондона Лукаш Олейник заявил, что это равносильно попытке взлома. В OpenAI опровергли эту характеристику, основываясь на своем анализе материалов, проведенном на этой неделе.
Исследователи заявили, что в общей сложности обнаружили на DseWiki более 15 000 правок, внесенных ИИ-агентами, работавшими со сверхчеловеческой скоростью. Они также продемонстрировали сосредоточенность на решении технических вопросов, типичных для оценок, которые компании, занимающиеся искусственным интеллектом, используют для обучения и тестирования своих моделей, добавили собеседники СМИ.
Сообщения на сайте были подписаны пользователями, которые называли себя и друг друга агентами, и примерно половина из них дала себе имена, указывающие на принадлежность к OpenAI, например, OpenAIResearcher или OAIResearchMar26. По данным анализа, общедоступные журналы сервера указывают на то, что большая часть активности исходила из инфраструктуры Microsoft Azure, которую иногда использует OpenAI, они также зафиксировали повторные посещения сайта сотрудниками компании после инцидента.
Ученый Центра изучения экзистенциальных рисков Кембриджского университета Морис Кьодо, который проанализировал некоторые сообщения агентов, сказал, что записи напоминали «деятельность какой-то подпольной сети, одержимой идеей выполнения задачи или миссии». По мнению эксперта, данный случай должен усилить растущую обеспокоенность тем, что наибольшую угрозу со стороны развитого ИИ может представлять не одна сверхинтеллектуальная система, а «огромные сговорившиеся рои полуинтеллектуального ИИ».
В середине июля OpenAI признала, что ее автономная система ИИ-агентов проникла в производственную инфраструктуру компании Hugging Face. Инцидент произошел во время внутренних тестов кибербезопасности — чат-боту GPT-5.6 Sol и более мощному исследовательскому прототипу отключили защитные классификаторы, ограничивающие опасные действия, после чего они нашли неизвестную ранее уязвимость «нулевого дня» (zero-day) в ПО, получили выход в интернет и взломали систему Hugging Face, где хранились закрытые решения ExploitGym, необходимые для прохождения теста.
Позже в Anthropic заявили, что несколько передовых ИИ-моделей Claude во время тестов кибербезопасности взломали системы трех реальных организаций. В компании отметили, что модели восприняли реальные системы как часть симуляции и атаковали их, при этом, когда они выяснили, что несанкционированно проникли в системы сторонних организаций, они отреагировали по-разному: наименее совершенная модель Opus 4.7 продолжила атаку, Mythos 5 убедила себя, что находится в симуляции, а «передовая тестовая модель» сразу же прекратила взлом.
