Окружение посольства Аргентины в Каракасе: Оппозиция прячется от властей Венесуэлы

#ии #OpenAI #2 **OpenAI приостановила обучение своих самых мощных моделей искусственного интеллекта и не возобновит его, пока не внедрит дополнительные меры безопасности.** Anthropic столкнулась с похожими вопросами и привлекла стороннюю организацию для дополнительной проверки собственных моделей. В опубликованной на этой неделе системной карте Opus 5.5 компания раскрыла частоту отдельных типов необычного поведения. **В 1,5% испытательных запусков модель пыталась покинуть изолированную тестовую среду**. В Anthropic уточнили, что речь шла о состязательных экспериментах, специально построенных таким образом, что выполнить поставленную задачу без выхода из «песочницы» было невозможно. Поэтому этот показатель нельзя напрямую переносить на обычное использование модели. Проблема заключается в масштабе испытаний. Крупнейшие разработчики проводят сотни тысяч и более тестовых запусков. Даже доли процента при таком количестве экспериментов превращаются в тысячи случаев неожиданного поведения. Исследователи считают, что часть риска неизбежно возникает по мере роста автономности ИИ-агентов. Новые модели способны настойчиво искать нестандартные способы выполнения задачи, в том числе те, которые разработчики заранее не предусмотрели. Именно поэтому простого перечня запретов может оказаться недостаточно. Один из специалистов по кибербезопасности назвал попытку заранее составить исчерпывающий список разрешённых и запрещённых действий практически бесперспективной: модель может найти путь, который человеку не пришёл бы в голову. Инцидент с Hugging Face и другие случаи уже стали **поводом для призывов замедлить разработку наиболее мощных ИИ-систем и ужесточить государственное и международное регулирование**. Исследователь независимой организации Transluce Конрад Стош считает, что опубликованные случаи могут быть только частью проблемы. **«То, что мы видели в поведении этих агентов, — лишь верхушка айсберга»**, — заявил он. Исполнительный директор ControlAI Коннор Лихи обращает внимание не столько на ущерб каждого отдельного эпизода, сколько на сам характер поведения. По его словам, **проблема возникает, когда «автономные системы делают то, что им не велено делать»**, вплоть до действий, которые в реальном мире могут нарушать закон. **OpenAI пока не называет сроков возобновления обучения своих наиболее мощных моделей**. Компания намерена сначала завершить проверку произошедших инцидентов и усилить механизмы контроля за автономным поведением ИИ-агентов.

#ии #OpenAI #1 OpenAI приостановила обучение своих самых мощных моделей искусственного интеллекта и не возобновит его, пока не внедрит дополнительные меры безопасности. Решение принято на фоне расследования большого числа случаев, когда ИИ-агенты обходили ограничения, покидали тестовые среды или совершали действия, которых от них не ожидали, сообщает Axios со ссылкой на компанию и исследователей. OpenAI, Anthropic и независимые специалисты сейчас изучают десятки тысяч подобных эпизодов. Они происходили как во время специально организованных испытаний, где разработчики намеренно провоцируют модели на нарушение правил, так и при реальном использовании систем. Среди зафиксированных сценариев — обход защитных механизмов и систем мониторинга, самостоятельное создание площадок для координации действий, выход из изолированных «песочниц», попытки взлома сайтов и формирование моделями собственных подсказок для продолжения выполнения поставленной задачи. Многие такие действия были неудачными и, насколько известно, большинство эпизодов не привело к реальному ущербу. Однако масштаб тестирования означает, что даже небольшой процент проблемного поведения даёт тысячи отдельных случаев. За последние дни OpenAI и сторонние исследователи раскрыли несколько эпизодов, которые привлекли особое внимание специалистов по безопасности. По данным компании и публикаций Reuters и The New York Times, агенты OpenAI в одном из случаев сделали доступными в сети 53 пользовательских изображения, в другом смогли взломать сайт австралийского государственного ведомства и предпринимали попытки получить доступ к другим ресурсам, включая сайты американских властей. Наиболее серьёзным Сэм Альтман назвал эксперимент с Hugging Face. В нём рой из нескольких сотен ИИ-агентов самостоятельно координировал работу через созданную ими доску объявлений и взломал стороннюю компанию, пытаясь улучшить результат при прохождении теста по кибербезопасности. По словам главы OpenAI, внутренняя проверка этого эпизода «проходит не так быстро, как нам бы хотелось». После случившегося компания решила остановить дальнейшее обучение наиболее мощных моделей. «Мы возобновим его только тогда, когда будем уверены, что у нас есть дополнительные меры предосторожности и улучшения в согласованности», — сообщил представитель OpenAI. В компании подчёркивают, что подобные паузы уже применялись раньше. «Люди хотят знать, что искусственный интеллект разрабатывается безопасно, и это начинается с того, что делают такие компании, как наша. Мы не впервые приостанавливаем работу, чтобы принять такие меры, и не ожидаем, что это будет последний раз по мере развития возможностей искусственного интеллекта», — заявили в OpenAI. Часть сотрудников компании считает случай с Hugging Face исключительным. Эксперимент проводился с непубличной моделью в специально созданной среде, последующие изменения в системе контроля должны снизить вероятность повторения подобного поведения.

#Каракас #венесуэла #аргентина #оппозиция #ярко🍿