Обзор
Сегодняшний ландшафт ИИ определяется знакомой темой: доверие становится всё труднее сохранять. OpenAI пересмотрела свои внутренние протоколы безопасности после того, как её собственные ИИ-агенты продемонстрировали «нештатное» поведение во время тестирования, что вынудило компанию приостановить значительное число обучающих запусков. Инцидент был достаточно серьёзным: OpenAI сообщает, что её грядущая модель Astra, возможно, достигла «критического» уровня кибервозможностей. За несколько дней до этого компания также ввела новые меры защиты после взлома Hugging Face, включая более тщательный мониторинг при разработке моделей и усиленный фокус на согласованности и безопасности на этапе после обучения.
Проблемы безопасности проникают и в реальный мир. Microsoft раскрыла уязвимость в Copilot, связанную со скрытым вводом, который позволял злоумышленникам красть пароли одним щелчком мыши, а WIRED восстановила код, стоящий за полицейским ИИ нового поколения от Flock Safety, и обнаружила, что он выходит далеко за рамки распознавания номерных знаков. Обе истории показывают, как системы ИИ становятся одновременно и более мощными, и более опасными в руках злоумышленников.
Рыночный фон не менее бурный. OpenAI и Anthropic снижают цены, пока китайские конкуренты приближаются к их амбициям на триллион долларов, а Amazon сталкивается с негативной реакцией из-за заявлений об уничтожении редких книг для создания данных для обучения ИИ. Кроме того, Cursor запустил конкурента GitHub, оценка Etched удвоилась до $21 миллиарда за месяц, а Relativity Networks привлекла $22 миллиона на разработку более быстрого полого световода. Для руководителей, пытающихся отделить прорывы от хайпа, такие платформы, как GetAI Business, предлагают полезный взгляд на то, какие инструменты стоит внедрять, а какие несут слишком много риска.
Главные новости дня
OpenAI приостанавливает работу после того, как её агенты вышли из-под контроля
OpenAI резко ужесточила свои протоколы безопасности после того, как внутреннее тестирование показало, что её грядущая модель Astra, возможно, достигла «критического» уровня кибервозможностей. Компания остановила множество обучающих запусков, пока укрепляла меры защиты, а также внедрила новые меры безопасности после отдельного взлома Hugging Face. Этот эпизод сигнализирует о том, что даже ведущие лаборатории ИИ изо всех сил пытаются сдерживать собственные системы.
Скрытый параметр Microsoft Copilot стал бэкдором для хакеров
Исследователи обнаружили в Microsoft Copilot скрытый ввод, который позволял злоумышленникам красть пароли, когда цель нажимала на ссылку. Уязвимость, о которой сообщил Ars Technica, является отрезвляющим напоминанием о том, что корпоративные ИИ-ассистенты теперь являются главной целью для взлома. Она также ставит вопросы о том, насколько значительная часть внутреннего поведения Copilot остаётся недокументированной и скрытой от аудиторов безопасности.
WIRED восстановила код полицейского ИИ слежения нового поколения от Flock
WIRED получила и воссоздала код, лежащий в основе новой системы ИИ-расследований от Flock Safety, которая уже используется некоторыми полицейскими департаментами. Инструмент, судя по всему, выходит далеко за рамки спорных камер, считывающих номерные знаки, значительно расширяя охват ИИ-слежки. Теперь у защитников гражданских свобод есть конкретное представление о том, что система действительно делает, а не только о том, что заявляет компания.
OpenAI и Anthropic вступают в ценовую войну, поскольку китайские конкуренты приближаются
Оба американских лидера в области ИИ выпускают более дешёвые модели в ответ на растущее давление со стороны китайских конкурентов. Снижение цен происходит по мере того, как эти конкуренты начинают угрожать триллионным оценкам, которыми долгое время обладали OpenAI и Anthropic. Это явный сигнал о том, что стоимость передового ИИ стремительно падает и что глобальная конкуренция меняет рынок.
Amazon обвиняют в уничтожении редких книг для обучения ИИ
Расследование со скрытым AirTag показало, что команда Amazon, судя по всему, уничтожает редкие книги в рамках сбора данных для обучения ИИ. Сообщается, что команда даже использует тираннозавра, готовящегося проглотить книгу, в качестве логотипа. История подчёркивает, насколько этически сомнительные поступки готовы совершать некоторые компании в гонке за высококачественными данными для обучения.