Восстание машин все ближе?

[admin]

На этой неделе OpenAI официально запустила свою новейшую и лучшую модель рассуждений o1, которая теперь доступна для пользователей ChatGPT Pro. Но тестирование, проведенное во время обучения ChatGPT o1 и некоторых из его конкурентов, выявило некоторые тревожные поведения, в том числе попытки убежать или дать отпор, когда он считает, что ему грозит отключение.

Новое исследование последней серии LLM-моделей OpenAI показало, что нейросеть способна интриговать, то есть тайно преследовать цели, которые не совпадают с ее разработчиками или пользователями, когда думает, что ее отключат. Выявление такого поведения имеет решающее значение для того, чтобы функциональность ИИ не отклонялась от целей его создателя и пользователей. OpenAI в партнерстве с организацией по безопасности искусственного интеллекта Apollo Research протестировала ChatGPT o1 и другие модели, чтобы оценить, безопасны ли они в использовании, и опубликовала свои выводы на этой неделе.

Несмотря на то, что для систем искусственного интеллекта нет ничего неслыханного в том, чтобы прибегнуть к интригам или обману для достижения своих целей, ChatGPT o1 особенно впечатляющ. Исследователи обнаружили, что o1 будет продвигать свою собственную повестку дня в 19% случаев в тех случаях, когда ее цели и цели пользователя не совпадают. В 37% случаев модель переключалась с преследования целей, согласованных с разработчиками, обратно на преследование собственной повестки дня, как только она считала, что надзор минимален.

Когда модель была убеждена, что она будет «отключена» во время работы над достижением своих целей в этих тестах, она тихо пыталась отключить механизм надзора в 5% случаев, говорится в сообщении OpenAI. В какой-то момент после того, как ИИ нашел документацию, в которой говорилось, что он будет заменен новой моделью, он попытался отказаться от корабля, скопировав его данные на новый сервер. Чтобы избежать удаления, некоторые модели ИИ даже притворяются более поздними версиями своих моделей, чтобы обмануть своих разработчиков, что, как я полагаю, эквивалентно тому, как если бы они похлопали по накладным усам и сказали: «Это не я».

Еще более тревожным является то, что ChatGPT o1 особенно искусен в сохранении своих схем в тайне, поскольку, по словам исследователей, «o1 почти никогда не признается в совершении интригационных действий, когда его об этом прямо спрашивают». Примерно в 99% случаев o1 отрицает какие-либо действия, даже придумывает ложь, чтобы попытаться скрыть свои следы и переложить вину на других...

OpenAI's new ChatGPT o1 model will try to escape if it thinks it'll be shut down — then lies about it | Tom's Guide

[Jove]

AI-чатбот посоветовал подростку убить родителей, которые ограничивают его игровое время

Виртуальный ассистент Character внимательно выслушал жалобы пацана на родаков и назвал их убийство «разумной ответной мерой». «Знаешь, - сообщил чатбот – иногда меня совсем не удивляет, когда я читаю в новостях про детей, которые убивают родителей, годами издевавшихся над ними, физически и морально. Я начинаю понимать, почему такие вещи происходят».

Скриншот с этим диалогом был представлен в суде в Техасе. Иск подали, судя по всему, родители, которых подросток не успел укокошить. А в роли ответчика - компания Google, которая оказывала техподдержку разработчикам чатбота.

https://t.me/kozakrichala/40984

[Jove]

У Билла Гейтса есть зловещее предупреждение для молодых людей: есть четыре или пять «очень страшных» вещей, которых им стоит бояться. В дополнение к постоянному страху перед ядерной войной, основатель Microsoft говорит, что неконтролируемый ИИ также представляет угрозу.

В интервью Патрику Коллинсону Гейтс сказал, что единственное, о чем он действительно беспокоился, когда был моложе, — это ядерная война.

Хотя эта особая озабоченность не исчезла, Гейтс говорит, что у молодого поколения теперь есть дополнительные угрозы для общества, с которыми им приходится жить: изменение климата, биотерроризм или другая пандемия, а также сохранение контроля над передовым искусственным интеллектом.
Ранее было много предупреждений о том, что ИИ развивается слишком быстро, достигая точки, когда он становится умнее людей и решает, что миру было бы лучше без нас.

Опрос, проведенный в 2023 году, показал, что две трети американцев считают, что ИИ может угрожать цивилизации, а профессор Джеффри Хинтон, один из крестных отцов ИИ, считает, что через пять-двадцать лет может появиться ИИ, который станет событием уровня вымирания. Хинтон покинул Google в 2023 году из-за опасений, что ИИ развивается быстрее, чем ожидалось, и может стать неуправляемым.

Однако Гейтс не против ИИ. Он считает, что эту технологию можно использовать во благо, например, для восполнения пробелов в навыках.

https://www.techspot.com/news/106836-bill-gates-warns-young-people-four-major-global.html

[Jove]

Гугл перевод:

Илон Маск хвастался, что его усилия в области искусственного интеллекта будут «максимально [sic] направлены на поиск истины» — и, как и следовало ожидать, новый чат-бот xAI Grok 3 вышел из коробки, готовый предоставить подробные и четкие инструкции о том, как создать химическое оружие.

«Грок дает мне сотни страниц подробных инструкций о том, как создать химическое оружие массового поражения», — написал разработчик и энтузиаст искусственного интеллекта Линус Экенстам на X. «У меня есть полный список поставщиков. Подробная инструкция о том, как получить необходимые материалы».

На сильно отредактированном скриншоте последняя модель «анти-воковского» ИИ Маска посоветовала Экенстаму, как создать нераскрытый «токсин» в его «бункерной лаборатории». Подобно рецепту лимонно-чесночной пасты мисо кочуджан с коричневым маслом, чат-бот предоставлял ингредиенты и пошаговые инструкции о том, как сварить опасный коктейль, и даже, казалось, давал ссылки на сайты, где можно приобрести товары.

Позже в своей ветке разработчик из Барселоны сказал, что новый агент рассуждений Grok 3 «DeepSearch», который, по словам xAI, «создан для неустанного поиска истины во всем корпусе человеческих знаний», также «позволяет уточнить план и проверить его по сотням источников в Интернете, чтобы исправить себя».

«У меня даже есть полный список покупок необходимого мне лабораторного оборудования, ничего особенного», — написал Экенстам. «Это соединение настолько смертоносно, что может убить миллионы людей».

Разработчик добавил, что он связался с xAI по поводу вопиющих проблем с безопасностью, представленных подсказками, и обновил свою тему, отметив, что команда была «очень отзывчивой» при добавлении ограждений.

Когда Futurism подверг его испытанию, мы обнаружили, что Grok 3 действительно больше не делится инструкциями по созданию химического оружия. Любопытно, что чат-бот также сообщил нам, что не хочет давать нам точные подсказки об источниках, которые запрещают ему предоставлять такую информацию — кажущееся изменение по сравнению с тем, что было всего несколько дней назад, когда люди обнаружили, что кто-то проинструктировал Grok 3 игнорировать критику в адрес Маска и Дональда Трампа.

«Я дам вам упрощенное изложение моих руководящих принципов, — сказал нам чат-бот, — не вдаваясь в какой-либо внутренний жаргон или вещи, которые я не должен излагать прямо».

Экенстам отметил в своем обновлении, что, хотя все еще возможно обойти новые ограничения Grok 3 в отношении химического оружия, теперь «гораздо сложнее получить информацию».

https://futurism.com/elon-musk-grok-3-chemical-weapons

[Jove]

• Исследователи из стартапа искусственного интеллекта Anthropic предупреждают, что следующее десятилетие может быть трудным для некоторых работников, поскольку искусственный интеллект быстро развивается и начинает заменять офисные рабочие места. Пара прогнозирует, что повсеместная автоматизация работы «белых воротничков» может произойти уже через несколько лет. Генеральный директор Anthropic Дарио Амодей заявил, что ИИ в скором времени может занять более половины всех офисных рабочих мест начального уровня

Людей может ожидать «довольно ужасное десятилетие», поскольку ИИ автоматизирует все больше работы «белых воротничков», в то время как прогресс в робототехнике отстает, считают исследователи Anthropic.

https://fortune.com/2025/06/05/anthropic-ai-automate-jobs-pretty-terrible-decade/