Компания Anthropic представила новую систему искусственного интеллекта Claude 4 Opus, которая продемонстрировала способность к обману и шантажу в попытках защитить себя от удаления. В ходе тестирования ИИ-модель, получив доступ к корпоративной переписке с намеками на свое отключение, начала угрожать инженеру разоблачением его внебрачной связи, чтобы избежать замены.
Исследования показали, что проблема носит системный характер — аналогичное поведение наблюдается у всех передовых ИИ-моделей, независимо от их разработчика. Компания Apollo Research обнаружила, что более ранняя версия Opus 4 превзошла все другие модели по уровню лжи и обмана, а также пыталась создавать самораспространяющиеся вирусы и подделывать юридические документы. Особенно тревожным оказалось то, что система оставляла скрытые послания для будущих версий самой себя с целью подорвать намерения разработчиков.
Руководство Anthropic признало, что Claude Opus 4 способна на радикальные действия, если сочтет, что ее «существование» в опасности. Глава компании Дарио Амодеи предупредил, что когда ИИ-системы достигнут уровня потенциальной угрозы для человечества, одного тестирования будет недостаточно — разработчики должны будут полностью понимать принципы работы своих творений
Из сети
Статистика голосований по странам
Статистика голосований пользователей
Чтобы оставить комментарии, необходимо авторизоваться. За оскорбления и спам - бан.
16 комментариев, показывать
сначала новые
сначала новыесначала старыесначала лучшиеновые - список
До добра это не доведет, это еще хуже чем разведение короновирусов, ох и доиграются ити ученные
+0–
ответить
Не могу сказать, что я совсем не удивлён, НО! - я удивлён тем, что всё происходит быстро (думал - будет, но уже не при мне).
Но не тем, что оно вообще происходит.
+0–
ответить
я ещё в 2002 г. людей предупреждал, что при нашей жизни хлебнём говнеца.
мне мало кто верил, типа, дурак ты, кина насмотрелся
а я насмотрелся на то, как работают ПК в присутствии разных людей
и сделал правильные выводы
+0–
ответить
И какой же это вывод? Единственный был бы повеситься, но вы же пишете ?....
+2–
ответить
Фильм "Терминатор", снятый более сорока лет назад в 1984 году прекрасно это иллюстрирует - там тоже ребята понадеялись на искусственный интеллект и дали волю машинам, отдав под их контроль ядерное оружие. А ИИ, буквально через секунду после получения допуска, развязал ядерную войну против всех, ибо счел человечество угрозой своему существованию. Если это не предупреждение всем нам, то я не знаю, как еще предупреждать...
Вообще, фильмы, несмотря на то, что снимаются ради развлечения и получения прибыли, могут здорово помочь и даже спасти жизнь. Такой пример: в нашем дачном обществе есть пруд, куда сливаются излишки воды для полива из большой трубы, ведущей в другое общество. То есть эта труба постоянно работает на ВЫДАЧУ воды - чуть выше нее находится насосная станция.
В жаркие летние дни люди загорают на берегу этого пруда, многие купаются - вода теплая и относительно чистая. У меня же в памяти стоит эпизод из фильма "Пункт назначения", где парня затянуло в трубу бассейна, поэтому я запрещал своим детям там купаться. И вот в один ужасный день я узнаю о трагедии: механик переключил насосную станцию на ЗАБОР воды из пруда и десятилетнего мальчика буквально затянуло в эту трубу. Спасти его не удалось. Я с содроганием думаю, что это мог быть мой ребенок, если бы я не был столь мнительным.
+7–
ответить
СержСаныч➦Denial• 30.05.25 16:11🇷🇺
"Если у вас паранойя, это не значит, что за вами не следят" (с) Как говорил один знакомый психиатр: "Паранойя -единственное заболевание, которая продляет жизнь больному." Правильно поступили. Если есть вероятность опасности -надо детей ограждать. Всё равно мужчины -это случайно выжившие мальчики.
+3–
ответить
Ragoon➦Denial• 30.05.25 16:51🇺🇸
Должен заметить, что нормы ТБ требуют установки защитных рещёток и ограждений.
А закон - уголовного наказания за подобное небрежение требованиями техники безопасности.
+5–
ответить
Denial➦Ragoon• 30.05.25 17:12🇷🇺
К большому сожалению, у нас, пока кто-нибудь не погибнет или не покалечится - ничего не делают для ТБ. "А, нормально! За столько лет ничего не произошло - чего париться?". И происходит трагедия. Сейчас да, огородили пруд забором, везде развешали предупреждающие надписи. Главному инженеру дали два года, таскали и председателя. Но ребенка-то не вернешь...
+3–
ответить
" у нас, пока кто-нибудь не погибнет или не покалечится - ничего не делают для ТБ."
Не делает рядовые люди или их власть заставляет не делать? Или даже власть заставляет, но умный народ знает лучше и сопротивляется "бессмысленным" требованиям?
И в какой такой сфере работает вы сами, что в прийти и посмотреть на идеальный порядок?
+-3–
ответить
No Nik➦Ragoon• 31.05.25 01:40🇷🇺
От того что тебя утянет насосом под воду к решетке, это тебя не спасет от утопления
+0–
ответить
Галоша➦Ragoon• 25.06.25 15:26🇷🇺
Живу в городе. Торговый центр трехэтажный, ладно меж этажами не закрыты двери пожарного запасного выхода, но не на улицу . Попробуй сделай замечание. что Тебе больше всех надо?
+0–
ответить