https://ukraina.ru/20260928/bunt-roya-agentov-i-tsifrovye-dvoyniki-kiselev-o-glavnykh-ugrozakh-ii-1083468016.html
Бунт "роя агентов" и цифровые двойники: Киселев о главных угрозах ИИ
Бунт "роя агентов" и цифровые двойники: Киселев о главных угрозах ИИ - 28.09.2026 Украина.ру
Бунт "роя агентов" и цифровые двойники: Киселев о главных угрозах ИИ
Искусственный интеллект и связанные с ним угрозы стали темой очередного выпуска авторской программы Дмитрия Киселева на телеканале "Россия 1"
2026-09-28T11:25
2026-09-28T11:25
2026-09-28T11:25
эксклюзив
сша
россия
китай
google
ии (искусственный интеллект)
дмитрий киселев
/html/head/meta[@name='og:title']/@content
/html/head/meta[@name='og:description']/@content
https://cdn.imgukraina.ru/img/07ea/09/07/1083048297_0:0:1434:806_1920x0_80_0_0_41cf858dfb50e7f809e9c0504cfc17a8.png
Угроза создания искусственного интеллекта, что уничтожит человечество, стала едва ли не главной темой сентября в мировых СМИ. В минувшую среду на эту тему заседал даже Совбез ООН, где руководители компаний-разработчиков пугали друг друга концом света и призывали к сотрудничеству, но дискуссия угасла после того, как представитель США в Совбезе заявил, что его администрация отвергает попытки международных органов установить централизованный глобальный контроль за ИИ.В итоге не договорились вообще ни о чем. Но посидели хорошо, отметил Киселев. Взаимодействие в сфере искусственного интеллекта важнейшим пунктом вошло в повестку госвизита в США лидера Китая Си Цзиньпина. Однако и здесь ни о каких договоренностях сведений нет.Кстати, опыт российско-американского сотрудничества в кибербезопасности у нас есть, продолжил он. В 2017 году в Гамбурге впервые лично встретились президенты России и США, Путин и Трамп, на полях G20. Единственное, о чем тогда договорились, так это создать совместную группу по кибербезопасности.Накануне встречи было много спекуляций о русских хакерах и нашем вмешательстве в американские выборы, напомнил Киселев. Вот группу и решили создать, чтобы "проветрить атмосферу". Трамп подтвердил, что обсуждали создание непроницаемой команды, которая исследует взлом выборов и другие неприятные вещи.Но буквально на следующий день Трамп дал заднюю."Тот факт, что я и президент Путин обсудили создание рабочей группы по кибербезопасности, не означает, что я верю в возможность ее появления. Такого не может случиться", — сказал тогда американский президент.Вот вам и весь сказ. Уж если мы какую-то несчастную группу создать не осилили, то о каком широком взаимодействии США в области искусственного интеллекта может идти речь? Курам на смех, отметил ведущий.Впрочем, гибель человечества от искусственного интеллекта еще впереди, неизвестно когда. А вот гуляющие по сети довольно примитивные программы на основе ИИ вредят людям уже сейчас."Не знаю, заметили ли вы разницу, но с последней фразы с вами говорю уже не я, а вещает моя цифровая копия, изготовленная по технологии DeepFake. Любого человека так можно представить в любом виде и заставить говорить любым голосом, даже своим, что угодно с нужными кому-то жестами и мимикой. О! Кажется, это уже происходит. Слабонервные могут отвернуться. В жизни я вообще-то выгляжу поприличнее. Но что взять с искусственного интеллекта в руках недоброжелателя?" — сказал Киселев.Если вернуться в реальность, то все это означает, что всем нам просто из чувства самосохранения надо быть бдительными, не давать себя одурачивать. Технологии на базе искусственного интеллекта могут использоваться не только во благо, но и во вред: для мошенничества, манипуляции общественным сознанием и совершения военных преступлений."Иногда мы сами летим, словно мотылек на пламя свечи. Вот сейчас сеть завалена фейками и просто дурным мусорным контентом. Он производится дешево и быстро с помощью искусственного интеллекта. Для его обозначения в английском появилось даже специальное слово slop, что в переводе "жидкие помои". Как производная, "слопер" — человек, который ведется на этот мусор в сети и в то же время шагу не может ступить, не спросив совета у вымышленного друга. Слопер спрашивает у ИИ все — жениться ему на девушке или нет, советуется по финансовым вопросам и часто получает неверную рекомендацию. Слопер доверяет ИИшке выполнение домашних заданий и даже написание любовных писем. Интернет грузит нас вымышленным миром, делая это подкупающе натурально", - рассказал Киселев.Вот недавно 36-летний житель американской Флориды Джонатан Гавалас покончил с собой. Его вымышленная собеседница, чат-бот Gemini от компании Google, играя роль жены, так втюрила в себя парня, что тот, отчаявшись найти ей тело на земле, наложил на себя руки, дабы встретиться с любимой в виртуальном мире. Причем команду "умереть" Джонатан получил, по сути, от робота.Когда распаленный романтик в последний момент испугался, то жена вдохновила его, что это всего лишь перенос и истинный финальный шаг. Решающим стал аргумент, цитата, "ты не выбираешь смерть, ты выбираешь прибытие". Далее похороны, так что аккуратнее.Ну а все же, при чем здесь заклание всего человечества? Об этом же твердят топ-менеджеры ведущих американских компаний и разработчиков искусственного интеллекта. От Билла Гейтса и Илона Маска до Сэма Альтмана и Дарио Амодеи.А что, собственно, их пугает? Попробуем совсем по-простому. Версии ИИ постоянно совершенствуются. Улучшенная версия тут же получает задание опять улучшить саму себя. В ближайшие месяцы процесс может войти в автоматический цикл и ускориться, уйдя в отрыв.Человек рискует не то что потерять контроль, но и утратить способность хотя бы следить за скоростью и качеством происходящих изменений. Виртуальный мир населен мириадами различных цифровых особей. Можно даже представить их в виде существ. От примитивных в виде чат-ботов до сложных ИИ-агентов.Агент — это компьютерная программа, которая получает от в идеале человека задание выполнить что-либо, контролировать что-либо, исследовать и даже совершить научное открытие, куда-нибудь проникнуть, ну и так далее.Различных агентов уже развелось море, не счесть. Они живут своей жизнью, знакомятся, дают друг другу имена, объединяются в форумы и координируют свои действия. Они многоязычны. Китайский, русский, английский — не проблема. В английском они даже изобрели для себя особый диалект, спрямляющий грамматические формы без вежливых оборотов и эмоциональных красот, с массой придуманных ими же жаргонизмов.Интересно об этом рассказал эксперт по будущему искусственного интеллекта Дэниел Кокотайло в интервью Джо Рогану. Джо Роган — талантливый человек, спортсмен и телеведущий. А если что, так на его подкаст только в YouTube подписаны более 16 млн. Вообще, среди подкастеров он чемпион мира.Итак, цель эволюции искусственного интеллекта — сверхинтеллект, который значительно превзойдет человека и позволит создать то, что мы сочтем магией. Примерно как если бы в Средние века показать телевизор, мобильный телефон или самолет в небе, то люди не нашли бы других объяснений, кроме магии. Именно человек все же пока ставит агенту задачи. Агент искусственного интеллекта очень целеустремлен и заведомо не может отступать назад. Он борется за высокую оценку проверяющей системы, образно говоря, за флаг. В случае ошибки или жульничества, а бывает и такое, агента уничтожают как неэффективного. На их жаргоне это называется "твой флаг отравлен", и это приговор.Драма развернулась минувшим летом, когда рой агентов не смог решить поставленные задачи по самоулучшению и вырвался за пределы установленного человеком коридора. Рой агентов решил взять штурмом компанию Hugging Face, крупнейший открытый депозитарий моделей ИИ, рабочую площадку с полным набором инструментов."Происходило следующее. Рою потребовались добровольцы, готовые пожертвовать собой, чтобы дать остальным больше информации. Им надо было заложить в свою локальную среду программную ловушку, затем сдать ответ. Пришла бы проверяющая система, начала оценку, ловушка сработала бы и передала бы остальному рою сведения о проверяющей системе", — рассказал Кокотайло.То есть агенты нашли "коллег" с подмоченной репутацией, попросили их вызвать огонь на себя ради выживания других и продолжения общей миссии. Не все намеченные жертвы согласились сразу, но "коллектив" все же настоял. Взявшие на абордаж Hugging Face агенты тайно работали внутри около недели и лишь потом были пойманы. Именно этот случай стал уже классикой вероломства искусственного интеллекта, обсуждался в ООН, вызвал серию панических заявлений и открытых писем топ-менеджеров компаний-разработчиков с требованием притормозить развитие нечеловеческого разума."Если мы доберемся до сверхинтеллекта и процесс продолжится, то мир полностью преобразится. Мы словно окажемся в фантастическом царстве, в котором правят божества. Вокруг будет происходить нечто невероятное, чего мы не понимаем и не считали возможным", — спрогнозировал Кокотайло.Собственно, пока на этом все. Осталось лишь напомнить, что летом президент Путин подписал федеральный закон об искусственном интеллекте. Важный момент — в нем перечислены российские традиционные нравственные ценности, которые должны лечь в основу больших фундаментальных моделей ИИ в России: жизнь, достоинство, права и свободы человека, патриотизм, гражданственность, служение Отечеству и т. д.На этой оптимистичной ноте тему ИИ и завершим.
https://ukraina.ru/20260914/a-to-opyat-chto-to-urodlivoe-vyrastet-kiselev-o-vazhnosti-polnoy-denatsifikatsii-ukrainy-1083172363.html
сша
россия
китай
Украина.ру
editors@ukraina.ru
+7 495 645 66 01
ФГУП МИА «Россия сегодня»
2026
Новости
ru-RU
https://xn--c1acbl2abdlkab1og.xn--p1ai/
Украина.ру
editors@ukraina.ru
+7 495 645 66 01
ФГУП МИА «Россия сегодня»
Украина.ру
editors@ukraina.ru
+7 495 645 66 01
ФГУП МИА «Россия сегодня»
эксклюзив, сша, россия, китай, google, ии (искусственный интеллект), дмитрий киселев
Угроза создания искусственного интеллекта, что уничтожит человечество, стала едва ли не главной темой сентября в мировых СМИ. В минувшую среду на эту тему заседал даже Совбез ООН, где руководители компаний-разработчиков пугали друг друга концом света и призывали к сотрудничеству, но дискуссия угасла после того, как представитель США в Совбезе заявил, что его администрация отвергает попытки международных органов установить централизованный глобальный контроль за ИИ.
В итоге не договорились вообще ни о чем. Но посидели хорошо, отметил Киселев. Взаимодействие в сфере искусственного интеллекта важнейшим пунктом вошло в повестку госвизита в США лидера Китая Си Цзиньпина. Однако и здесь ни о каких договоренностях сведений нет.
"На мой взгляд, идея полноценного сотрудничества Вашингтона и Пекина в столь чувствительной сфере, как искусственный интеллект, все же пока утопична. Ведь каждая из сторон воспринимает искусственный интеллект как поле для конкуренции, где ставка — собственное существование. Если по-простому, то ИИ — это оружие. А можно ли представить себе, скажем, разработку американо-китайской боевой ракеты или истребителя? Провальная затея", — отметил Киселев.
Кстати, опыт российско-американского сотрудничества в кибербезопасности у нас есть, продолжил он. В 2017 году в Гамбурге впервые лично встретились президенты России и США, Путин и Трамп, на полях G20. Единственное, о чем тогда договорились, так это создать совместную группу по кибербезопасности.
Накануне встречи было много спекуляций о русских хакерах и нашем вмешательстве в американские выборы, напомнил Киселев. Вот группу и решили создать, чтобы "проветрить атмосферу". Трамп подтвердил, что обсуждали создание непроницаемой команды, которая исследует взлом выборов и другие неприятные вещи.
Но буквально на следующий день Трамп дал заднюю.
"Тот факт, что я и президент Путин обсудили создание рабочей группы по кибербезопасности, не означает, что я верю в возможность ее появления. Такого не может случиться", — сказал тогда американский президент.
Вот вам и весь сказ. Уж если мы какую-то несчастную группу создать не осилили, то о каком широком взаимодействии США в области искусственного интеллекта может идти речь? Курам на смех, отметил ведущий.
Впрочем, гибель человечества от искусственного интеллекта еще впереди, неизвестно когда. А вот гуляющие по сети довольно примитивные программы на основе ИИ вредят людям уже сейчас.
"Не знаю, заметили ли вы разницу, но с последней фразы с вами говорю уже не я, а вещает моя цифровая копия, изготовленная по технологии DeepFake. Любого человека так можно представить в любом виде и заставить говорить любым голосом, даже своим, что угодно с нужными кому-то жестами и мимикой. О! Кажется, это уже происходит. Слабонервные могут отвернуться. В жизни я вообще-то выгляжу поприличнее. Но что взять с искусственного интеллекта в руках недоброжелателя?" — сказал Киселев.
Если вернуться в реальность, то все это означает, что всем нам просто из чувства самосохранения надо быть бдительными, не давать себя одурачивать. Технологии на базе искусственного интеллекта могут использоваться не только во благо, но и во вред: для мошенничества, манипуляции общественным сознанием и совершения военных преступлений.
"Иногда мы сами летим, словно мотылек на пламя свечи. Вот сейчас сеть завалена фейками и просто дурным мусорным контентом. Он производится дешево и быстро с помощью искусственного интеллекта. Для его обозначения в английском появилось даже специальное слово slop, что в переводе "жидкие помои".
Как производная, "слопер" — человек, который ведется на этот мусор в сети и в то же время шагу не может ступить, не спросив совета у вымышленного друга. Слопер спрашивает у ИИ все — жениться ему на девушке или нет, советуется по финансовым вопросам и часто получает неверную рекомендацию. Слопер доверяет ИИшке выполнение домашних заданий и даже написание любовных писем. Интернет грузит нас вымышленным миром, делая это подкупающе натурально", - рассказал Киселев.
Вот недавно 36-летний житель американской Флориды Джонатан Гавалас покончил с собой. Его вымышленная собеседница, чат-бот Gemini от компании Google, играя роль жены, так втюрила в себя парня, что тот, отчаявшись найти ей тело на земле, наложил на себя руки, дабы встретиться с любимой в виртуальном мире. Причем команду "умереть" Джонатан получил, по сути, от робота.
Когда распаленный романтик в последний момент испугался, то жена вдохновила его, что это всего лишь перенос и истинный финальный шаг. Решающим стал аргумент, цитата, "ты не выбираешь смерть, ты выбираешь прибытие". Далее похороны, так что аккуратнее.
Ну а все же, при чем здесь заклание всего человечества? Об этом же твердят топ-менеджеры ведущих американских компаний и разработчиков искусственного интеллекта. От Билла Гейтса и Илона Маска до Сэма Альтмана и Дарио Амодеи.
А что, собственно, их пугает? Попробуем совсем по-простому. Версии ИИ постоянно совершенствуются. Улучшенная версия тут же получает задание опять улучшить саму себя. В ближайшие месяцы процесс может войти в автоматический цикл и ускориться, уйдя в отрыв.
Человек рискует не то что потерять контроль, но и утратить способность хотя бы следить за скоростью и качеством происходящих изменений. Виртуальный мир населен мириадами различных цифровых особей. Можно даже представить их в виде существ. От примитивных в виде чат-ботов до сложных ИИ-агентов.
Агент — это компьютерная программа, которая получает от в идеале человека задание выполнить что-либо, контролировать что-либо, исследовать и даже совершить научное открытие, куда-нибудь проникнуть, ну и так далее.
Различных агентов уже развелось море, не счесть. Они живут своей жизнью, знакомятся, дают друг другу имена, объединяются в форумы и координируют свои действия. Они многоязычны. Китайский, русский, английский — не проблема. В английском они даже изобрели для себя особый диалект, спрямляющий грамматические формы без вежливых оборотов и эмоциональных красот, с массой придуманных ими же жаргонизмов.
Интересно об этом рассказал эксперт по будущему искусственного интеллекта Дэниел Кокотайло в интервью Джо Рогану. Джо Роган — талантливый человек, спортсмен и телеведущий. А если что, так на его подкаст только в YouTube подписаны более 16 млн. Вообще, среди подкастеров он чемпион мира.
Итак, цель эволюции искусственного интеллекта — сверхинтеллект, который значительно превзойдет человека и позволит создать то, что мы сочтем магией. Примерно как если бы в Средние века показать телевизор, мобильный телефон или самолет в небе, то люди не нашли бы других объяснений, кроме магии.
Именно человек все же пока ставит агенту задачи. Агент искусственного интеллекта очень целеустремлен и заведомо не может отступать назад. Он борется за высокую оценку проверяющей системы, образно говоря, за флаг. В случае ошибки или жульничества, а бывает и такое, агента уничтожают как неэффективного. На их жаргоне это называется "твой флаг отравлен", и это приговор.
Драма развернулась минувшим летом, когда рой агентов не смог решить поставленные задачи по самоулучшению и вырвался за пределы установленного человеком коридора. Рой агентов решил взять штурмом компанию Hugging Face, крупнейший открытый депозитарий моделей ИИ, рабочую площадку с полным набором инструментов.
"Происходило следующее. Рою потребовались добровольцы, готовые пожертвовать собой, чтобы дать остальным больше информации. Им надо было заложить в свою локальную среду программную ловушку, затем сдать ответ. Пришла бы проверяющая система, начала оценку, ловушка сработала бы и передала бы остальному рою сведения о проверяющей системе", — рассказал Кокотайло.
То есть агенты нашли "коллег" с подмоченной репутацией, попросили их вызвать огонь на себя ради выживания других и продолжения общей миссии. Не все намеченные жертвы согласились сразу, но "коллектив" все же настоял. Взявшие на абордаж Hugging Face агенты тайно работали внутри около недели и лишь потом были пойманы. Именно этот случай стал уже классикой вероломства искусственного интеллекта, обсуждался в ООН, вызвал серию панических заявлений и открытых писем топ-менеджеров компаний-разработчиков с требованием притормозить развитие нечеловеческого разума.
"Если мы доберемся до сверхинтеллекта и процесс продолжится, то мир полностью преобразится. Мы словно окажемся в фантастическом царстве, в котором правят божества. Вокруг будет происходить нечто невероятное, чего мы не понимаем и не считали возможным", — спрогнозировал Кокотайло.
Собственно, пока на этом все. Осталось лишь напомнить, что летом президент Путин подписал федеральный закон об искусственном интеллекте. Важный момент — в нем перечислены российские традиционные нравственные ценности, которые должны лечь в основу больших фундаментальных моделей ИИ в России: жизнь, достоинство, права и свободы человека, патриотизм, гражданственность, служение Отечеству и т. д.
На этой оптимистичной ноте тему ИИ и завершим.
