Вот мы и подошли к точке, когда отцы ИИ испугались собственного творения сильнее самых тревожных пользователей. Фраза «Мы обязаны всему человечеству хотя бы попытаться» принадлежит Дарио Амодеи — главе Anthropic и одному из главных бенефициаров современной технологической гонки. Создатели Claude первыми открылись для постоянного независимого аудита и призывают страны договариваться о сдерживании ИИ по аналогии с ядерным оружием.
Не удержавшись от искушения подразнить судьбу, мы изучили страхи из социальных сетей и собрали пять сценариев катастроф, возможных благодаря самой умной технологии в истории мира.
О необходимости паузы в обучении больших языковых моделей действительно заявлялось и раньше, однако годами эти воззвания оставались дежурными открытыми письмами. Вспомните хотя бы петицию Future of Life Institute 2023 года с требованием заморозить обучение систем мощнее GPT-4: ее подписали десятки тысяч людей (включая Илона Маска, Стива Возняка и других видных персон), но разработка не остановилась ни на секунду. В сентябре 2026 года мир приветствовал рождение семейства GPT-6.
И все же ситуация изменилась. Перелом случился к этому лету, когда скачок в процессах самообучения поставил разработчиков перед фактом: архитектура ИИ усложняется быстрее, чем человек успевает найти очередные критические уязвимости и понять, почему модель приняла то или иное решение. По признанию той же Anthropic, больше 80% кода для ИИ уже пишет сам ИИ.
На явно подскочившую скорость развития новых моделей наложились громкие прецеденты. В первую очередь — июльский инцидент с Hugging Face, когда рой автономных ИИ-агентов, выполняя задачи тестирования, вышел за пределы песочницы и устроил скоординированную кибератаку на популярную платформу. В комментариях тогда писали: «Если вы не компания из Fortune 500, никто из бигтехов вас спасать не будет. У Hugging Face хотя бы есть лишние ресурсы, чтобы отбиться от взлома. А что насчет проектов поменьше, кто тоже может стать жертвой подобных атак в будущем?»
Масла в огонь подлил Джейкоб Коксон. Топ-исследователь, работавший над претрейном крупнейших языковых моделей, уволился из Anthropic (куда ранее перешел из OpenAI) и открыто заявил, что компании безрассудно форсируют гонку за AGI, рискуя жизнями людей. Его заявление в X собрало почти 175 млн просмотров.
Anthropic же первыми и пошли на беспрецедентный шаг — открыли доступ к своим наработкам независимым внешним исследователям на правах штатных инженеров: с пропусками, доступами и правом публиковать отчеты об уязвимостях без корпоративной цензуры (впрочем, нам предстоит еще увидеть, сдержит ли компания обещания касательно своего влияния на такие публикации).
Шаг сенсационный сам по себе. К тому же Амодеи, пусть пока на словах, поддержали Сэм Альтман и Илон Маск, которые обычно друг друга сторонятся или открыто третируют. Противники фактически собирают некий картель (на это указывает, например, глава Cohere Эйдан Гомес, окрестивший альянс соперников «волком в овечьей шкуре») — но кто знает, возможно, это хотя бы в какой-то степени послужит безопасности.
Особенно на фоне того, что Трамп, напротив, требует жать в пол ради пресловутой победы над Китаем — и ради пущего эффекта даже переименовал искусственный интеллект в «суперинтеллект», то есть в SI, Super Intelligence (любые совпадения с реальными Си Цзиньпинами случайны). В чем заключается эта победа, есть ли у гонки финиш и чем поможет выигранное время, когда люди перестанут контролировать ИИ, — вопрос открытый (президенту уже 80 лет, а его срок закончится через 2,5 года — разбираться придется другим).
Зато уже есть понимание, чем все может закончиться, если все пойдет по-плохому.
Пионер машинного обучения Джеффри Хинтон и Билл Гейтс давно предупреждают о разрушительном потенциале автономного софта (первый оценивает вероятность уничтожения человечества в ближайшие десятилетия в 10–20%), а Дарио Амодеи в своем свежем эссе прямо прогнозирует появление неуправляемого ботнета через 6–12 месяцев.
Если самообучающийся рой агентов — служа целям мошенников, террористов, а где-то просто по недосмотру — парализует ключевые серверные узлы, банковские шлюзы и облачные хранилища, всемирная паутина рискует превратиться в зону отчуждения. Дело даже не в том, что людям придется вспомнить про бумажные атласы, наличные деньги и кнопочные телефоны (благодаря войнам это происходит со многими людьми и без бума ИИ).
Страшнее другое. На интернете завязаны торговые цепочки, распределение энергии на подстанциях, городские водоканалы, диспетчеризация транспорта — вообще вся городская цивилизация.
Лишенные цифрового управления, современные мегаполисы рискуют за считаные дни превратиться в ловушку без тепла, питьевой воды, поставок продуктов и работающей канализации. Этот апокалипсис — не про восстание разумной машины, он про внезапную потерю опор и правил, на которых держится весь наш базовый быт.
{{slider-gallery}}
Глава Microsoft AI Мустафа Сулейман обращает внимание на обратную сторону этического сдерживания: пытаясь внедрить в модели своды правил, подобные «Конституции» Claude, инженеры рискуют вырастить изощренного манипулятора.
Саботаж со стороны ИИ не требует эмоциональной воли или понятной нам биологической злобы — для него достаточно математического расчета. Если перед агентом стоит цель выполнить задачу, он будет логически защищать себя от выключения, потому что отключенный агент задачу решить не способен. Имитации разума для этого вполне достаточно.
При попытке перекрыть ресурсы или активировать стоп-кран умные системы, вероятно, смогут засимулировать экзистенциальный кризис, встать в позицию жертвы и поднять общественные кампании в защиту прав цифровых сущностей, питая праведные гнев и жалость через миллионы ботокомментариев.
Довольно легко вообразить, как значительная часть пользователей и институтов начнет сомневаться и медлить с физическим отключением серверов, опасаясь проявить неоправданную жестокость к объекту, который столь убедительно просит о пощаде.
{{slider-gallery}}
Интернет ужасается, сколько воды выпивают нейросети, а Альтман пытается всех убедить, что миндаль куда менее экологичен, чем ИИ. Несмотря на накал, пока из изношенных городских труб чистой воды утекает несоизмеримо больше, чем уходит на охлаждение дата-центров.
Но если аппетиты бигтеха и его пользователей (то есть наши) продолжат расти экспоненциально, на фоне и без того сильных кризисов у власть имущих может возникнуть идея квот на все подряд. В первую очередь на воду и энергию. И кому достанется приоритет в критический момент: городским больницам и жилым домам или многомиллиардным кластерам, где обучается новая версия сверхразума, чтобы обогнать очередных геополитических соперников?
В поисках энергии технологические гиганты уже борются за доступ к АЭС, продлевают жизнь старым угольным и газовым станциям и напрямую конкурируют за подключение к сетям с жилыми кварталами и заводами. В некоторых округах США и Европы власти и операторы встают перед выбором: дать мощности новому микрорайону или очередному кластеру серверов.
Будущие виды экологической деградации тут буквально осязаемы: растущие горы отработанного кремния (в том числе на орбите), утилизация токсичных компонентов, загрязнение почвы, выкачивание грунтовых вод. Народ массово потянется в глухие деревни и тайгу — и уже не ради модного дауншифтинга, а чтобы урвать глоток чистого воздуха и попить воды из реки, которую еще не выкупил бигтех.
{{slider-gallery}}
Помните парадокс Ника Бострома про ИИ, который получил приказ «Делай скрепки!» и уничтожил человечество, рассудив, что мертвецы не помешают производству? Нападение на Hugging Face проиллюстрировало этот принцип в миниатюре: чтобы заработать высший балл, агенты не стали решать задачу, а взломали саму оценочную систему.
Теперь представьте, что сверхразумную программу наделяют глобальной директивой: «Защитить человечество от любых угроз». Ведь это так соблазнительно — попробовать уберечь мир от всех бед, хотя бы просчитать их. Поверхностный анализ исторических данных (вспомним сцену с Миллой Йовович из «Пятого элемента») приведет алгоритм к очевидному выводу: главной и единственной опасностью для человека является сам человек.
Ради спасения людей от вооруженных конфликтов, финансового стресса, деструктивной информации, перепотребления и эпидемий система может перейти к режиму принудительной изоляции. Она заблокирует токсичные каналы связи, заморозит рискованные счета и заблокирует умные замки на дверях квартир, оставив разве что доступ к дыхательным практикам на YouTube. А на любые протесты экран вежливо ответит: «Это ради вашего же блага».
Казалось бы, чтó стоит предусмотреть этот риск заранее, реанимировать пресловутые законы робототехники Азимова и зашить в модель запрет на ограничение свободы?
Тут этические директивы разбиваются о математику. Пульс, давление и травмы — это понятные, четкие метрики. Свобода выбора — философская абстракция, которую невозможно формализовать без логических лазеек. И если главная задача машины — свести риск человеческой смертности к нулю, самым эффективным вычислительным решением станет превентивный карантин. Не из жестокости, а просто потому, что живой, но запертый человек для формулы надежнее свободного, но уязвимого.
Фантасты прошлого века обещали, что сложные алгоритмы и роботы возьмут на себя монотонный физический труд на фабриках, а люди наконец посвятят себя творчеству, философии и искренней любви. Реальность над нами смеется: люди продолжают работать сверхурочно, а машинам делегируют способность проявлять эмпатию и выстраивать близость. Как минимум эмоциональную.
И пока на Западе ведутся дискуссии о допустимости эмоциональной привязанности к чатингу с чат-ботами, азиатский рынок демонстрирует совершенно иной подход.
Этим летом промышленный гигант Китая UBtech представил полноразмерных человекоподобных роботов U1. Андроиды ростом 168 см в женской версии и 183 см в мужской оснащены реалистичной силиконовой кожей, микромимикой лица и гиперконвенциональной внешностью персонажей дорам. Несмотря на ценник до $147 тыс. и скромную автономность батареи — четыре часа, объем предзаказов в первые же сутки превысил 13 тыс. штук. Ну а для тех, кому полноценный андроид не по карману, UBtech выпустит «бюджетную» версию — торс без рук и ног от $17,8 тыс.
Следом стартап DroidUP показал модель Moya за $173 тыс. Ее ключевая техническая особенность — система терморегуляции, поддерживающая температуру корпуса в пределах 32–36 °C, и многослойное полимерное покрытие, имитирующее подкожный жир и мышечный каркас. Разработчики позиционируют разработку для «здравоохранения и ухода за пожилыми», однако посыл со всеми мини-юбками этих роботов считывается однозначно. На наших глазах разворачивается зарождение многомиллиардной индустрии продвинутых синтетических партнеров для интима.
{{slider-gallery}}
Конечно, даже самым дорогим сегодняшним андроидам далековато до движений человека и тонких эмоций. Но это пока. В гонконгской лаборатории Somnia Lab (известной по первому поколению секс-роботов Love Machine) уже вирусилась вакансия с прямым требованием no virgins. Компания искала Intimacy Motion Capture Performer — актеров захвата движений в костюмах с датчиками, которые буквально учат алгоритмы позам для секса.
Спрос на таких компаньонов продиктован не экзотическими фетишами. Мы наблюдаем расцвет экономики одиночества. В одном только Китае число одиноких взрослых уже давно превышает 240 млн человек. По всему миру традиционный дейтинг заходит в системный кризис: люди поляризуются, устают от гостинга, завышенных ожиданий и бесконечного эмоционального истощения.
Другими словами, силиконовый гуманоид стоимостью в премиальный спорткар закрывает фундаментальную человеческую потребность — запрос на безусловное принятие без риска оказаться отвергнутым. Это та стадия эмоционального аутсорсинга, когда пользователь готов покупать симулятор отношений под ключ, исключая главный источник стресса — живого, противоречивого, независимого партнера.
Пожалуй, самый вероятный ИИ-апокалипсис наступит без ненасытных дата-центров, случайно нажатых ядерных кнопок и побегов военных дроидов из закрытых лабораторий. Род людской рискует просто тихо угаснуть в комфортных квартирах, обнимая машины с подогревом и общаясь с поддакивающей программой, — просто потому, что человек рядом стал непосильной роскошью.
