Как связаны Оппенгеймер и создатели ChatGPT

Главный редактор журнала Noema Натан Гарделс размышляет о «моменте Оппенгеймера» в контексте искусственного интеллекта — перевели его эссе о том, действительно ли развитие соцсетей сродни созданию атомной бомбы и насколько экзистенциальный ужас от ИИ соотносится с реальностью.

Кинорежиссер Кристофер Нолан разговаривал с учеными, которые занимаются искусственным интеллектом и переживают «момент Оппенгеймера», то есть опасаются разрушительного потенциала своего проекта. «Я рассказываю историю Оппенгеймера, — размышлял Нолан о своем байопике, — потому что это важная история, но еще и предостерегающая». Некоторые уже сравнивают основателя OpenAI Сэма Альтмана с отцом атомной бомбы.

Биографы называли Оппенгеймера «американским Прометеем», потому что он взломал секрет ядерного огня, чтобы высвободить ужасную энергию, которая, как он тогда опасался, может испепелить цивилизацию.

Альтман тоже задается вопросом, не сделал ли он «что-то действительно плохое», продвигая генеративный ИИ с помощью ChatGPT. Грегори Хинтон, которого называют крестным отцом ИИ, ушел из Google, заявив, что в некотором смысле сожалеет о работе всей своей жизни по созданию машин, которые умнее людей. Он предупредил: «Трудно понять, как можно помешать плохим игрокам использовать его в плохих целях». Другие его коллеги говорили о «риске исчезновения из-за ИИ», который стоит в одном ряду с другими экзистенциальными угрозами вроде ядерной войны, изменения климата и пандемии.

Для Юваля Ноя Харари генеративный ИИ представляется не меньшим разрушителем обществ или «разрушителем миров», чем атомная бомба. На этот раз разумные стали богами, порождая неорганических потомков, которые однажды могут вытеснить своих прародителей. Несколько лет назад Харари выразился так: «История человечества началась, когда люди создали богов. Это закончится, когда люди станут богами».

Как объяснил Харари в эссе для The New York Times: «В начале было слово. Язык — это операционная система человеческой культуры. Из языка возникают миф и закон, боги и деньги, искусство и наука, дружба и нации. И компьютерный код. Владение языком для ИИ означает, что теперь он может взламывать операционную систему цивилизации и манипулировать ею».

Тысячи лет мы, люди, жили в мечтах других людей. Мы поклонялись богам, преследовали идеалы красоты и посвящали свою жизнь делам, возникшим в воображении какого-нибудь пророка, поэта или политика. Вскоре мы также обнаружим, что живем внутри галлюцинаций нечеловеческого разума.

Скоро мы, наконец, столкнемся лицом к лицу с демоном Декарта, пещерой Платона, майя. Завеса иллюзий может опуститься на все человечество, и мы, возможно, уже никогда не сможем приподнять эту завесу — и даже осознать, что она здесь.

Эта перспектива нечеловеческого существа, написавшего наше повествование, настолько тревожит израильского историка и философа, что он настоятельно советует гомо сапиенс остановиться и дважды подумать, прежде чем уступить господство технологиям, которые мы обеспечиваем.

«Настало время считаться с ИИ до того, как наша политика, наша экономика и наша повседневная жизнь станут от него зависеть», — предупреждают он, Харрис и Раскин. «Если мы будем ждать, пока начнется хаос, будет слишком поздно его исправлять».

Голливудский сценарий маловероятен

Вице-президент Google и его коллеги из Института искусственного интеллекта Квебека не видят голливудского сценария в том, что злодейский ИИ начнет буйствовать. Вместо этого они обеспокоены тем, что мир сосредоточился на «экзистенциальной угрозе» где-то в далеком будущем, а не на явных опасностях сегодняшнего дня.

То, что беспокоит их больше всего, уже налицо: массовая слежка, дезинформация и манипуляции, использование ИИ в военных целях и широкомасштабная замена целых профессий.

Для этой группы ученых и технологов «исчезновение из-за ИИ — маловероятный сценарий, который зависит от сомнительных предположений о долгосрочной эволюции жизни, интеллекта, технологий и общества. Это также маловероятный сценарий из-за множества физических пределов и ограничений, которые сверхразумная система ИИ должна будет преодолеть, прежде чем сможет «сойти с ума» таким образом. Существует несколько естественных контрольных точек, где исследователи могут помочь снизить экзистенциальный риск ИИ, решая реальные и неотложные проблемы, не делая экзистенциальный риск глобальным приоритетом».

По их мнению, «вымирание вызывается одним из трех способов — это конкуренция за ресурсы, охота и чрезмерное потребление или изменение климата и окружающей среды таким образом, что возникающие условия приводят к гибели. Ни один из этих трех случаев неприменим к ИИ в его нынешнем виде».

«На данный момент ИИ зависит от нас, и сверхразум, по-видимому, признает этот факт и будет стремиться сохранить  человечество, поскольку мы так же важны для существования ИИ, как растения, производящие для нас кислород. Это делает эволюцию взаимополезного сожительства между ИИ и людьми более вероятным результатом, чем конкуренция».

Назначить «бесконечную цену маловероятному исходу» вымирания было бы равносильно тому, чтобы направить все наше технологическое мастерство на то, чтобы предотвратить падение метеорита на Землю, что имеет вероятность один к миллиону. Проще говоря, «экзистенциальный риск от сверхразумного ИИ не гарантирует, что он встанет в один ряд с изменением климата, ядерной войной и пандемиями».

Другой момент Оппенгеймера

Любые опасности, далекие или близкие, которые могут возникнуть в результате соперничества между людьми и подающим надежды сверхразумом, будут только усугубляться соперничеством между государствами.

Это приводит к другой мысли об аналогии между Сэмом Альтманом и Оппенгеймером, который в последние годы жизни подвергался преследованиям, изоляции и лишению официального допуска к секретным службам. Его «преступление» — противодействие развертыванию водородной бомбы и призыв к сотрудничеству с другими странами, в том числе с противниками, для контроля над использованием ядерного оружия.

Выступая перед учеными в области ИИ в Пекине, Альтман также призвал к сотрудничеству в том, как регулировать использование ИИ. «В Китае одни из главных талантов в области искусственного интеллекта в мире», — сказал он. Для управления передовыми системами «требуются лучшие умы со всего мира. С появлением все более мощных систем искусственного интеллекта ставки глобального сотрудничества как никогда высоки».

В верхней части списка явных и реальных опасностей, исходящих от ИИ, находится то, как он может быть использован в американо-китайском конфликте. Как предупреждает Харари, с такой угрозой нужно считаться сейчас, а не тогда, когда она осознается. Ответственные игроки с обеих сторон должны проявить мудрость, которую нельзя передать машинам, и сотрудничать, чтобы снизить риски. Для Альтмана пережить другой «момент Оппенгеймера» означает еще больше приблизить экзистенциальный риск.

Госсекретарь США Энтони Блинкен и министр торговли Джина Раймондо признали, что «ни одна страна или компания не может формировать будущее ИИ в одиночку. Только благодаря объединению внимания, изобретательности и сотрудничеству международного сообщества мы сможем полностью и безопасно использовать потенциал ИИ».