Кто здесь: как отличить ИИ от человека в тексте

В конце лета этого года The Guardian писала о скандале: некая Марго Бланшар, представлявшаяся журналисткой, несколько месяцев обманывала как минимум шесть изданий, включая Business Insider и Wired, сдавая им сгенерированные AI тексты.

В разных медиа у нее вышли монолог женщины, впервые ставшей мамой в 45 лет, эссе об удаленной работе, текст о паре, которая поженилась внутри игры Minecraft, и несколько других историй. Все ее материалы издания публиковали без фактчека.

Когда Бланшар отправила очередной питч в Dispatch, редактор решил проверить факты и заподозрил, что он может быть составлен с помощью AI, поскольку он не нашел в интернете никакой информации про описанных людей. Об этом узнали другие медиа, и в итоге издания, которые сотрудничали с Бланшар, удалили ее статьи.

ИИ активно продвигается во всем, что касается работы с текстами, а мы исследовали эту тему с экспертами.

Совместные с GPT посты набирают больше реакций

Еще пару лет назад отличить ИИ-текст от человеческого можно было без особых усилий. Сухой, гладкий, выверенный, нарочито позитивный, с шаблонными оборотами и повторами, синтаксическими и лексическими клише, однотипными словами и фразами, а иногда местами просто с неуклюжим набором слов, без опечаток и словесных оплошностей и, конечно, с пресловутыми длинными тире — так выглядел текст, созданный нейронкой.

Сегодня ИИ настолько проапгрейдился, что создать текст довольно высокого качества для него не проблема, а отличить человеческий текст от нейронного уже становится задачкой со звездочкой. Сгенерированные тексты все еще можно обвинить в неумении понимать и оценивать контекст и в отсутствии творческого мышления и разноплановых эмоций, но искусственный и человеческий текст — это уже не две отдельные четко очерченные территории. 

В реальности большинство текстов становятся комбинированными продуктами и значение обретает лишь степень этой комбинированности.

{{quote1}}

‍{{slider-gallery}}

Нейросеть не умеет отвечать за свои слова. Пока не умеет

С учетом того, что граница между сгенерированным и искусственным текстом со временем перестает просматриваться, в реальности читателю становится гораздо важнее понимать не кто конкретно автор текста — человек или ИИ, а то, сколько в нем человеческого и искусственного. Кто, в конце концов, ответственное лицо.

{{quote2}}

{{quote3}}

Пока люди в основном плохо распознают сгенерированные ИИ тексты, но способность отличать человеческий текст от искусственного можно эффективно тренировать — через целенаправленное обучение с подробной обратной связью. 

К таким выводам пришли авторы исследования по обучению распознавания ИИ-текстов. Они с помощью чата GPT-4o сгенерировали несколько сотен разножанровых текстов и показали пары текстов 254 участникам, которые были случайным образом распределены по двум группам. В одной группе люди сразу после эксперимента получали обратную связь, а в другой — только после его завершения. В первой группе участники показали гораздо более точное распознавание ИИ-текста и большую уверенность в своих оценках. Участники в группе без обратной связи допустили больше всего ошибок именно тогда, когда были наиболее уверены в своих ответах.

По словам авторов исследования, оно может быть важным для образовательной сферы, поскольку способность распознавать ИИ-контент определенно пригодится людям в современном мире, а вот ложная уверенность в этой области может навредить.

{{quote4}}

Есть и более тревожные вопросы. Что происходит с человеческим мозгом, когда мы пишем с помощью ИИ? Исследование MIT Media Lab 2024 года показало неожиданный результат. Ученые подключили студентов к ЭЭГ и попросили написать эссе тремя способами: самостоятельно, с поисковиком и с чатом GPT. 

В результате, когда студенты писали сами, их мозг показывал мощную распределенную активность — работали зоны памяти, языка, планирования, критического мышления. С поисковиком активность была средней. А с ChatGPT — минимальной. 

Мозг почти не работал. Сами студенты при этом чувствовали, что работают активно, но нейронные данные показали: они находились в режиме легкого потребления, а не глубокого мышления. Ученые назвали это «когнитивным долгом» — ситуацией, когда ты получаешь результат быстро, но платишь тем, что твой мозг атрофируется.

Кроме того, Родион Карнеев считает, что нейросеть может быть и творческой, и с критическим мышлением, и условно понимать контекст — все зависит от того, как с ней работать: «“Голая” нейросеть — нейросеть без системных промптов либо с теми системными промптами, которые заложил в нее разработчик, — отличается от подготовленной и “запромпченной” нейросети очень сильно, поэтому при грамотной работе и грамотном подходе нейросеть вполне может стать творческой. 

Есть много исследований, которые говорят о том, как сложно нейросети работать с все увеличивающимся контекстом, например, в рамках одного чата. Однако и здесь все на стороне человека. Он может научить работать нейросеть с нужными ему контекстами и ограничить ее».

{{slider-gallery}}

Выживут те, кто развивает то, что нейросеть пока не может

Напрячься уже сейчас стоит и тем, кто работает с текстами профессионально, — журналистам и редакторам, у которых в силу насмотренности и начитанности формируется чувствительность к речевым оборотам живых авторов и «неживых».

«Нейросеть пишет статистически правильно, но именно поэтому слишком усредненно. Однако все зависит от того, как именно настроить эту нейросеть. В обычном случае речь идет о “голой” нейросети, а не о подготовленной. Через год-два редакторы тоже начнут ошибаться чаще. Например, эксперименты, проведенные лабораторией Penn State PIKE, показали, что люди могут различать сгенерированный текст только примерно в 53% случаев в условиях, где случайное угадывание дает 50% точности. С каждым месяцем, с каждой новой моделью эта разница “между” все сужается.

Выживут не те, кто пишет “лучше нейросети”, а те, кто развивает то, что нейросеть пока не может: живой опыт, неочевидные связи между дисциплинами, готовность рисковать мыслью. 

Сейчас нужно говорить о способности проектировать условия для становления смысла в распределенной человеко-машинной системе. Задача — занять позицию “посередине” в человеко-машинных сборках, беря лучшее у каждого из полюсов этого континуума», — полагает Родион Карнеев.

Как устроены детекторы ИИ и можно им верить?

Детекторы ИИ-текстов (Winston AI, Originality.ai и Copyleaks — лидеры рынка с заявленной точностью 92–99,98%), по мнению Родиона Карнеева, лишь иллюзия контроля: «Завтра любая система научится обходить детектор, поэтому стоит акцентировать внимание на культуре прозрачности и открытости в человеко-машинных сборках. 

По мере того как машинно-сгенерированный текст приближается по качеству к человекоподобному, размер выборки, необходимый для детекции, увеличивается. Детекция достижима, за исключением случаев, когда человеческие и машинные текстовые распределения неразличимы по всему их спектру. Абсолютно точных детекторов нет и никогда не будет».

{{slider-gallery}}

Проблема не в том, что нейросеть заменит человека в тексте

Что значит «Я пишу без нейросетей» в 2025 году при условии, что мы используем автокоррекцию, проверку грамматики, поисковик?

«Все эти инструменты уже содержат машинное обучение. Граница между «человеческим» и «машинным» письмом размыта изначально, если доводить эту логику до конца. Мы пишем в среде, насыщенной алгоритмами. Даже выбирая слова, мы опираемся на автодополнение, которое влияет на наши формулировки незаметно для нас. Думаю, в будущем (это только прогноз) можно будет говорить о нескольких типах письма. 

Например, конвейерный контент от нейросетей с минимальной редактурой; гибридное письмо; «медленное» письмо. Последнее требует образования, времени, экономического и социального капитала. 

Профессор может позволить себе писать статью самостоятельно полгода. Фрилансер, которому нужно постоянно генерировать новые тексты, — думаю, что нет. Ценным здесь является не отсутствие нейросетей, а некоторое присутствие мышления.

Текст может быть написан полностью человеком, но быть поверхностным, клишированным, пустым. И может быть создан в гибриде, но содержать глубокое суждение, оригинальную мысль, критическое различение.

Речь идет о формировании новой грамотности — способности сочетать тематические знания, критическое мышление и умное использование нейросетей. Текст, где автор думал, различал, выбирал каждое слово осознанно — независимо от инструментов. Текст как результат когнитивной работы, а не делегирования. Важно не чем написано, а как автор работал с границей между своим мышлением и машинной помощью. 

Роскошью станет не маркер «без использования нейросетей», а ощущение мыслительного процесса в тексте. Читатель будет ценить тексты, где чувствуется, что автор рисковал мыслью, а не просто генерировал контент», — объясняет Родион Карнеев.

Возвращаясь к исследованию MIT Media Lab, можно предположить, что реальная угроза вовсе не в том, что нейросеть заменит человека в текстах.

«Человечество может утратить практику медленного, рефлексивного, рискованного мышления, такого, которое требует усилия формулировки, столкновения с неопределенностью, пересборки идей. 

Если делегировать это машине, мы получим общество, способное потреблять готовые смыслы, но не порождать новые. Однако сценарий не предопределен. 

Возможна симбиотическая когнитивная экология, где письмо трансформируется: нейросеть берет рутину (черновики, структуру, стиль), а человек, в свою очередь, критическое суждение, оригинальную перспективу, ответственность за смысл. Нужен баланс и срединность, нужно сотворчество, работа вместе с нейросетями. 

Проблема в том, что этот баланс не возникает сам: нужны образовательные институты, культурные практики, индивидуальная дисциплина», — говорит Карнеев.