.gif)
Даниил
Гаврилов
«Мир круто меняется, только когда
срабатывают безумные идеи»
срабатывают безумные идеи»
Как думает ИИ? Есть ли FOMO у ученых? Когда случится следующий «ChatGPT-момент»? Об этом мы поговорили с Даниилом Гавриловым — новым героем A-list SETTERS Mediа, одним из немногих российских исследователей, кто сегодня влияет на глобальную ИИ-повестку.
Даня начинал в исследовательской группе VK, затем трудился над новаторским ИИ-собеседником в стартапе Replika. Сейчас руководит лабораторией T-Bank AI Research: работы его команды публикуют на топовых конференциях наравне с Google DeepMind и OpenAI, цитируют в Беркли, Стэнфорде и других престижных университетах. Сам Гаврилов — за демократизацию науки: в его команде нет академической иерархии, а фокус — на идеях и результатах, не на дипломах.
«Языковые модели — самый реалистичный путь сделать ИИ умнее нас»
Ты из Черлака, небольшого поселка в Омской области. Как это повлияло на твой путь?
В Черлаке жил всего до трех лет. Потом переехали в Омск. Это не мегаполис, конечно, но и не глушь.
В целом самый обычный бэкграунд. В детстве бил палкой крапиву, потом играл в DOTA. Какие-то сдвиги в восприятии произошли, когда уехал в университет в Питер. У меня была максимально простая общага, а вокруг были ребята из суперкрутых лицеев и модных школ. Тогда впервые ощутил четкую мотивацию по-настоящему что-то узнавать и делать.
Ты упоминал, что технология NLP заинтересовала тебя еще в универе как самый «человечный» способ общения с ИИ. Расскажи, как пришел к этой мысли.
Я начал изучать машинное обучение на первом-втором курсе и быстро понял: пилить условные классификаторы картинок не мое. Хотелось больше драйва, перспективы. Чего-то, что ведет к сильному ИИ — пусть не сегодня и не завтра, но когда-нибудь.
Вот я и искал: что из уже существующих технологий поможет максимально приблизить эту цель? Ответом для меня стала обработка естественного языка. Потому что, как мне кажется, большую часть мыслительного процесса человека, даже образного и неявного, проще всего выгрузить в слова (хотя и не все с этим согласны). А без такой выгрузки не получится создать систему, которая будет мыслить не хуже человека.
Поэтому, как осознал после, языковые модели — самый реалистичный путь сделать ИИ умнее нас, чтобы он превосходил людей по когнитивным способностям.
А когда убедился, что выбрал верное направление?
С ростом популярности больших языковых моделей. Появились первые GPT, затем другие модели, и стало ясно, что именно LLM позволят решать задачи принципиально иначе.
Часто вспоминаю один показательный эксперимент того времени: ИИ-модели задавали вопрос, а она должна была найти в учебнике фрагмент с ответом. Я все думал: странно искать ответ, если у нас уже есть технологии, способные его сгенерировать. Ведь это сильно больший простор возможностей.
Если одна модель научится осмысленно читать, писать, переводить и даже решать логические задачи, она заменит десятки, сотни программ под каждую задачу. В дальнейшем вся область пошла именно по этому пути.
Часто ли ощущаешь технологии как чудо? Или у исследователя такого не бывает — только у пользователей?
Бывает, еще как. У многих такое чувство было в 2022-м, когда вышел ChatGPT. Это было реальное до и после. Внезапно мы столкнулись с чем-то, что работало слишком хорошо, и при этом никто даже близко не понимал, как это вообще устроено. Масштаб обучения казался немыслимым.
Да, позже опенсорс-модели перешагнули эту планку, индустрия все быстро догнала. Но в тот момент это был вау-эффект, и не только у пользователей. Очень многие исследователи и разработчики тогда сказали: «Это магия».
Помнишь, что первым делом спросил
у ChatGPT?
Кажется, попросил его написать стих в стиле гопника или что-то в этом духе. Хотел проверить границы: все вокруг тогда пробовали нащупать, на что эта модель не способна. Стих получился!
На тот момент ты уже работал в Т-Банке, за плечами были VK и Replika. Какой из этих этапов оказался определяющим и почему?
В VK я пришел еще на третьем курсе — был там ресерч-инженером. Если кратко, мне безумно повезло. Я оказался в нужной команде в нужное время и в роли, где меня никто не пинал за пользу бизнесу и я мог заниматься тем, что считал прикольным. Это сильно повлияло на то, как я сейчас вообще смотрю на ИИ и работу.
Потом перешел в Replika, там пробыл меньше года. Эта компания на тот момент была понятной точкой входа в NLP с очень сильной командой. И если в VK и Replika я был просто исполнителем, в Т-Банке начал двигаться в сторону ресерча и менеджмента.
«Смотрю на решение проблемы непрозрачности ИИ как на трамплин в будущее»
Когда мы попросили выбрать между практикой и теорией, ты сказал: «Практика без теории — глупость, а теория без практики — безумие. Предпочту теорию». Можешь объяснить?
Если правильно помню, в оригинале чуть иначе: «Практика без теории слепа, теория без практики мертва». Суть в том, что одно без другого не работает. И все же я больше верю в теорию: даже самая оторванная от жизни идея может эту самую жизнь перевернуть.
Больше того, мир круто меняется, только когда срабатывают безумные идеи. Почти все ключевые открытия человечества начинались с чистого полета фантазии. И наоборот, когда гипотезы подчинены исключительно существующей практике, все развивается скучно и предсказуемо, без преобразующих скачков. Или не развивается вовсе.
Значит, твоя команда берется исследовать вещи на грани понимания? Приведи пример.
— В том числе. Например, мы очень рано начали работать с интерпретируемостью ИИ. Хотя сама идея интерпретируемости не нова, до сих пор человеку неясно, как именно модели принимают решения. Мы решили рискнуть и пойти в эту область — сейчас у нас много научных публикаций, есть прогресс.
И все же пытаться с сегодняшними инструментами разобраться, как работает ИИ в мельчайших деталях, — та еще задача. Легко описать технически, но понять досконально — вряд ли. Причем это не как с квантовой физикой, где у нас, судя по всему, нет даже возможности заглянуть «внутрь». Все детали ИИ у нас перед глазами, просто расшифровать крайне сложно.
Дело в формирующемся сложном самосознании у ИИ или я «Матрицу» пересмотрела?
Тут вообще никакой конспирологии или восстания машин. Как я сказал, все вычисления видны разработчикам — дело в банальной запутанности и масштабности вычислений.
Эта запутанность возникает потому, что современные большие языковые модели очень эффективны и быстры — для этого их пришлось буквально ужать. Условно, в одну маленькую коробку впихнули знания и о квантовой физике, и о всех великих изобретениях, и о кошках. И таких коробок на складе памяти только одной модели — миллиарды. Поди разберись во всех взаимосвязях. Не получится просто сесть, понаблюдать за кодом и увидеть: «Ага, вот сейчас модель перебирает знания о кошках». Потому что в каждом вычислении всегда замешано что-то еще — зачастую неожиданное.
Человеческому мозгу сложно все это уместить. Поэтому сегодня появляются методы интерпретируемости — они направлены на то, чтобы распутать этот клубок. Например, можно создать специальную копию нейросети — не такую быструю, на которой легче отслеживать взаимосвязи. Ее можно исследовать, анализировать, направлять.
А если попросить саму модель объяснить, как она размышляет?
Были такие попытки, скептично к ним отношусь. Не готов драться за то, что это неправильный подход, — наоборот, если там будет прогресс, я очень быстро его подхвачу. Но пока выглядит так, что просить саму модель описать свои размышления — словно тащить себя за волосы из воды. А вот просить об этом другую модель — вполне реалистично.
Верю, что в перспективе мы перестанем смотреть на ИИ как на черный ящик, будем смотреть как на обычный код: вот где-то баг, его можно исправить. Это будет не завтра, но туда все движется.
Проблему непрозрачности позиционируешь как главную проблему в ИИ-индустрии сейчас?
Как одну из проблем, которая при этом может привести нас к серьезному прогрессу. Сейчас объясню. Непрозрачность обычно интерпретируют как проблему безопасности: мы не хотим, чтобы там ИИ делал что-то страшное, хотим его полностью контролировать. Безусловно, это важно, особенно когда выпускаешь такие системы в реальный мир. Хочется иметь какие-то гарантии, что они никого не оскорбят и не обманут.
Но я в большей степени смотрю на решение проблемы непрозрачности ИИ как на трамплин в будущее.
Вот к этой шкале от экзистенциальной паники до эффективного акселерационизма нахожусь где-то вообще перпендикулярно.
Потому что как только мы по-настоящему поймем, что происходит внутри моделей, откроется совершенно новый горизонт возможностей — и сегодняшние страхи и восторги будут просто неактуальны. Мы поймем, как сделать все гораздо лучше.
«Быстро привыкаешь к мысли, что кто-то прямо сейчас чертит точно такую же схему велосипеда»
Что тебя подтолкнуло сделать ставку на команду без PhD? Может, вдохновился кем-то?
Я просто начал строить такую среду, в которой сам хотел бы работать. И стараюсь дать другим ребятам возможности, которых у меня самого не было.
Если честно, у меня очень странный, стохастический путь: я был инженером, потом начал заниматься ресерчем. Это путь с малым шансом на успех: если человек осознанно хочет стать ИИ-исследователем, он идет в науку, в аспирантуру. А у меня за плечами только бакалавриат — дальше не пошел просто потому, что не выношу домашку.
Сейчас, к счастью, явно тренд на демократизацию: все больше лабораторий смотрят не на регалии, а на скиллы. Хотя это все еще не повсеместно: например, легендарный ученый Ян Лекун вообще не разговаривает с людьми без PhD о приеме на работу. Такой подход тоже работает, но это не мое.
Ну не нужно сидеть в университете до 25 лет, чтобы кто-то наконец сказал: «Вот теперь можешь заниматься наукой». Ведь ИИ-наука довольно близка к обычной разработке, отличие только в точке приложения усилий: у продукта это фичи, у ресерча — технологии, из которых потом могут вырасти фичи. Но инструменты и методы у нас в целом одни и те же: языки программирования, компьютеры, законы математики.
К тому же, по моему опыту, инженеры часто обладают отличным вижном. В отличие от исследователей, которые могут копать одну теоретическую тему десять лет, разработчики лучше чувствуют общий ландшафт технологий: что уже существует, чего не хватает и как это можно применить.
Есть, конечно, у исследователей свои сакральные знания: условно, как лучше писать статьи, как попасть на конференцию. Но этому реально научиться за месяц-два. То есть это просто небольшие лайфхаки, как чуть-чуть сместить угол мышления.
Что тогда для тебя определяющий критерий при выборе сотрудника? Как распознаешь потенциал?
Смотрю на заряженность, мотивацию. Горят ли у человека глаза, хочет ли он по-настоящему погружаться в ресерч, изучать и разбираться. Конечно, важны и практические скиллы. Но если выбирать между тем, кто супермотивирован, но при этом пока маловато знает, и тем, у кого тонна навыков и при этом нет внутренней уверенности, чем хочет заниматься, — я выберу первого.
Можешь дать парочку советов молодым исследователям: как начать карьеру в ИИ?
Важно вертеться и делать как можно больше прикольных проектов — дорога возникает под шагами идущего. Даже если нигде не работаешь, ищи видеокарты, читай статьи, пробуй играться с модельками. Все это даст насмотренность, понимание, какие технологии вообще существуют, как они устроены и что из них можно собрать. Можно экспериментировать дома, в одиночку, а потом написать в какую-нибудь лабораторию: «Смотрите, что у меня получилось. Давайте попробуем что-то вместе!»
Очень многие недооценивают силу фокусировки. Если будешь год целыми днями непрерывно долбить в одну точку — станешь крутым специалистом и начнут появляться возможности, о которых ты даже не думал. Главное — быть открытым к этим приключениям.
Я сам в VK попал не потому, что как-то целенаправленно туда рвался. Просто активничал, поехал с друзьями на хакатон в Финляндию, мы там победили в одном треке. Там как раз в этот момент мой будущий руководитель искал ребят из России — вот он мне и написал.
То есть необязательно искать руководителя, который будет тебя гайдить с первого дня? Разве в науке без этого можно?
Зависит от майндсета. Многим важно, чтобы с самого начала рядом был человек, который все знает и направит, и это окей. Но, как мне кажется, лучше самому наработать базу, создать какой-то круг знакомств и знаний. Тогда появится возможность выбрать, с кем работать, встретятся крутые люди.
А как справляться с тревогой, что все слишком быстро меняется? Обновления ИИ-моделей, новые открытия выходят чуть ли не каждый месяц...
В ИИ-индустрии это обычный вторник, когда публикуется исследование ровно про то, что вы с командой уже почти дописали. Сначала это сильно фрустрирует, но довольно быстро привыкаешь к мысли, что кто-то прямо сейчас чертит точно такую же схему велосипеда. И понимаешь, что это, вообще-то, хороший знак — значит, копаете в нужном месте, тема действительно важная и горячая.
Впрочем, в обратную сторону это не работает: если никто не сделал похожее открытие, вы необязательно аутсайдеры. Возможно, просто опередили время — правда, точно будет ясно только потом.
Как понимаете, что идею действительно стоит проверить, что в ней может быть научный смысл и бизнес-выхлоп?
Мы облизываем палец и смотрим по ветру: все строится на интуитивном чувстве прекрасного.
Плюс подходим к ИИ-исследованиям как к инвестициям: собираем диверсифицированный портфель идей, где есть и хайповые топики с высокой конкуренцией, и более рискованные направления, где можно сделать что-то уникальное. Например, та же интерпретируемость моделей — она только становится трендом, пока далеко не все туда прыгнули. Сейчас у всех фокус на темах безопасности и настройки моделей, их алаймента.
Alignment (или алаймент) — это настройка
ИИ-модели так, чтобы она не просто выдавала правдоподобные ответы, а размышляла и действовала в рамках человеческой логики и норм.
У нас есть простой лайфхак: мы не бежим исследовать то, что звучит однозначно рабочим. По опыту, самые интересные и действительно полезные идеи рождаются из того, что скорее кажется странным.
В странности и скрыто то самое преобразующее «безумие», о котором мы говорили в начале. Единственное, в таких случаях необходимо четко формулировать, чего хочешь добиться, иначе рискуешь потратить время впустую.
У вас заказывают исследования? Например, продуктологи из того же Т-Банка?
Нет, просто потому, что тогда исследования перестают работать, так как вы становитесь разработчиками.
Продуктовые команды живут в другом ритме — у них есть здесь и сейчас, конкретные фичи, задачи. А мы специально не думаем о бизнесе напрямую, у нас цель — нащупать, что может стать основой для чего-то большого в будущем. И не просто попробовать предсказать это «большое», но и, по сути, его сконструировать.
«Фундаментальные открытия — это всегда про длинную дистанцию»
В одном из исследований твоя команда «заглянула в мозг нейросети». Что нового удалось узнать?
Мы попробовали отследить связи в размышлениях ИИ-модели на разных этапах. Получилось что-то вроде карты внутренних ассоциаций, и там есть интересные закономерности: например, когда ИИ «думает» о моде, почти всегда всплывает Лондон, и наоборот.
Смотрели несколько моделей — глобально они рассуждают похоже, потому что учатся на одних и тех же датасетах. А вот отличия уже результат настроек, алаймента и взглядов разработчиков.
Также в этом году в Сингапуре вы представили методику, которая «улучшает ответы ИИ по пяти метрикам сразу». Объясни по-простому, что это значит и что может поменяться в пользовательском опыте.
На одном из этапов обучения нейросетей одна модель выступает в роли «золотого стандарта», а вторую постепенно обучают, чтобы она этот эталон обогнала. И тут возникает парадокс: по мере обгона подопытная модель сначала действительно становится умнее, но потом внезапно глупеет.
Почему так, до конца непонятно. Мы предложили простой трюк: вместо того чтобы держать стандарт статичным, тоже его двигаем: потихоньку подстраиваем под растущую модель. Он как бы всегда пытается ее догнать, хотя все же держится позади. И это помогает — качество модели растет стабильнее.
Это открытие срезонировало: статью активно цитировали, а нашу методику уже добавили в одну из ключевых библиотек для алаймента, теперь ею могут пользоваться все разработчики.
А какое ваше исследование считаешь недооцененным?
Сложный вопрос. Если честно, вообще не мыслю такими категориями, не думаю точками во времени: типа, вот мы что-то сделали, это наше главное достижение.
Я скорее смотрю на весь процесс, весь путь. Это, кстати, очень помогает не выгорать. Что-то открыли, написали статью — класс, идем дальше. У самурая есть только путь.
Разве нет ощущения гордости и удовлетворения, когда попадаете на одну сцену с гигантами ИИ-индустрии?
Есть, и огромное, — но один раз, на первой статье. Дальше это просто мерило того, что движешься в правильном направлении. Точно так же мерилом является то, насколько часто вас подрезают другие исследовательские группы.
Если смотреть шире, в масштабе страны, зачем России фундаментальные ИИ-исследования?
Это вопрос технологической независимости и движения в будущее. Зависеть от чужих разработок не очень-то удобно. В России много классных разработчиков и отличное математическое образование, а значит, есть все основания когда-то стать лидерами в ИИ.
Важно понимать, что фундаментальные открытия — это всегда про длинную дистанцию. Нужен венчур, нужны миллиарды инвестиций (не рублей) и терпение, чтобы не требовать результата прямо здесь и сейчас. Через это проходили и другие страны, которые сейчас ведут в ИИ-гонке.
В каком направлении стоит вести эти фундаментальные поиски?
Мне кажется, в отношении ИИ самая важная задача в целом по миру — обеспечить следующий «ChatGPT-момент», то есть очередной квантовый скачок в развитии моделей.
Я говорю не про ИИ-агентов, которые могут, например, самостоятельно бронировать билеты или договариваться о встречах, — я говорю про радикальный скачок в качестве мышления. Например, если ИИ научится решать сложные математические задачи, над которыми ученые бьются годами, или даже формулировать новые, с которыми люди еще не сталкивались, — вот это будет по-настоящему новый уровень.
Кризис данных этому не помеха?
Все предыдущие ИИ-бумы были за счет того, что моделям скармливали все больший объем данных. Сейчас они, грубо говоря, уже выучили почти все, что оцифровано, а новые знания у человечества копятся не быстро.
Так что да, кризис данных действительно может замедлить прогресс. Но не остановить: рано или поздно ИИ начнет генерировать знания сам — и тогда все будет меняться с бешеной скоростью.
«Не убегать, а адаптироваться»
Ты говорил, что тебе ближе Илья Суцкевер, чем Маск или Альтман. Что в нем вдохновляет?
Для меня Суцкевер — олицетворение прогресса в ИИ. И дело не столько в личности, сколько в образе ученого-фундаменталиста, который построил краеугольные и при этом очень яркие технологии. Он стоял у истоков того же OpenAI, создавал знания, которые потом легли в основу самых мощных моделей.
Исследователи вроде Ильи Суцкевера задали вектор, по которому мы сейчас вообще способны думать о будущем с ИИ. Такие люди для меня ориентир.
Илон и Сэм все же больше про бизнес и продукт, чем про исследовательский дух.
Если AGI появится к 2027 году, будешь больше рад или встревожен? И почему?
Я человек, а люди не любят резких глобальных перемен. Так что скорее испугаюсь, что моя работа потеряет смысл. Но в такие моменты стараюсь себя бить по лбу и напоминать: не убегать, а адаптироваться. Надо подстроиться — и будет весело.
Как думаешь, какие шансы у человечества сделать ИИ безопасным и прозрачным?
Это не столько технический, сколько социальный вопрос. Чтобы ИИ был открытым и шел на пользу человечеству, он в первую очередь не должен оказаться в руках узкой группы — корпораций или кого похуже. Поэтому и стоит всем свои технологии создавать и развивать.
Что бы ты не доверил ИИ? Может, какие-то знания или функции?
Существует множество решений, в которых ИИ может проявить предвзятость и в итоге навредить, даже если попытаться максимально нейтрализовать данные для его обучения.
Поэтому я бы не пускал ИИ туда, где решается судьба конкретного человека, — например, в социальный скоринг или финальное решение, делать ли операцию. Это действительно очень тонкий лед и серьезная дилемма — кого выбрать в такой ситуации: ИИ, который прав в 99% случаев, или человека, которого вообще нельзя измерить?
Какая метафора ИИ для тебя самая точная?
В «Солярисе» было: «Не ищем никого, кроме людей. Не нужно нам других миров. Нам нужно зеркало». ИИ и есть это зеркало.