ИИ, экономика и электричество: отчего умнеют нейросети и есть ли предел совершенству

Пару десятилетий назад о нейросетях знали только узкие специалисты, сейчас же они — неотъемлемая часть повседневной жизни каждого из нас, и круг решаемых ими задач продолжает расти. Но что есть локомотив для такого бурного развития, и где его предел? На эти вопросы отвечает научный сотрудник института № 8 «Компьютерные науки и прикладная математика» МАИ, директор департамента цифровой трансформации в компании BetBoom Юрий Чайников.

Цифровой мотор для ИИ

По факту нейросети — это математические модели и их программное воплощение. Но если подходить к определению более широко, можно заметить, что это буквальные модели алгоритмов работы человеческого мозга.

Что касается последнего, то по когнитивным способностям только что родившийся ребёнок мало чем отличается от детёныша шимпанзе, но уже по достижении трёхлетнего возраста разница между маленьким человеком и маленьким шимпанзе колоссальна. Почему так происходит? В человеческом мозге нервных клеток (нейронов) на 50 миллиардов больше, чем в мозге самых умных обезьян. В этом случае количество переходит в качество.

А как обстоит дело с искусственным интеллектом? За счёт чего он становится «умнее»?

— Когда мы тренируем большие языковые модели, мы оцениваем, насколько хорошо они отвечают на заданный вопрос, насколько часто их выводы полезны пользователю, насколько правильно они решают поставленные задачи. Всё это очень сильно зависит от трёх параметров: от размеров нейросети, объёма обучающей выборки и от объёма вычислительных мощностей, которые мы потратили на то, чтобы её тренировать. И зависимость эта экспоненциальная, — отмечает эксперт.

В результате складывается следующая ситуация: нейросеть настолько умна, насколько велика, насколько много через неё пропустили обучающих данных, что, кажется, должна уметь буквально всё, но рост её объёма, получаемых данных и сама возможность их переработки нейросетью серьёзно ограничиваются доступными вычислительными мощностями.

— Допустим, наша нейросеть, проходя сложный тест, в 20% случаев допускает ошибки. Чтобы улучшить точность вдвое, уменьшив число ошибок с 20% до 10%, нам придётся потратить в 10 раз больше вычислительных мощностей, чем мы ранее задействовали, прогнать в десять раз больший датасет, десятикратно увеличить размер нейросети, — поясняет Юрий Чайников, намекая на то, что не всегда нужные ресурсы есть в быстром доступе.

Экономика и интеллект

И здесь проблема роста искусственного интеллекта переходит из плоскости математики или информатики в плоскость экономики: может ли разработчик данной нейросети позволить себе такой экспоненциальный рост вычислительных мощностей?

— Сейчас топовые нейросети имеют размер в сотни миллиардов параметров. Если мы будем исходить из того, что аренда сервера обходится доллар в час и нам необходимо потратить 50 миллионов часов на тренировку нейросети, чтобы прогнать через неё обучающую выборку больше триллиона слов, то на обучение нейросети мы потратим 50 миллионов долларов вычислительных мощностей, — приводит пример Юрий Чайников.

Получается, что рост интеллектуальных способностей нейросети напрямую зависит от потраченных на её обучение денег. Это прекрасно понимают их создатели. Так, например, фронтмен нейросетевой революции Сэм Альтмен, основатель и генеральный директор OpenAI, планирует построить вычислительные кластеры на триллион долларов, на обеспечение которых потребуется больше 10% совокупного энергопотребления США. Для питания дата-центров, на которых будут крутиться модели, потребуется строительство атомных электростанций с десятками ядерных реакторов, мощностью в десятки гигаватт. Microsoft уже заявила, что будет участвовать в инвестициях в этот проект. Но насколько оправданы такие расходы?

Себестоимость обработки одного запроса топовой нейросетью от OpenAI на текущем уровне развития обходится по разным оценкам от 20 до 40 центов. Тогда как запрос в поисковике Google — порядка 1 цента. Если Google зарабатывает с каждого запроса примерно 20 центов, то это отличный бизнес. Бизнес OpenAI пока не так оптимистично прибылен.

Но экспоненциальный рост мощностей может всё изменить. Сейчас топовые нейросети за секунды выполняют поставленные им задачи с качеством, сопоставимым с выполненной человеком работой, но на которые человек потратил бы несколько минут. Задача в 10 минут человеческого времени стоит 1-2 доллара. Её решение нейросетью обходится в 20 раз дешевле и занимает в разы меньше времени. В развитии экономики выгода играет первостепенную роль: если за сопоставимое качество можно заплатить дешевле — это будет сделано. И тут начинается гонка не только за точность моделей, но и за стоимость их работы.

— Например, у нас есть модель, которая имела точность 84% и производила решений на 100 токенов в секунду на стандартном сервере. Мы её чуть-чуть поправили ради удешевления её работы при массовом применении, и в результате точность упала на 1%, зато теперь она выдаёт не 100, а 1 000 токенов в секунду. Точность стала чуть меньше, то есть предельных задач, с которыми она справляется, стало чуть меньше. Зато экономическая эффективность на тех задачах, с которыми она справляется, возросла в 10 раз. И это одно из важнейших направлений по совершенствованию больших моделей, — отмечает эксперт. — Некоторые компании умудряются в сотню раз повысить производительность в терминах токенов за доллар расхода на компьютер и построить на этом нормально работающий бизнес, продавая это как сервис. Берём выпущенную open source модель, поправляем её: да, она становится чуть-чуть похуже, но зато в 100 раз дешевле, а потом продаём её пользователям в 50 раз дешевле и зарабатываем на этом X2 по цене продажи. Такая вот непрерывно работающая конструкция.

Электрический апокалипсис

Если деньги питают развитие искусственного интеллекта, то что может остановить его?

Пока локомотив экономической эффективности несётся вперёд, логику объективного развития ИИ остановить невозможно: в нейросети вкладываться выгодно. Но искусственный интеллект, как и вся человеческая цивилизация в принципе, зависит, как ни странно, от технологий позапрошлого века.

— Нейросети будут существовать примерно столько же, сколько существует человеческая цивилизация и электричество, потому что без электричества современная городская инфраструктура превращается в тыкву буквально за считанные часы, а город — в мёртвый город за две недели. Ведь на электричестве завязано всё, начиная от кассовых терминалов, которыми вы не сможете воспользоваться при его отсутствии, а, значит, вам ничего не смогут продать, и заканчивая самой банальной инфраструктурой вроде водоснабжения и канализации. А если в кране нет воды и в туалете не работает канализация, то через неделю у вас эпидемия бактериальных заболеваний, начиная от дизентерии и заканчивая вспышкой холеры и тифа. Электричество за несколько десятилетий стало основой инфраструктуры человеческой цивилизации в её нынешнем виде. Интернет сделал это за пару десятков лет. Пройдут считанные годы, и большие мультимодальные модели проникнут в каждый закоулок современного мира, — считает Юрий Чайников.

Выпуская джинна из бутылки

Обратной стороной бурного развития ИИ является риск его выхода из-под контроля.

Уже сейчас выпущены модели, которые позволяют управлять действиями на экране компьютера без участия человека так, как будто это делает сам человек. В ответ на сформулированную задачу нейросеть может самостоятельно придумать длинную последовательность действий и выполнить их: открыть электронную почту, написать и отправить сообщение, зайти на сайт и собрать информацию по запросу в таблицу, манипулировать курсором мыши, открывать нужные окна на экране компьютера. Да, нейросеть пока будет делать это в 10 раз медленнее, чем мог бы делать человек, но это автоматизация реальной деятельности человека. Дальше — больше: нейросети постепенно будут осваивать всё новые и новые сферы человеческой деятельности. И здесь напрямую встаёт вопрос о контроле развития ИИ.

— На сегодняшний день мы очень плохо умеем контролировать большие мультимодальные модели, которые создаём. Есть классическая мифологическая конструкция: джинн, который исполняет желания в буквальном смысле, а не то, что подразумевал автор. Например, человек пожелал: «Хочу много денег», а джинн ему: «О, у вас умерли все родственники, и вы теперь единственный наследник». Почему так вышло? Джинн просто не потрудился переспросить, хотел ли автор желания оставить родственников в живых, устроит ли его такой вариант исполнения желания, а просто взял и сделал. Подобная ситуация может когда-нибудь произойти с искусственным интеллектом. «Оптимизатор скрепок» — мысленный эксперимент про поведение искусственного интеллекта, которому поручили всего лишь оптимизировать выпуск канцелярских скрепок, а в результате он превратил в скрепки весь мир — не такой уж и невероятный сценарий, — заметил Юрий Чайников.

Однако пока катастрофические сценарии — удел научных фантастов и футуристов. Сжигая в топке всё новые тонны пачек зелёных купюр, локомотив искусственного интеллекта несётся вперёд, набирая обороты по мере увеличения инвестиций, и нам остаётся только догадываться, где будет его конечная остановка или, как у пелевинской «Жёлтой Стрелы», её не будет вовсе.