Новый текстовый генератор GPT-3 может имитировать Шекспира, писать программный код и переводить иностранные языки и юридические абзацы. Но понимает ли он, что делает?
Сравнения вряд ли могут быть достаточно масштабными: «У меня такое чувство, что я увидел будущее», — написал несколько дней назад в Twitter один калифорнийский технологический предприниматель. Другие говорили, что новый инструмент полностью изменит мир. Причина этой эйфории — GPT-3 (Generative Pretrained Transformer 3), языковая программа, основанная на искусственном интеллекте. Его бета-версия в настоящее время доступна для избранных тестовых пользователей, и с тех пор видео и скриншоты, демонстрирующие исключительные возможности инструмента, вызывают ажиотаж в социальных сетях. Потому что независимо от того, будь то умные твиты, инструкции по применению, стихи и рассказы, рэп-тексты в стиле Jay-Z или даже разговор с Богом — после первых впечатлений GPT-3, кажется, генерирует все это настолько достоверно, что рукописи не человеческие. Пусть отличит автор. Но это еще не все: ИИ может переводить, отвечать на вопросы от биологии до истории, решать простые арифметические задачи и даже может писать компьютерный код самостоятельно, если вы вводите желаемый результат (вот несколько примеров приложений). Например, команда «Создать кнопку в цвете волос Дональда Трампа» создает желтую кнопку для веб-сайта.
За GPT-3 стоит американская технологическая компания OpenAI — своего рода команда всех звезд на калифорнийской инвестиционной сцене. Важными донорами являются технические миллиардеры Илон Маск (Tesla), Питер Тиль (PayPal) и Рид Хоффман (LinkedIn). Вдобавок софтверный гигант Microsoft в прошлом году выделил миллиард долларов. В 2015 году OpenAI изначально был основан как некоммерческий проект; однако с 2019 года также существует дочерняя компания, ориентированная на прибыль, которая берет на себя маркетинг технологий. Компания намеренно указывает на надвигающуюся опасность со стороны искусственного интеллекта — только для того, чтобы сама разработать еще более мощные инструменты. Верный девизу: знай оружие своего противника, чтобы победить его.
Предупреждения, с которыми OpenAI представила предшественницу модели GPT-2 в феврале прошлого года, звучали соответственно угрожающе. В отличие от запланированного, код текстового генератора не может быть обнародован, говорится в сообщении. Возможности слишком велики, а риск злоупотреблений слишком велик. Некоторые наблюдатели были удивлены тем, что компания была больше озабочена спокойным тоном после введения явно более мощного GPT-3: «Нынешняя шумиха полностью преувеличена, — написал соучредитель Сэм Альтман. Их инструмент, конечно, впечатляет, но у него все еще есть слабые места, «нам еще многое предстоит выяснить».
Ясно одно: в базовой технологии, по крайней мере, нет ничего нового. GPT-3 — это статистическая языковая модель, которая не делает ничего, кроме вычисления вероятности, с которой одно слово следует за другим. Текстовые генераторы давно работают по этому принципу. Но в то время, как более старые модели могли использовать очень мало слов для предсказания следующего слова, GPT-3 включает несколько абзацев: ИИ учитывает до 2048 так называемых токенов — помимо слов, они также могут быть частями кода.
Основой для этого является глубокое обучение: машинное обучение с «глубокими», то есть многослойными искусственными нейронными сетями. Это означает: модели неоднократно показывают запись текстовых данных, в которой другие слова или предложения были случайно сделаны неразборчивыми. Затем машина должна снова заполнить эти зазоры. Таким образом, система учится распознавать разные контексты и постепенно создает многомерную систему координат, в которой сгруппированы похожие термины.
