На пресс-конференции OpenAI DevDay, проведенной 06.11.2023, генеральный директор OpenAI Сэм Альтман снова превзошел OpenAI, предоставив разработчикам ИИ новые возможности. В этой статье мы рассмотрим, чем GPT-4 Turbo привлекателен для разработчиков программного обеспечения.

OpenAI провела пресс-конференцию OpenAI DevDay 06.11.2023, когда другие крупные технологические компании все еще пытались догнать производительность GPT-4. Генеральный директор OpenAI Сэм Альтман снова превзошел OpenAI, предоставив разработчикам ИИ новые возможности, что подчеркивает лидерство OpenAI в области искусственного интеллекта.

Улучшенный GPT-4 Turbo: быстрее, больше текста и дешевле

Контекст (Context) относится к общему объему текста, вводимого в модель, включая подсказки и диалоги. Ранее максимальный объем текста составлял 32,000 токенов (и был доступен только для некоторых разработчиков), а GPT-4 Turbo поддерживает до 128,000 токенов, что эквивалентно вводу книги на 300 страниц за один раз для генерации. Ранее основным недостатком GPT-4 была медлительность, что часто приводило к значительным задержкам в процессе генерации, поэтому компании предпочитали использовать GPT-3.5 для решения большинства практических задач. GPT-4 Turbo устранил эту проблему, обеспечив скорость генерации, близкую к GPT-3.5, что расширяет возможности интеграции GPT-4 Turbo в будущем. Кроме того, стоимость подсказок в GPT-4 Turbo вдвое дешевле (3 раза дешевле), а стоимость вывода текста также вдвое дешевле (2 раза дешевле) по сравнению с предыдущей версией GPT-4.

Более дружественная функция вызова функций для разработчиков

Что такое вызов функций?

OpenAI ранее в этом году представила функцию "вызова функций", которая позволяет разработчикам вызывать пользовательские функции кода при использовании GPT. Иными словами, это позволяет интеллектуальному ИИ подключаться к различным API, значительно расширяя области применения OpenAI. Мощность модели заключается в том, что, предоставив разработчикам несколько интерфейсов команд, GPT может самостоятельно решать, какую команду вызвать и какие параметры использовать для выполнения.

Пример: разработчик умной лампочки предоставляет две команды: "установить цвет" и "установить время сенсора". Параметры команды установки цвета включают три варианта: белый свет, естественный свет и ночник. При вводе подсказки в GPT: "Пожалуйста, настройте лампочку для ночного времени" GPT автоматически выберет команду "установить цвет" и параметр "ночник", и этот процесс принятия решений полностью автоматизирован. Ранее для достижения этой функции требовалось писать пользовательскую логику с использованием технологий NLP, теперь это можно сделать, просто вызвав программу GPT.

Что изменилось в этот раз?

Обновление позволяет GPT более точно определять, какую команду и параметры использовать, а также улучшает возможность GPT вызывать несколько команд одновременно. Ранее, когда ситуация была более сложной, разработчикам приходилось писать дополнительные программы для многократного вызова функций; теперь обновление позволяет GPT выполнять несколько команд за один раз и передавать результаты между командами. Например, при вводе подсказки "Я привык вставать ночью, чтобы пополнить запасы воды, пожалуйста, настройте подходящий режим лампочки" GPT может вызвать команды "установить цвет" и "установить время сенсора", выбрав параметр "время 01:00 до 06:30" для "времени сенсора" и "ночник" для "установки цвета".

Кроме того, ранее ответы языковой модели всегда были в "неопределенном текстовом формате", и если требовался ответ в определенном формате, необходимо было указывать в подсказке "пожалуйста, ответьте в формате xml"; однако разработчики часто сталкивались с проблемой, что ответ не всегда был в формате xml, а иногда содержал текст, что приводило к ошибкам при преобразовании формата. Теперь GPT-4 Turbo позволяет разработчикам устанавливать параметр response_format, который может быть установлен в xml или json, что повышает стабильность программы.

Наконец, OpenAI также позволяет пользователям устанавливать параметр Seed, который определяет случайность ответа GPT. Настройка этого параметра позволяет разработчикам обеспечить согласованность ответов языковой модели, что дает уверенность при написании тестовых сценариев (избегая неожиданных ответов), повышая тестируемость и качество программы.


Помимо вышеупомянутых двух пунктов, выпуск Assistants API является ключевым событием DevDay с точки зрения расширения сценариев применения.

Assistants API

Ранее для использования больших языковых моделей в разработке генеративных ИИ-приложений требовалось использовать сторонние пакеты, такие как LangChain, чтобы наделить языковую модель более высокими возможностями, такими как использование нескольких языковых моделей, работа с пользовательскими данными, память и агенты (возможность ИИ выполнять последовательные задачи и принимать последовательные решения), чтобы реализовать более сложные сценарии применения ИИ.

На DevDay был представлен Assistants API, который интегрирует вышеупомянутые возможности в официальный API, избавляя разработчиков от множества проблем, связанных с интеграцией сторонних пакетов. Это также первый раз, когда OpenAI выходит за рамки простой оптимизации производительности языковых моделей и начинает исследовать применение "агентов". Официальная документация указывает, что "ассистент - это целевая ИИ, которая позволяет использовать определенные команды, внешние данные или различные языковые модели и инструменты для выполнения задач".

Новый Assistants API также включает несколько инструментов, помимо вышеупомянутого "вызова функций", он также предоставляет "компилятор кода" и "поиск данных".

Компилятор кода

Компилятор кода GPT-4 позволяет выполнять написанный код в песочнице (в настоящее время поддерживается только Python). Ранее инженеры, получив код, написанный с помощью GPT-4, должны были копировать и вставлять его в свою среду разработки для тестирования, но предоставленная OpenAI песочница позволяет GPT-4 самостоятельно проверять правильность кода и постепенно модифицировать его до достижения цели.

Однако значение компилятора кода выходит за рамки "проверки правильности написанного GPT-4 кода", его более важное значение заключается в том, чтобы "позволить большой языковой модели иметь свой собственный компьютер", который может выполнять большинство задач. Теперь большая языковая модель может взаимодействовать в виде программных команд, и хотя выполнение в ограниченной песочнице позволяет компилятору кода использовать только определенные сторонние пакеты, это достаточно для выполнения "большинства задач, с которыми Python хорошо справляется", таких как обработка данных и вызовы API, а также чтение больших файлов кода, предоставленных пользователем. Песочница обеспечивает безопасность, предотвращая злоупотребление мощными возможностями большой языковой модели, и, следовательно, обеспечивает определенный уровень безопасности.

Поиск данных

"Поиск данных" позволяет пользователям загружать свои данные (например, данные из определенной отрасли, информацию о продуктах или внутренние документы) и позволяет большой языковой модели отвечать на вопросы, основанные на этих данных, применяя их в своей отрасли или области. Эта функция была предметом ожесточенной конкуренции с момента появления GPT-3. На DevDay был представлен поиск данных, который впервые предлагает нативное решение для этой функции, например, для создания корпоративных роботов знаний, таких как AI-проектные менеджеры, AI-системные аналитики; в таких областях, как медицина и финансы, где требовались сложные технологии обработки языка, теперь с мощной языковой моделью GPT-4 и официальной функцией поиска данных от OpenAI разработчики могут сосредоточиться на бизнес-логике, точности данных и настройке деталей. Кроме того, использование сторонних пакетов, таких как векторные базы данных, обработка данных или специфические алгоритмы поиска, которые ранее требовали дополнительных усилий и затрат, теперь не требуется благодаря поддержке OpenAI. OpenAI также подчеркивает, что диалоги и файлы, используемые в Assistants API, не будут использоваться для обучения следующего поколения моделей OpenAI.

Заключение

В целом, OpenAI не только постоянно оптимизирует эффективность модели, но и продолжает расширять применение больших языковых моделей. Сэм Альтман заявил, что GPT-5 не появится в ближайшее время, и с текущей точностью GPT-4 необходимость в дополнительных затратах на обучение более крупной модели кажется не столь важной. Вместо этого повышение производительности, удобства использования и расширяемости GPT-4 является текущим приоритетом OpenAI; для разработчиков, компаний и конечных потребителей внедрение более мощного ИИ, который может применяться в большинстве сценариев, стало ключевым моментом следующего поколения цифровой трансформации. GPT, созданный OpenAI, подобен мозгу в мире будущих технологий, и мы верим, что последующие инновации и прогресс сделают искусственный интеллект более способным использовать инструменты, "видеть", "слышать" и свободно "говорить" и "рисовать".