於 2023/11/06 舉辦 OpenAI DevDay 的發佈會， OpenAI 執行長 Sam Altman又再次超越 OpenAI， 讓 AI 開發者又有了全新的可能性，透過本文，讓我們一同暸解這次的 GPT-4 Turbo 對於軟體開發者究竟有著什麼魅力。

OpenAI 於 2023/11/06 舉辦 OpenAI DevDay 發佈會，當其他大型科技公司還在苦苦追趕 GPT-4 性能的同時， OpenAI 執行長 Sam Altman又再次超越 OpenAI， 讓 AI 開發者又有了全新的可能性，充分展現了OpenAI 在人工智慧遙遙領先的地位。

開掛的 GPT-4 Turbo：更快、更大的文本量，還更便宜

前後文（Context）指的是「輸入給大語言模型提示詞和來回對話」的總文本量，過去的總文本量最大支援到 32,000 個 Token （且僅供部分開發者使用），而 GPT-4 Turbo 允許高達 128,000 個 Token 的總文本量，相當於可將一本 300 頁的書一次輸入給 GPT-4 Turbo，讓模型進行生成。而在速度上，過去 GPT-4 最令人詬病的缺點就是速度慢，在等待生成的過程中常常耗費大量時間，所以企業仍較常使用GPT-3.5來解決實際應用上的大部分問題。因此 GPT-4 Turbo 也解決了該問題，讓生成速度接近 GPT-3.5 ，也豐富了未來整合 GPT-4 Turbo 的情境。而在費用上，相較於前一個版本的 GPT-4，提示詞的計費便宜了兩倍（3x cheaper），而輸出的文本計費也便宜了一倍（2x cheaper）。

對開發者更友善的函式呼叫（Function calling）功能

何謂函式呼叫（Function calling）？

OpenAI 在今年稍早發佈了「函式呼叫」的功能，該功能能讓開發者在使用 GPT 時，能呼叫到客製化的程式碼函式。換句話說，就是能讓智能的 AI 串接到各式各樣的 API，大幅增加 OpenAI 能使用的場域。而該模型強大的性能在於，只要讓開發者提供程式的多個指令介面，GPT 即可自行決定要呼叫哪一個指令，還能使用適合的參數執行 。

舉例：智慧感應燈泡的開發者提供兩個指令：「設定顏色」和「設定感應的時段」設定顏色指令的參數有三種：白光、自然光和小夜燈。當對 GPT 輸入提示詞：「請幫我設定適合的夜晚的燈泡」GPT 就會自動決定使用「設定顏色」這個指令，並自動使用參數為「小夜燈」，該決策過程完全不需要人為參與。過去需要用 NLP 技術撰寫客製化邏輯來達到該功能，如今只使用呼叫 GPT 程式即可達成。

這次修改了什麼？

這次的更新，讓 GPT 能更精準的判斷應該使用哪個指令和參數，同時改進 GPT 只能一次呼叫一個指令。以往當情境較為複雜，開發者需要另外撰寫程式讓函式進行多次呼叫；這次的更新讓 GPT 能一次執行多個指令，並讓每次指令得到的結果能互相傳遞。例如：使用提示詞「我習慣半夜起床補充水份，請幫我設定適合的燈泡模式」這時候 GPT 就可決定呼叫「設定顏色」和「設定感應的時段」兩個指令，並決定「感應時段」參數為「時間 01:00 至 06:30」，同時使用「設定顏色」且參數為「小夜燈」。

另外，語言模型以往的回覆皆以「非特定格式的文本為回覆內容」，如果希望回覆特定格式，則需要在提示詞中要求「請以xml 格式」回覆；然而，開發者常常遇到的問題為：回覆格式不盡然是 xml，時常會參雜部分的純文本，導致在格式轉換上發生錯誤。而這次 GPT-4 Turbo 允許開發設定參數 response_format，可設定為 xml 或 json 等常見的 API 回傳格式，讓程式的穩定度更高。

最後，OpenAI 也允許使用者設定 Seed 參數，該參數決定 GPT 回傳內容的隨機性。透過該參數的設定，可以確保開發者讓語言模型的回傳保持一致性，讓開發者在撰寫測試案例時能更安心（避免語言模型突然產出不一樣的答案），提高程式的可測試性和品質。


除了以上發佈的兩點內容，以應用場景的擴展而言，助理 API 的發佈才是 DevDay 的重頭戲 。

助理 API（Assistants API)

過去如想利用大語言模型來開發生成式 AI 應用，需要使用 LangChain 等第三方套件，賦予大語言模型更高階的能力，例如：多語言模型並用、客製化資料的能力、記憶力和代理人（Agent，讓 AI 能執行連續任務、連續決策的能力），以完成更複雜的 AI 場景應用。

而 DevDay 上發佈的助理 API，將上述提及的多項能力整合到官方的 API 中，省去開發者在整合第三方套件上遇到的種種麻煩。這也是官方首次跳出單純優化大語言模型的效能，轉而開始探索「代理人」的應用。官方文件指出「一個助理是一個目標導向的 AI，這個 AI 允許使用特定的指令、使用外部的資料或使用不同語言模型和工具來執行任務」。

新的助理 API 也內建數個工具，除了上述的「函式呼叫」，也提供了「程式碼編譯器」和「資料檢索」。

程式碼編譯器（Code Interpreter)

GPT-4 的「程式碼編譯器」允許自己撰寫的程式碼能夠在一個沙盒環境中執行 （目前僅支援 Python），以往工程師取得 GPT-4 協助撰寫的程式碼後，需要複製貼上在自己的開發環境中測試，而 OpenAI 提供的沙盒環境，就足以讓 GPT-4 自我檢視程式碼是否正確，並且能針對執行後的結果，逐步自我修改程式碼，直到達到目標為止。

然而，程式碼編譯器的作用遠大於「讓 GPT-4 檢視自己撰寫程式的正確性」其更大的意義在於：「讓大語言模型擁有自己的電腦」電腦則是能執行大部分的任務。現在大語言模型都能以指令程式的方式去互動，雖然執行在受限的沙盒環境讓程式編譯器只能使用特定的第三方套件，但也足以執行「大部分 Python 程式語言善於處理的任務」例如：數據處理和API 呼叫，並能讀取使用者提供的較大的程式碼檔案等。沙盒環境以安全性而言，能避免讓大語言模型的強大能力被濫用，也因此在安全性上有一定的保障。

資料檢索（Retrieval)

「資料檢索」讓使用者可以上傳自己的資料（例如：特定產業領域資料、產品資訊或是內部文件）並使大語言模型可針對這些資料作進行回答，應用在自己的產業或領域，此項功能從 GPT-3 問世後，一直是百家爭鳴的重點。在 DevDay 上發佈的資料檢索，是官方首次對此功能提供原生的解決方案，例如：要讓企業建立內部知識的機器人 ，像是 AI 專案經理、AI 系統分析師；於醫療、金融等領域的客服機器人，在過去都需要使用複雜的語言處理技術才能實踐，如今有了 GPT-4 強大的語言模型，且在 OpenAI 的官方提供的資料檢索功能下，讓開發者能專注在商業邏輯、資料正確性和細節的調校。此外，過去使用第三方套件需要的向量資料庫、資料分段處理或特定搜尋演算法，在 OpenAI 官方的支援下，均無須額外費工處理以上的開發程序及其衍伸的費用。OpenAI 也特別強調助理 API 使用的對話和檔案，都不會被用來訓練 OpenAI 下一代的模型。

結語

整體而言，OpenAI 除了不斷優化模型的效率，亦持續地擴展大語言模型的應用。Sam Altman 曾說 GPT-5 短時間內不會問世，以目前 GPT-4 的精準度，額外花費大量成本訓練更大參數的語言模型看起來必要性似乎不高，相對地提高 GPT-4 的效能、易用性和可擴展性，才是目前 OpenAI 當下專注的重點；而對開發者、企業和終端消費者而言，導入更多強大並且能在多數場景應用的AI，已成為下一世代數位轉型的重點。OpenAI 所創造出的 GPT，就如同未來科技世界中的大腦，而我們相信，接下來的創造與進步，會使得人工智慧更擅長於使用工具、且能「看」、 能「聽」和流暢地「說」和「畫」。