Na tlačovej konferencii OpenAI DevDay, ktorá sa konala 6. novembra 2023, generálny riaditeľ OpenAI Sam Altman opäť prekonal očakávania OpenAI, čím poskytol vývojárom AI nové možnosti. Prostredníctvom tohto článku sa pozrieme na to, aké príťažlivé je GPT-4 Turbo pre softvérových vývojárov.

OpenAI usporiadala 6. novembra 2023 tlačovú konferenciu OpenAI DevDay. Zatiaľ čo iné veľké technologické spoločnosti sa stále snažia dohnať výkon GPT-4, generálny riaditeľ OpenAI Sam Altman opäť prekonal očakávania OpenAI, čím poskytol vývojárom AI nové možnosti a jasne ukázal, že OpenAI je lídrom v oblasti umelej inteligencie.

Vylepšené GPT-4 Turbo: Rýchlejšie, s väčším objemom textu a lacnejšie

Kontext označuje celkový objem textu „vstupného promptu a dialógu“ pre veľký jazykový model. Predtým bol maximálny objem textu obmedzený na 32 000 tokenov (a bol dostupný len pre niektorých vývojárov), zatiaľ čo GPT-4 Turbo umožňuje až 128 000 tokenov, čo je ekvivalentné vloženiu 300-stranovej knihy do GPT-4 Turbo na generovanie. Pokiaľ ide o rýchlosť, najväčšou nevýhodou GPT-4 bola pomalosť, čo často spôsobovalo dlhé čakanie na generovanie, takže podniky stále častejšie používali GPT-3.5 na riešenie väčšiny praktických aplikácií. GPT-4 Turbo tento problém vyriešil, čím sa rýchlosť generovania priblížila k GPT-3.5 a obohatil budúce scenáre integrácie GPT-4 Turbo. Pokiaľ ide o náklady, v porovnaní s predchádzajúcou verziou GPT-4 sú poplatky za prompty lacnejšie o dve tretiny (3x lacnejšie) a poplatky za výstupný text sú lacnejšie o polovicu (2x lacnejšie).

Funkcia volania funkcií priateľskejšia pre vývojárov

Čo je volanie funkcií?

OpenAI začiatkom tohto roka predstavila funkciu „volania funkcií“, ktorá umožňuje vývojárom pri používaní GPT volať prispôsobené funkcie kódu. Inými slovami, umožňuje inteligentnej AI pripojiť sa k rôznym API, čím sa výrazne rozširuje oblasť použitia OpenAI. Výkonnosť modelu spočíva v tom, že ak vývojár poskytne viacero rozhraní príkazov programu, GPT môže samostatne rozhodnúť, ktorý príkaz zavolať, a použiť vhodné parametre na vykonanie.

Príklad: Vývojár inteligentnej senzorovej žiarovky poskytne dva príkazy: „nastaviť farbu“ a „nastaviť časový interval senzora“. Parametre príkazu nastavenia farby sú tri: biele svetlo, prirodzené svetlo a nočná lampa. Keď sa do GPT zadá prompt: „Prosím, nastavte vhodnú žiarovku na noc“, GPT automaticky rozhodne použiť príkaz „nastaviť farbu“ a automaticky použije parameter „nočná lampa“. Tento rozhodovací proces nevyžaduje žiadnu ľudskú účasť. V minulosti bolo potrebné použiť technológiu NLP na napísanie prispôsobenej logiky na dosiahnutie tejto funkcie, teraz to možno dosiahnuť len volaním programu GPT.

Čo bolo zmenené tentokrát?

Aktualizácia umožňuje GPT presnejšie určiť, ktorý príkaz a parametre by sa mali použiť, a zároveň vylepšuje GPT, aby mohol volať viac príkazov naraz. V minulosti, keď bol scenár zložitejší, vývojári museli napísať ďalší program na viacnásobné volanie funkcií; táto aktualizácia umožňuje GPT vykonať viacero príkazov naraz a umožňuje, aby sa výsledky každého príkazu prenášali medzi sebou. Napríklad: Použitím promptu „Zvyknem si v noci vstávať a dopĺňať vodu, prosím, nastavte vhodný režim žiarovky“ môže GPT rozhodnúť zavolať príkazy „nastaviť farbu“ a „nastaviť časový interval senzora“ a určiť parameter „časový interval senzora“ ako „čas 01:00 až 06:30“, pričom použije „nastaviť farbu“ s parametrom „nočná lampa“.

Okrem toho, odpovede jazykového modelu boli v minulosti vo forme „nešpecifikovaného formátu textu“, ak ste chceli odpoveď v špecifickom formáte, museli ste v promptu požiadať o odpoveď vo formáte „xml“; avšak vývojári často čelili problému, že odpoveď nebola úplne vo formáte xml, často obsahovala časti čistého textu, čo spôsobovalo chyby pri konverzii formátu. Tentokrát GPT-4 Turbo umožňuje vývojárom nastaviť parameter response_format, ktorý môže byť nastavený na xml alebo json, čo sú bežné formáty API odpovedí, čím sa zvyšuje stabilita programu.

Nakoniec, OpenAI tiež umožňuje používateľom nastaviť parameter Seed, ktorý určuje náhodnosť obsahu vráteného GPT. Nastavením tohto parametra môžu vývojári zabezpečiť konzistentnosť odpovedí jazykového modelu, čo im umožňuje byť pokojnejší pri písaní testovacích prípadov (zabraňuje tomu, aby jazykový model náhle poskytol odlišné odpovede), čím sa zvyšuje testovateľnosť a kvalita programu.


Okrem vyššie uvedených dvoch bodov, pokiaľ ide o rozšírenie aplikačných scenárov, vydanie Assistants API je hlavným bodom DevDay.

Assistants API

V minulosti, ak ste chceli využiť veľký jazykový model na vývoj generatívnych AI aplikácií, bolo potrebné použiť tretie strany ako LangChain, aby sa veľkému jazykovému modelu poskytli pokročilejšie schopnosti, ako sú: použitie viacerých jazykových modelov, schopnosť prispôsobenia dát, pamäť a agenti (umožňujú AI vykonávať kontinuálne úlohy a rozhodovanie), aby sa dokončili zložitejšie AI scenáre.

Na DevDay bolo predstavené Assistants API, ktoré integruje vyššie uvedené schopnosti do oficiálneho API, čím sa vývojárom uľahčuje integrácia tretích strán. Toto je prvýkrát, čo oficiálne prešli od jednoduchého optimalizovania výkonu veľkého jazykového modelu k skúmaniu aplikácií „agentov“. Oficiálna dokumentácia uvádza, že „asistent je cieľovo orientovaná AI, ktorá umožňuje používať špecifické príkazy, externé dáta alebo rôzne jazykové modely a nástroje na vykonávanie úloh“.

Nové Assistants API tiež obsahuje niekoľko nástrojov, okrem vyššie uvedeného „volania funkcií“, tiež poskytuje „kompilátor kódu“ a „vyhľadávanie dát“.

Kompilátor kódu

„Kompilátor kódu“ GPT-4 umožňuje vykonávať vlastný kód v sandboxovom prostredí (momentálne podporuje len Python). V minulosti, keď inžinieri získali kód napísaný s pomocou GPT-4, museli ho skopírovať a vložiť do svojho vývojového prostredia na testovanie. Sandboxové prostredie poskytované OpenAI umožňuje GPT-4 samostatne skontrolovať správnosť kódu a postupne ho upravovať na základe výsledkov vykonania, až kým nedosiahne cieľ.

Avšak, význam kompilátora kódu presahuje „umožnenie GPT-4 skontrolovať správnosť vlastného kódu“. Jeho väčší význam spočíva v tom, že „veľký jazykový model má vlastný počítač“, ktorý je schopný vykonávať väčšinu úloh. Teraz môžu veľké jazykové modely interagovať prostredníctvom príkazového programovania, aj keď vykonávanie v obmedzenom sandboxovom prostredí umožňuje kompilátoru kódu používať len špecifické tretie strany, ale je dostatočné na vykonávanie „väčšiny úloh, ktoré sú Pythonu dobre známe“, ako sú: spracovanie dát a API volania, a môže čítať väčšie súbory kódu poskytnuté používateľom. Sandboxové prostredie z hľadiska bezpečnosti zabraňuje zneužitiu silných schopností veľkého jazykového modelu, čím poskytuje určitú úroveň bezpečnosti.

Vyhľadávanie dát

„Vyhľadávanie dát“ umožňuje používateľom nahrávať vlastné dáta (napríklad: dáta z konkrétneho odvetvia, informácie o produktoch alebo interné dokumenty) a umožňuje veľkému jazykovému modelu odpovedať na otázky týkajúce sa týchto dát, aplikovať ich vo svojom odvetví alebo oblasti. Táto funkcia bola od uvedenia GPT-3 stredobodom záujmu mnohých spoločností. Na DevDay bolo predstavené vyhľadávanie dát, čo je prvýkrát, čo oficiálne poskytli natívne riešenie pre túto funkciu, napríklad: umožniť podnikom vytvárať interné znalostné roboty, ako sú AI projektoví manažéri, AI systémoví analytici; v oblastiach ako zdravotníctvo, financie a ďalšie oblasti zákazníckych služieb, ktoré v minulosti vyžadovali zložité jazykové spracovanie na realizáciu. Teraz, s výkonným jazykovým modelom GPT-4 a oficiálnou podporou funkcie vyhľadávania dát od OpenAI, môžu vývojári sústrediť sa na obchodnú logiku, správnosť dát a doladenie detailov. Okrem toho, v minulosti používanie tretích strán vyžadovalo vektorové databázy, spracovanie dátových segmentov alebo špecifické vyhľadávacie algoritmy, ktoré teraz s podporou OpenAI nie je potrebné dodatočne riešiť, čím sa znižujú náklady na vývoj a súvisiace náklady. OpenAI tiež zdôrazňuje, že konverzácie a súbory používané v Assistants API nebudú použité na trénovanie ďalšej generácie modelov OpenAI.

Záver

Celkovo OpenAI nielenže neustále optimalizuje efektivitu modelu, ale tiež neustále rozširuje aplikácie veľkých jazykových modelov. Sam Altman povedal, že GPT-5 sa v blízkej dobe neobjaví, a vzhľadom na presnosť GPT-4 sa zdá, že nie je potrebné vynakladať veľké náklady na tréning väčšieho jazykového modelu. Namiesto toho sa OpenAI sústredí na zlepšenie výkonu, použiteľnosti a rozšíriteľnosti GPT-4. Pre vývojárov, podniky a koncových spotrebiteľov sa zavedenie silnejších AI, ktoré môžu byť použité vo väčšine scenárov, stáva kľúčovým bodom digitálnej transformácie novej generácie. GPT vytvorený OpenAI je ako mozog vo svete budúcich technológií a veríme, že nadchádzajúce inovácie a pokroky umožnia umelej inteligencii lepšie používať nástroje, „vidieť“, „počúvať“ a plynulo „hovoriť“ a „kresliť“.