ב-06/11/2023 התקיים כנס OpenAI DevDay, מנכ"ל OpenAI סם אלטמן שוב התעלה על OpenAI, ונתן למפתחים של AI אפשרויות חדשות. דרך מאמר זה, נבין יחד מהו הקסם של GPT-4 Turbo עבור מפתחי תוכנה.

OpenAI קיימה את כנס OpenAI DevDay ב-06/11/2023, בעוד חברות טכנולוגיה גדולות אחרות עדיין מנסות להשיג את ביצועי GPT-4, מנכ"ל OpenAI סם אלטמן שוב התעלה על OpenAI, ונתן למפתחים של AI אפשרויות חדשות, מה שמדגיש את מעמד OpenAI כמובילה בתחום הבינה המלאכותית.

GPT-4 Turbo המתקדם: מהיר יותר, עם יותר טקסט, וגם זול יותר

הקשר (Context) מתייחס לכמות הטקסט הכוללת של "הכנסת מילות מפתח לדגם השפה ושיחות חוזרות", בעבר הכמות המקסימלית הייתה 32,000 טוקנים (והייתה זמינה רק לחלק מהמפתחים), ו-GPT-4 Turbo מאפשר עד 128,000 טוקנים, מה שמאפשר להכניס ספר של 300 עמודים בבת אחת ל-GPT-4 Turbo, ולתת לדגם ליצור. מבחינת מהירות, החיסרון הגדול ביותר של GPT-4 בעבר היה מהירות איטית, ובמהלך ההמתנה ליצירה היה צורך בזמן רב, ולכן חברות עדיין משתמשות ב-GPT-3.5 כדי לפתור את רוב הבעיות בשימוש מעשי. לכן GPT-4 Turbo פתר את הבעיה הזו, והפך את מהירות היצירה לקרובה ל-GPT-3.5, וגם העשיר את התרחישים העתידיים לשילוב GPT-4 Turbo. מבחינת עלות, בהשוואה לגרסה הקודמת של GPT-4, עלות מילות המפתח זולה פי שלושה (3x cheaper), ועלות הטקסט המיוצא זולה פי שניים (2x cheaper).

פונקציית קריאה ידידותית יותר למפתחים (Function calling)

מהי קריאת פונקציה (Function calling)?

OpenAI פרסמה מוקדם יותר השנה את פונקציית "קריאת פונקציה", שמאפשרת למפתחים לקרוא לפונקציות קוד מותאמות אישית בעת השימוש ב-GPT. במילים אחרות, זה מאפשר ל-AI החכם להתחבר למגוון רחב של API, מה שמגדיל באופן משמעותי את התחומים שבהם OpenAI יכולה להשתמש. הביצועים החזקים של הדגם הם בכך שברגע שהמפתחים מספקים ממשקי פקודות מרובים לתוכנית, GPT יכול להחליט בעצמו איזו פקודה לקרוא, ולהשתמש בפרמטרים המתאימים לביצוע.

לדוגמה: מפתח של נורת חיישן חכמה מספק שתי פקודות: "הגדרת צבע" ו"הגדרת זמן חישה". לפקודת הגדרת הצבע יש שלושה פרמטרים: אור לבן, אור טבעי ואור לילה. כאשר מכניסים ל-GPT מילות מפתח: "בבקשה הגדר לי את הנורה המתאימה ללילה", GPT יחליט אוטומטית להשתמש בפקודת "הגדרת צבע" ויבחר בפרמטר "אור לילה", תהליך ההחלטה הזה מתבצע ללא התערבות אנושית. בעבר היה צורך להשתמש בטכנולוגיית NLP כדי לכתוב לוגיקה מותאמת אישית כדי להשיג את הפונקציה הזו, כיום ניתן להשיג זאת רק באמצעות קריאה לתוכנית GPT.

מה השתנה הפעם?

העדכון הנוכחי מאפשר ל-GPT להחליט בצורה מדויקת יותר איזו פקודה ופרמטרים להשתמש, ובמקביל שופר היכולת של GPT לקרוא פקודה אחת בלבד בכל פעם. בעבר, כאשר הסיטואציה הייתה מורכבת יותר, המפתחים היו צריכים לכתוב תוכנית נוספת כדי לאפשר לפונקציה לקרוא מספר פעמים; העדכון הנוכחי מאפשר ל-GPT לבצע מספר פקודות בבת אחת, ולתת לכל תוצאה של פקודה לעבור ביניהן. לדוגמה: כאשר משתמשים במילות מפתח "אני נוהג לקום באמצע הלילה לשתות מים, בבקשה הגדר לי את מצב הנורה המתאים", GPT יכול להחליט לקרוא לשתי הפקודות "הגדרת צבע" ו"הגדרת זמן חישה", ולהחליט על פרמטר "זמן חישה" כ"זמן 01:00 עד 06:30", ובמקביל להשתמש ב"הגדרת צבע" עם פרמטר "אור לילה".

בנוסף, התשובות של דגמי השפה בעבר היו תמיד בתוכן טקסט לא פורמלי, ואם רצו תשובה בפורמט מסוים, היה צורך לבקש במילות המפתח "בבקשה תענה בפורמט xml"; עם זאת, המפתחים נתקלו לעיתים קרובות בבעיה שהתשובה לא הייתה תמיד בפורמט xml, ולעיתים כללה חלקים של טקסט פשוט, מה שגרם לבעיות בהמרת הפורמט. הפעם, GPT-4 Turbo מאפשר למפתחים להגדיר את פרמטר response_format, שניתן להגדיר כ-xml או json, פורמטים נפוצים של API, מה שמגביר את היציבות של התוכנית.

לבסוף, OpenAI מאפשרת למשתמשים להגדיר את פרמטר Seed, שקובע את האקראיות של התוכן המוחזר על ידי GPT. באמצעות הגדרת פרמטר זה, ניתן להבטיח שהמפתחים ישמרו על עקביות התשובות של דגם השפה, מה שמאפשר למפתחים לכתוב תרחישי בדיקה בביטחון רב יותר (מניעת מצב שבו דגם השפה פתאום נותן תשובות שונות), ומשפר את יכולת הבדיקה והאיכות של התוכנית.


מלבד שתי הנקודות שפורסמו לעיל, מבחינת הרחבת תרחישי היישום, פרסום ה-API של העוזר הוא גולת הכותרת של DevDay.

Assistants API (API של עוזרים)

בעבר, אם רצו להשתמש בדגם שפה גדול לפיתוח יישומי AI גנרטיביים, היה צורך להשתמש בחבילות צד שלישי כמו LangChain, כדי להעניק לדגם השפה יכולות מתקדמות יותר, כגון: שימוש במודלים רב-לשוניים, יכולת נתונים מותאמת אישית, זיכרון וסוכן (Agent, שמאפשר ל-AI לבצע משימות רציפות והחלטות רציפות), כדי להשלים יישומי AI מורכבים יותר.

וה-API של העוזר שפורסם ב-DevDay, משלב את היכולות שהוזכרו לעיל ב-API הרשמי, ומונע מהמפתחים את הבעיות השונות בהן נתקלים בעת שילוב חבילות צד שלישי. זהו גם הפעם הראשונה שהרשויות יוצאות מהשיפור הפשוט של ביצועי דגם השפה הגדולה, ומתחילות לחקור את יישום ה"סוכן". המסמכים הרשמיים מציינים כי "עוזר הוא AI מכוון מטרה, שמאפשר להשתמש בפקודות ספציפיות, להשתמש בנתונים חיצוניים או להשתמש במודלים וכלים שונים של שפה לביצוע משימות".

ה-API החדש של העוזר כולל גם מספר כלים, מלבד "קריאת פונקציה" שהוזכרה לעיל, הוא גם מספק "מהדר קוד" ו"חיפוש נתונים".

מהדר קוד (Code Interpreter)

ה"מהדר קוד" של GPT-4 מאפשר לקוד שנכתב על ידו להתבצע בסביבת סנדבוקס (כרגע תומך רק ב-Python), בעבר מהנדסים שקיבלו עזרה מ-GPT-4 לכתיבת קוד, היו צריכים להעתיק ולהדביק אותו בסביבת הפיתוח שלהם לבדיקה, אך סביבת הסנדבוקס שמספקת OpenAI מספיקה כדי לאפשר ל-GPT-4 לבדוק את נכונות הקוד שלו, ולבצע שינויים בקוד על פי התוצאות שהתקבלו, עד להשגת המטרה.

עם זאת, תפקידו של מהדר הקוד גדול יותר מ"לאפשר ל-GPT-4 לבדוק את נכונות הקוד שלו", המשמעות הגדולה יותר היא: "לאפשר לדגם השפה הגדול להחזיק במחשב משלו". המחשב יכול לבצע את רוב המשימות. כיום דגמי השפה הגדולים יכולים לתקשר בצורה של פקודות תוכנה, למרות שהביצוע בסביבת סנדבוקס מוגבלת מאפשר למהדר הקוד להשתמש רק בחבילות צד שלישי מסוימות, אך זה מספיק כדי לבצע "רוב המשימות ש-Python טובה בהן", כגון: עיבוד נתונים וקריאות API, ויכול לקרוא קבצי קוד גדולים יותר שסופקו על ידי המשתמשים. מבחינת אבטחה, סביבת הסנדבוקס מונעת את השימוש לרעה ביכולות החזקות של דגם השפה הגדול, ולכן יש לה ביטחון מסוים מבחינת אבטחה.

חיפוש נתונים (Retrieval)

"חיפוש נתונים" מאפשר למשתמשים להעלות את הנתונים שלהם (כגון: נתונים מתחום תעשייה מסוים, מידע על מוצרים או מסמכים פנימיים) ולתת לדגם השפה הגדול לענות על שאלות על בסיס נתונים אלה, ולהשתמש בהם בתעשייה או בתחום שלהם. פונקציה זו הייתה מוקד תחרות מאז הופעת GPT-3. החיפוש נתונים שפורסם ב-DevDay הוא הפעם הראשונה שהרשויות מספקות פתרון מקורי לפונקציה זו, לדוגמה: לאפשר לחברות ליצור רובוט ידע פנימי, כמו מנהל פרויקטים AI, אנליסט מערכות AI; רובוטי שירות לקוחות בתחומים כמו רפואה, פיננסים וכו', בעבר היה צורך להשתמש בטכנולוגיות עיבוד שפה מורכבות כדי ליישם זאת, כיום עם דגם השפה החזק של GPT-4, ובתמיכת החיפוש נתונים הרשמי של OpenAI, המפתחים יכולים להתמקד בלוגיקה העסקית, דיוק הנתונים וכיול הפרטים. בנוסף, בעבר היה צורך להשתמש בחבילות צד שלישי עבור מאגרי נתונים וקטוריים, עיבוד נתונים או אלגוריתמי חיפוש מסוימים, אך עם התמיכה הרשמית של OpenAI, אין צורך לטפל בתהליכי הפיתוח והעלויות הנגזרות מכך. OpenAI גם מדגישה במיוחד שהשיחות והקבצים שמשתמשים ב-API של העוזר לא ישמשו לאימון הדגם הבא של OpenAI.

סיכום

באופן כללי, OpenAI לא רק משפרת את יעילות הדגם, אלא גם ממשיכה להרחיב את היישומים של דגם השפה הגדול. סם אלטמן אמר ש-GPT-5 לא יושק בקרוב, ובינתיים, עם הדיוק של GPT-4, נראה שאין צורך להשקיע עלויות נוספות לאימון דגם שפה גדול יותר, אלא לשפר את הביצועים, השימושיות וההרחבה של GPT-4, זהו המוקד הנוכחי של OpenAI; ולמפתחים, חברות וצרכנים סופיים, הכנסת AI חזק יותר שיכול להיות מיושם ברוב התרחישים, הפכה למוקד של הדור הבא של טרנספורמציה דיגיטלית. ה-GPT שיצרה OpenAI הוא כמו המוח בעולם הטכנולוגי של העתיד, ואנו מאמינים שהיצירה וההתקדמות הבאות יהפכו את הבינה המלאכותית למיומנת יותר בשימוש בכלים, ותוכל "לראות", "לשמוע", "לדבר" ו"לצייר" בצורה שוטפת.