בחירה חופשית של ספקי AI, מודלים ופרופילים

בחירת AI צריכה להיות מנוהלת ולא מקרית

עבור עסק, בחירת AI כמעט אף פעם אינה מסתכמת במציאת מודל אחד שהוא הטוב ביותר. המחלקה המשפטית בוחנת את תנאי עיבוד הנתונים, מנהל הכספים בוחן את העלות, הצוות הטכני מתמקד באיכות התשובות, בזמן ההשהיה ובאמינות, ובעל התהליך זקוק לתוצאה מדידה. מודל אחד עשוי לכתוב טוב יותר, אחר לנתח מסמכים ארוכים ושלישי לבצע פעולות שגרתיות במהירות. לכן Sapphire I.C.D.S. אינה קושרת את סביבת ה-AI כולה לשילוב יחיד של ספק ומודל. הפלטפורמה מפרידה את התצורה לשלוש רמות: ספק, מודל ופרופיל.

הספק הוא הערוץ לשירות ה-AI

הספק אחראי לתקשורת עם פלטפורמת AI חיצונית מסוימת ולתרגום המאפיינים שלה לחוזה הפנימי המשותף של Sapphire I.C.D.S. הארכיטקטורה הנוכחית כוללת מתאמים לספקים נתמכים, ובהם OpenAI ו-Mistral. המבחר בפועל תלוי בגרסה, במדיניות הארגון ובהרכב של ההתקנה המסוימת. מנהל המערכת יכול לנהל כמה רשומות ספק, לשלוט בזמינות שלהן ולהסתיר מן המשתמשים אפשרויות שהושבתו.

זהו גבול חשוב: בחירה חופשית אינה אומרת שאפשר לחבר לסביבת הייצור כל שירות תואם HTTP ללא בדיקה. ספק זקוק למתאם נתמך, לתצורה נכונה ולאישור הארגון. גישה זו מצמצמת את הסיכון שאינטגרציה ניסיונית תהפוך בשקט לחלק מתהליך קריטי.

המודל מתאר יכולות טכניות ממשיות

ספק אחד עשוי להציע כמה מודלים עם מגבלות הקשר, נפחי תשובה וייעודים שונים. Sapphire I.C.D.S. שומרת את המודל בנפרד מן הספק ומן הפרופיל. כך אפשר לקבוע במפורש אילו מודלים זמינים, אילו הושבתו זמנית ואילו מגבלות צריכות להנחות את ממשק המשתמש ואת סוכן ה-AI. מודלים לטקסט רגיל אינם חייבים להתערבב עם מודלים בעלי התמחות אחרת: הקטלוג יכול להתחשב בייעוד ולא להציג אפשרות לא מתאימה בצ'אט הרגיל.

עבור ההנהלה מתקבלת מפת יכולות שקופה. במקום הגדרה מעורפלת של שימוש ב-AI, הארגון מקבל רשימה של מודלים מאושרים ויכול להבין היכן נדרש הקשר גדול, היכן מספיקה אפשרות חסכונית יותר והיכן נדרש פורמט תוצאה מיוחד. כאשר ספק מעדכן את קו המודלים שלו, ניתן להוסיף מודל חדש ולבדוק אותו באופן מבוקר בלי לשנות כל מודול עסקי.

הפרופיל הופך את המודל למדיניות עבודה

הפרופיל קושר את המודל הנבחר להגדרות של תרחיש מסוים. הוא יכול לקבוע הוראת מערכת, רמת הנמקה, מידת שונות מותרת, גודל תשובה מרבי, פורמט תוצאה, הזרמה, תקציב הקשר פעיל ועתודה לצמצומו. במשימות סוכן ארוכות הפרופיל יכול לכלול גם מגבלות תפעוליות. ניתן להפעיל פרופיל, להשבית אותו או לקבוע אותו כברירת מחדל.

באמצעות פרופילים אותו מודל מקבל תפקידים שונים בלי לשכפל את האינטגרציה. פרופיל לעורך תוכן יכול לדרוש טקסט מלא ומובנה, פרופיל למפעיל יכול לדרוש תשובה קצרה המבוססת על כלים מאושרים, ופרופיל אנליטי יכול להשתמש בהקשר גדול יותר ובהוראה מחמירה יותר. התצורה נעשית ניתנת לשחזור: העובד אינו צריך להרכיב ידנית את פרמטרי הבקשה בכל משימה.

ההשפעה על עלות ואיכות

הפרדת שלוש הרמות מאפשרת גישת תיק. פעולות תכופות וצפויות נשלחות לפרופיל חסכוני, משימות מורכבות לפרופיל חזק יותר, ומודלים חדשים נבדקים תחילה בהיקף מוגבל. מעבר בין אפשרויות אינו מחייב כתיבה מחדש של סכמות כלי הפלטפורמה: סביבת ה-AI המשותפת מנרמלת את השימוש בהם, ואילו הפורמט הייחודי לספק נשאר במתאם שלו.

• העלות נשלטת באמצעות בחירת מודל, מגבלות תשובה ותקציב הקשר.
• האיכות מתייצבת באמצעות הוראת מערכת ופרופיל, ולא באמצעות הגדרות אקראיות של משתמש יחיד.
• הסיכון מצטמצם באמצעות הפעלה מרכזית של ספקים ומודלים.
• המעבר נעשה פשוט יותר, משום שהכלים העסקיים אינם מתוכננים סביב הפורמט של ספק AI יחיד.

מה נשאר בשליטת מנהל המערכת

בחירת מודל בממשק אינה מבטלת את מדיניות הארגון. המשתמש רואה רק אפשרויות פעילות, והשרת קובע את הגישה ל-AI ולכלים שלו לפי חשבון מאומת והרשאות קבוצה. פרופיל אינו יכול לפתוח כלי חדש בעצמו, להרחיב סמכויות או להחליף את זהות המשתמש. גם פרטי הגישה לספקים אינם חלק מבחירת המשתמש.

תהליך יישום מעשי נראה כך: הארגון מגדיר ספקים מותרים, רושם את המודלים הנדרשים, יוצר כמה פרופילים ברורים, בוחר ברירת מחדל ובודק כל תרחיש מול הנתונים שלו. לאחר מכן הצוות הטכני מודד איכות, זמן תגובה וצריכה, ובעל התהליך מאשר את השילוב המתאים לעבודה.

עצמאות בלי הבטחות שווא

הארכיטקטורה מפחיתה תלות בספק יחיד, אך אינה הופכת מודלים שונים לזהים. שינוי ספק עדיין דורש בדיקה מחדש של ההוראות, איכות קריאות הכלים, מגבלות ההקשר ופורמטי התשובה. הפלטפורמה מספקת שכבה מנוהלת אחת לביצוע העבודה הזאת; היא אינה מבטיחה שקילות אוטומטית בין כל שירותי ה-AI.

עבור בעל העסק, התוצאה היא שמירה על חופש המשא ומתן ועל החופש הטכנולוגי. עבור המנהל הטכני, זו היכולת לנהל את הקטלוג באופן מרכזי, לבצע בדיקות בשלבים ולהחליף מודל בלי לבנות מחדש את הלוגיקה העסקית. הספק נשאר רכיב טכנולוגי שניתן להחלפה, המודל משאב מדיד, והפרופיל דרך מאושרת להשתמש בו.