הגישה המתאימה לפתרון הנגשת מידע באמצעות LLM

אין ספק שההתקדמות הטכנולוגית שהגיע עם מודלי השפה הגדולים מאפשרת לנו לבנות פתרונות עוצמתיים
חשוב מאד להכיר את היכולות של הכלים האלה ולדעת להשתמש בהם ולשלב אותם נכון בארגון,
הפעם נדבר על בעיה או בעצם פתרון של הנגשת מידע ארגוני באמצעות LLM.

הנגשת תוכן היא בעיה מאד כללית ויכולה להופיע בצורות שונות המצריכות גישה שונה בפתרון, לצורך ההמחשה ניתן שתי דוגמאות שונות (מאד) של פתרונות הנגשת תוכן
שכל אחת מהן תדרוש התייחסות שונה.

הדוגמא הראשונה: מוקד שירות לקוחות של תמיכה טכנית בתפעול מכשיר סלולרי.

הדוגמא השנייה: הנגשת התוכן של כל מסמכי הארגון מהעשור האחרון, לצוות אנליסטים מהיחידה הכלכלית של הארגון.

מדובר בשתי בעיות שונות לחלוטין, נתייחס כרגע רק לפרמטרים הבאים שאנחנו צריכים לצורך תכנון הפתרון המתאים:

1. כמות המשתמשים במערכת
2. היקף התוכן במערכת
3. כמות השאלות החוזרות (שאלות שהתשובה אליהן זהה)
4. איך הלקוח שלי מתייחס לתשובה ומה הוא עושה איתה

ככל שכמות המשתמשים במערכת גדולה יותר והיקף התוכן מצומצם יותר ננסה ליצור מאגר שאלות ותשובות מראש שייתן את המענה
כמות השאלות החזורות הוא פרמטר חשוב שיכול לשנות את הפתרון, במידה ויש הרבה משתמשים ומעט תוכן אבל איכשהו השאלות לא חזרות על עצמן, מאגר שאלות ותשובות לא ייתן מענה ונדרש לפתון שונה, מהצד השני גם אם יש לנו המון תוכן שצריך לכסות, אבל בפועל אחוז גדול של השאלות חוזרות על עצמן יהיה כדאי להכין מאגר שאלות לתוכן החוזר מתוך כל מאגר המידע.

הפרמטר האחרון, איך הלקוח מתייחס לתשובה חשוב מאד ודורש הבנה טובה של הבעיה העסקית.
בדוגמא של התרחישים שלנו ההבדל ברור, בהרבה מקרים יהיה קשה יותר לזהות את ההבדל, יהיו מאפיינים שונים של משתמשים שמתייחסים אחרת לתשובה ועוד הרבה דברים מעניינים שמגלים תוך כדי העבודה על הפרויקט ולפעמים גם על הארגון 🙂
אבל מה שאנחנו צריכים לזהות בפרמטר הרביעי זה האם הלקוח שלנו משתמש במידע שהחזרנו לו כהעשרה, קבלת כיוונים למחשבה, איסוף תוכן לביצוע ניתוח נוסף ועוד משימות מסוג זה, או שהלקוח משתמש במידע לבצע פעולה או החלטה מיידית בהתאם לתשובה.

ככל שהמידע יותר “קרוב” להחלטה וההחלטה יותר משמעותית, נעדיף לעבוד בשיטה של שאלות במאגר בהן קל לנו יותר להבין מה עוצמת הוודאות של התשובה
ככל שהמידע יותר “רחוק” מההחלטה או שההחלטה פחות משמעותית ואינה גורר פעולה מידית, נוכל לוותר על ההבנה של רמת הוודאות של התשובה ולהחזיר תשובה יותר “עשירה” באמצעות שילוב מודל LLM בד”כ ע”י RAG

* ישנן שיטות לחשב רמת וודאות גם על תשובות שחוזרות מ LLM , זה נושא שחברות גדולות וקטנות עובדות עליו במרץ,
בהמשך אכתוב על איך פתרון כזה עובד, מה הפתרונות הזמינים בענן, ומה זמין לנו גם כ Open source

אם יצא למישהו לפתח / להשתמש בפתרון כזה אשמח לשמוע 🙂