בוט הזמין חדר מלון שגוי ללקוח הכי חשוב. הוא הבין "מיקום במרכז העיר", אבל פספס את הכוונה הנסתרת: "קרוב למרכז הכנסים". טעות קטנה בתחילת השיחה הפכה לטעות יקרה בסוף.
מנהל פיתוח בבית חולים אמר לי: "אנחנו לא יכולים לסמוך על AI לאבחון מטופלים, זה מסוכן מדי". הוא צודק לגבי אבחון, אבל מחמיץ לגמרי מה שכן אפשר לעשות.
אמזון? האתר שלה נפל שש שעות בגלל שינויי קוד שנוצרו על ידי AI, בנוסף ל13 שעות של נפילה במחשבון העלויות של AWS.
שלושה סיפורים שמלמדים את אותו הדבר: ה-AI שלכם מקבל החלטות. השאלה היא האם אתם מבינים אותן, ומי אחראי כשהן טועות.
הקופסה השחורה שמחליטה בשבילכם
רוב הארגונים מתייחסים ל-AI כמו לשקע חשמל: מחברים, מדליקים, ומקווים שיעבוד. עד שמשהו משתבש.
הבוט שהזמין את החדר הלא נכון לא שיקר. הוא עבד בדיוק כפי שתוכנן: הוא זיהה דפוסים מתוחכמים בשפה, אבל לא הבין כוונות בהקשר (הרבה פעמים הן מרומזות). זו אינה תקלה, זו מגבלה ארכיטקטונית שצריך להכיר כשמתכננים מערכת.
טום גריפיתס מפרינסטון ניסח זאת בספרו "חוקי החשיבה": המתמטיקה והפילוסופיה מאחורי AI אינן פילפול אקדמי, הן ערכת הכלים לדיבגינג שלכם. כשמנוע ההמלצות שלכם קורס, הבנת חשיבה הסתברותית היא מה שמאפשרת לכם לאתר את השורש. כשהצ'אטבוט נותן תשובות מוזרות, ידיעה מה המודל מנסה לאפטם, זה מה שמאפשר לתקן.
מנהלי טכנולוגיה שמתייחסים ל-AI כקופסה שחורה לא חוסכים זמן, הם דוחים פאניקה.
אמון הוא לא ציות
חזרתי מכנס ציות (compliance) שבו דוברים דיברו שעתיים על הסיכונים המשפטיים של AI. נקודות חשובות, הכרחיות אפילו. אבל שאלה אחת לא נשאלה: "מה קורה כשהלקוח הכי טוב שלכם שואל איך ה-AI קיבל את ההחלטה הזו?"
ציות זו בעיה של עמידה בדרישות חיצוניות. אמון זו בעיה של מערכת יחסים.
כשאי אפשר להסביר את ההיגיון מאחורי החלטה של ה-AI, הציות הופך להיות הבעיה הקטנה ביותר: הקשר עם הלקוח מת ראשון.
הפתרון הוא לא עוד הכשרות של עובדים לחובות חוקיות וציות. הפתרון הוא לבנות שקיפות ואחריותיות בארכיטקטורה מהיום הראשון. לא בתגובה לאירוע, לפני שהאירוע קורה.
AI בבית החולים: הדיון הלא נכון
מנהל הפיתוח של בית החולים שאמר "AI לאבחון זה מסוכן" צדק. אבל הוא גם הפסיד את ההזדמנות.
רפואה לא זקוקה ל-AI שמקבל החלטות של חיים ומוות. היא זקוקה ל-AI שמונע בעיות לפני שהן קורות: גילוי מוקדם של דלקות, חיזוי מחסור במיטות, זיהוי כשלים בציוד לפני שהם מתגלים. בדברים כאלה מודלים הסתברותיים מצטיינים.
האירוניה: באותם בתי חולים עוקבים ידנית אחרי דפוסים שמודל AI יכול לאתר אוטומטית, ולאתר טוב יותר.
ההבדל הקריטי: לא שואלים "האם לסמוך על AI?" אלא "לאיזו משימה מתאים איזה כלי?" AI לא בא להחליף שיפוט רפואי. הוא בא לתת לרופא מידע שלא היה לו בלי תמיכת המכונה.
כשאמזון לא יכולה לשמור על אמזון
האתר של אמזון נפל שש שעות. מחשבון העלויות של AWS: כ13 שעות השבתה. הסיבה: כלי AI שעשו שינויים אוטונומיים בקוד ללא פיקוח מספק.
התגובה הפנימית של אמזון ציינה "שימוש חדשני ב-GenAI שעבורו עדיין לא נקבעו best practices". זו תשובה נכונה, אבל מעוררת שאלה חשובה: אם אמזון, עם משאבים בלתי מוגבלים והכישרונות הטובים ביותר, לא הצליחה לפקח כראוי, מה עם הצוות שלכם?
זו לא קריאה להימנע מ-AI. זו קריאה לבנות פיקוח בצורה מוצלחת. ה-AI כאן, והוא כבר מקבל החלטות. השאלה היא האם התהליכים שלכם בנויים להבין מה הוא עושה ולתפוס אותו כשהוא טועה.
נקודות לסיכום
שלושת הסיפורים האלה, מהבוט עם החדר הלא נכון דרך בית החולים ועד לאמזון, מלמדים ששאלת הבסיס של המדיניות לגבי אימוץ AI אינה "האם להשתמש?" אלא: "מי מסביר, ולמי, כשמשהו משתבש?"
בנו אחריותיות בארכיטקטורה לפני שתזדקקו לה. הבינו את המגבלות של הכלים שאתם פורסים. ותכננו שכבות ביניים שמאפשרות לכם להסביר, לא רק לתפעל.