בועת הסינתזה ואשליית הידע בעידן הבינה
הבינה המלאכותית מביאה יתרונות רבים אך התקופה האחרונה מציגה סוגיות מעניינות ומגוונות, החל מהשאלה הגדולה של האם הבינה המלאכותית היא בועה, אולי שינוי מבני או אבולוציה ועד סוגיות אחרות כמו של עודף מידע וכלים מיותרים שלא נותנים ערך.
אחד הנושאים המרתקים והמדאיגים בעת ובעונה אחת הוא עודף הידע. נדמה שאנחנו חיים בתקופה שבה הידע האנושי עובר שינוי יסודי, אפילו כמעט אבולוציוני, וזה לא בגלל התגליות החדשות אלא בגלל הבינה המלאכותית שהפכה למכונת ייצור עצומה ופסיכית של תוכן. אפשר לומר שכל פיסת מידע, דוח מקצועי, מאמר, או אפילו מחשבה, נוצרת היום לא פעם על ידי אלגוריתם שמחשב הסתברויות ולא מבין הקשר.
כידוע, המטרה היא לאפשר כלי מתקדם עם חוכמה ונגישות, אך בפועל נולד עידן של אשליית ידע עם מציאות שבה נדמה שכולנו יודעים הכול, גם בתחומים שמעולם לא נגענו בהם. מאחורי תחושת הוודאות הזו מסתתרת שכבה עבה של טקסטים ממוחזרים, מידע סינתטי והסתברויות סטטיסטיות שמדמות הבנה אנושית.
בקצרה, אנו חיים בעידן של עודף אינפורמציה חסר תקדים או שאולי מדויק יותר לומר, בעידן של פסולת מידע. נתונים זורמים אלינו בקצב מסחרר, מאמרים נוצרים אוטומטית, ניתוחים מופקים ללא בקרה אמיתית, ומחקרים מתפרסמים מבלי שאיש עוצר לשאול מה מקור הנתונים או עד כמה המסקנות מבוססות. התוצאה היא עולם שבו כמות המידע עצומה, אך איכות ההבנה האנושית נשחקת וזה איננו עידן הבינה, אלא עידן הפוסט ידע ובתקופה שבה נגישות אינסופית למידע אינה מתורגמת לחכמה ותובנות, וההבנה האנושית, זו שנובעת מביקורת, הקשר וחשיבה מעמיקה, הפכה למוצר נדיר ויקר ערך.
המאמר עוסק בתופעה קיימת שהולכת ומתרחבת, ומציג ממצאים ודוגמאות מהשטח שנבדקו ואומתו, ומטרתו איננה להכליל או לפגוע בעבודתם של אנשי המקצוע בתחום, אלא להאיר מגמות רחבות ולבחון את השפעתן על סביבת הידע והעשייה המקצועית.
והשאלה הגדולה שנשאלתי על כך לא פעם, האם ועד כמה אני נעזר בבינה לכתיבת מאמרים? והתשובה פשוטה. אני משתמש באחוזים קטנים, אבל אינני מסתמך. יתרה מכך, אני עובד עם זה באופן כללי ולא רק לכתיבת מאמרים והבינה הפכה לכלי עבודה קבוע שמסייע לי בחיסכון של עשרות שעות בחודש. עם זאת, היצירתיות, הרעיונות, החשיבה, האחריות וההבנה הם עדיין שלי (ורק שלי) ואני זה שבודק את הפרטים הקטנים, מאמת מקורות, משווה נתונים ומוודא שהכול עומד בקריטריונים.
סינתזה במקום תיאוריה
אם בעבר הידע נוצר באמצעות מחשבה, ניסוי והסקה, כיום הוא נוצר באמצעות חיזוי, כי המודלים אינם חוקרים את המציאות, הם מנחשים את ההמשך הסביר ביותר של משפט, והכי גרוע הם לא מגלים תובנה, הם מספקים דימוי של תובנה.
במצב כזה נוצר בועת הסינתזה וזה ממש מצב שבו מערכת שממלאת את העולם בתוכן שמרגיש חכם אך חסר בסיס אמיתי והכי גרוע ברגע שבודקים אותו רואים עד כמה הוא ריק מתוכן. העולם מתמלא בטקסטים שנראים מדעיים, בעלי תוכן עמוק, מחקרים שמצטטים מקורות מדומים, ומאמרים שמשחזרים רעיונות קיימים בשפה חלקה ומושכת, רק שפעם זה מתחלף באוטומציה סטטיסטית של ניסוח ולמצבים שבהם התיאוריה נעלמת והופכת לחיזוי סטטיסטי ארוז היטב, והאדם מאבד את ההבחנה בין גילוי אמיתי לבין ניחוש שנשמע משכנע.
הגורם האנושי החליף הבנה בשכנוע עצמי ובמקום מדע יש מראית עין של מדע, במקום תיאוריה יש סינתזה כתובה היטב, במקום מחקרי סייבר עמוקים עם תובנות יש הרבה תיאוריה עם מושגים שנולדו הרגע ואינם קשורים ליומיום.
אין ספק, הדוחות והמאמרים המופקים נראים מקצועיים בצורה פסיכית, אבל מתחת לפני השטח אין עומק ומחקר, אין ניסוי, ואין אחריות מקצועית כלל. יש רק מכונה שמרכיבה טוקנים וכל מערכות הידע מתיישרות לפי אותה שפה, אותו סגנון, אותו טון. ולכן, התוצאה היא אחידות אינטלקטואלית שמתחזה לקידמה ובמקום רעיונות חדשים, אנחנו מקבלים וריאציות אינסופיות של אותו משפט ארוז בעטיפות שונות, לעיתים מרשימות.
בקיצור, זהו עידן שבו הדיוק הסטטיסטי גובר על הסקרנות, והעומק מוחלף בזרימה חלקה של טקסט חסר נשמה.
אשליות מחליפות את הגורם האנושי
האם כך? הבעיה האמיתית היא לא בבינה עצמה, אלא בכך שהאדם הפסיק להטיל ספק במקרים רבים.
ברגע שמידע סינתטי מתקבל כעובדה, תהליך החשיבה האנושי מתרוקן מתוכן ומקבל את התוכן המוג כעובדה מוגמרת. חוקרים מצטטים פלטים של מודלים כאילו מדובר במחקר, אנשי מדע מסתמכים על גרפים שנוצרו מאלגוריתמים, ועורכי דין מגישים ציטוטים שלא קיימים. כל זה קורה בזמן שבינה אינה מבינה דבר. היא רק מחקה את הסימנים הלשוניים של הבנה. אין לה תודעה, אין לה הקשר, אין לה שיקול דעת. כשאדם מפסיק לשאול שאלות ומסתפק בתשובה אוטומטית, הוא מאבד את היכולת להבחין בין אמת לשקר, בין מידע גוי לבין מידע מדויק.
במקרה הזה מדובר על תהליך שאיננו טכנולוגי אלא תהליך פסיכולוגי עמוק של ויתור על חשיבה.
האשליה הזו מתוחזקת גם על ידי מנגנוני יוקרה ופרסום כי חברות מפרסמות דוחות חכמים, מוסדות מחקר משתמשים במודלים כדי להראות קידמה, וארגונים ממשלתיים מאמצים פתרונות שמבטיחים יעילות מיידית.
הכול עטוף במילים כמו אוטונומיה, דיוק, וחדשנות, אך בפועל מדובר באיבוד אחריות אנושית, ולא נשאר מקום לטעות, לשאלה או לאי ודאות. הכול מוכן מראש, מחושב ומדוד וזה אולי נראה יעיל, אבל זה הורג את מה שהפך את האדם לחוקר מלכתחילה.
דוגמאות מהשטח
המציאות מספקת שורה של מקרים מתועדים היטב שממחישים את עומק הבעיה של הצפת מידע סינתטי, שימוש שגוי בכלי בינה, והיעדר בקרה אנושית מספקת. הדוגמאות הבאות מייצגות את קו התפר שבו טכנולוגיה חכמה הופכת למקור לאשליה אינטלקטואלית.
הסיפור של Deloitte Australia הוא דוגמה נקייה לכשל. דוח רשמי לממשל שנכתב בחלקו באמצעות מודל, עם מקורות מומצאים, נתונים לא מאומתים וציטוטים שאינם קיימים. אחרי בדיקה, הממשלה דרשה החזר של מאות אלפי דולרים והודאה בשימוש לא מבוקר במערכות AI, וכפי שתועד ב AP News וב The Guardian. זה מדגים איך מסמך שנראה סופר מקצועי יכול להיות תוצר סינתטי ללא ביקורת אנושית אפקטיבית.
מהות הכשל הייתה שילוב AI בתהליך כתיבת דוח בעל סיכון ציבורי ללא שקיפות, ללא בדיקת אסמכתאות, וללא שרשרת עקיבות לנתונים. המודל ייצר טקסט בוטח שהסתיר הזיות ומקורות מומצאים, והמסמך עבר הלאה כאילו הוא מחקר מבוסס. המשמעות המערכתית היא שגם ארגונים גדולים אינם חסינים מכשלי governance כשאין מדיניות ברורה, בקרות אימות, ומצבים של segregation of duties בין ייצור התוכן לביקורתו.
הסיפור של Project Ire. מיקרוסופט הציגה מערכת לזיהוי אוטונומי של נוזקות עם הבטחה לניתוח קוד והפקת תובנות בזמן אמת. אך דיווחים מאוחרים, כולל The Register, ציינו שהמערכת זיהתה רק חלק קטן מהמקרים בפועל עם ביצועים טובים בתנאי מעבדה, אך כישלון בסביבות ייצור. זו דוגמה קלאסית ל overfitting של מודל ולפער בין טלמטריה אמיתית לדאטה סינתטי ומתויג באופן מצומצם. מה בעצם קרה? בסביבה מבוקרת ה dataset היה נשלט, עם חתימות ותבניות מוכרות של נוזקות. בשטח, וריאנטים obfuscated, poly/metamorphic, ו fileless עם LOTL חמקו מהכללים שהמערכת בנתה.
השימוש בבינה מבליט פרדוקס מוכר עם אותו סיפור והוא שהמודלים אינם מתכוונים להטעות, אך הם מייצרים שכנוע בטוח ללא הבנה סיבתית או אחריות תפעולית, כמו שנאמר לחרטט בביטחון. והגורם האנושי מפקיד בידיהם אמון לא מוקשח, והם מחזירים פלט שנשמע סמכותי אך אינו נשען על אמת מוכחת או הקשר שנבדק.
הלקח הפרקטי והעקרוני כאחד הוא נוקב. בינה מלאכותית היא שכבת סיוע לא מקור סמכות ובלעדי בקרת אנוש, אימות מקור ומעקב, היא נוטה לייצר מציאות שבה הצורה מנצחת את התוכן. לכן, יש להחיל עליה את אותם מנגנוני ניהול סיכונים שאנו מחילים על מערכות קריטיות, כמו, ולידציה מול מקורות סמכותיים, מדיניות ספק עדות, ותיעוד מלא של תהליך הייצור לצורך ביקורת ורק כאשר שיקול דעת אנושי סוגר את הלולאה התוכן משרת את המציאות, ולא מחליפה אותה.
בין שליטה לתלות
החלק המעניין. המפגש בין האדם לבין הבינה המלאכותית כבר איננו טכנולוגי בלבד אלא אחר, אולי פסיכולוגי, קצת פילוסופי ותרבותי, כי בעומקו מסתתרת שאלה מהותית, האם אנחנו עדיין אדונים לכלים שיצרנו או שכבר הפכנו לתלויים בהם מבלי לשים לב. יש מצבים כאלה.
שליטה בבינה אינה נמדדת ביכולת הפעלה טכנית או בהבנת אלגוריתמים, אלא ביכולת לשמר חשיבה עצמאית גם מול מערכת שחושבת הרבה יותר מהר מאיתנו. כשהאדם מתחיל לסמוך על המערכת במקום להבין את החלטותיה, נוצר תהליך סמוי של ויתור על אחריות והוא מפסיק לשאול מדוע ומתחיל לשאול רק איך וזהו המעבר הדק משימוש מושכל לתלות אינטלקטואלית הרגע שבו התבונה האנושית מוחלפת באמון עיוור במנגנון מתמטי.
התלות אינה מתפרצת בבת אחת והיא מתפתחת באיטיות, דרך יעילות, נוחות ובפרט הרגל יומיומי. כל תשובה שנראית נכונה מחלישה מעט את הצורך לבדוק, וכל הצלחה של מערכת חכמה מחזקת את תחושת הביטחון בה. כך מתרחש אובדן הדרגתי של הספק היסוד שבזכותו נולדת הבנה אמיתית. האדם מאבד את האומץ לטעות, ואת היכולת לזהות שדווקא חוסר הוודאות הוא מנוע הצמיחה של הידע האנושי.
שליטה אמיתית איננה שליטה טכנולוגית אלא שליטה מושגית והיא היכולת להבין את גבולות המערכת ולהגדיר את תפקידה. כמו כן, היא מחייבת מעורבות מתמדת, חזרה לשאלות היסוד, ועמידה על עקרון פשוט אך מהותי, הבינה המלאכותית נועדה להרחיב את החשיבה האנושית, לא להחליף אותה.
הגבול בין שליטה לתלות כמעט בלתי נראה והוא נחצה בדיוק ברגע שבו האדם מפסיק להבין את המערכת ומתחיל להאמין לה, בפרט כאשר שמודלים של חיזוי תופסים את מקומה של הסקה לוגית, וכשנוחות גוברת על ביקורת, ומשם נוצרת תלות שאינה טכנולוגית בלבד אלא תפיסתית.
אחד הדברים הכי חשובים הוא שיש שהפער בין שליטה לתלות בבינה המלאכותית מתחדד במיוחד בדור הצעיר. בעוד הדורות הקודמים בעלי הניסיון למדו להטיל ספק, לבדוק מקורות ולהבין תהליכים מתוך ניסיון ארוך שנים, הדור הצעיר גדל לתוך מציאות שבה התשובה תמיד זמינה, מהירה ומנוסחת היטב. לכאורה, זו תקופה של ידע נגיש לכל, אך בפועל נוצרה תלות אינטלקטואלית והוא דור של משתמשים שיודעים לשאול את המערכת, אך לא תמיד יודעים לבדוק את תשובתה.
אדם בעל ניסיון יודע לזהות חריגה והוא מבין מתי הנתון יפה מדי, מתי הניתוח חלק מדי, ומתי התוצאה לא מתיישבת עם ההיגיון המקצועי. ניסיון יוצר רגישות לשגיאות, אינטואיציה למידע חסר, והבנה שהעולם האמיתי תמיד מורכב יותר מהמודל החישובי. לעומתו, מי שצמח ישירות לתוך מערכות בינה, לעיתים רואה בתשובה של המערכת אמת אובייקטיבית, מבלי להבין שהיא מבוססת על הסתברות, לא על עובדה.
כיצד לשמר הבנה אנושית בעידן הבינה?
בעידן שבו הבינה המלאכותית מייצרת ידע, ניסוחים ותובנות לכאורה בקצב שמעולם לא הכרנו, האתגר המרכזי כבר איננו טכנולוגי אלא אנושי בלבד והיכולת לשמר הבנה אמיתית הפכה לתנאי קיום אינטלקטואלי.
הבנה אנושית שונה מהבנה חישובית והיא אינה מבוססת על הסתברות או התאמה לדפוסים קיימים, אלא על שיפוט, הקשר, ספק ויכולת לראות מעבר לנתונים. בינה יכולה לנתח מערכים שלמים של מידע במהירות שאדם אינו יכול לעשות, אך היא איננה מבינה את ההשלכות, אינה שואלת למה, ואינה מסוגלת לזהות מתי משהו פשוט לא הגיוני. משהו ביצירתיות והבנה אנושית עדיין לא קיים בבינה.
כדי לשמר את אותה הבנה, עלינו להחזיר למרכז שלושה עקרונות בסיסיים:
הראשון הוא מעורבות פעילה ולא להסתפק בתשובה שנראית נכונה, אלא לבדוק את מקורותיה, להבין את התהליך שהוביל אליה, ולשאול מה נשמט בדרך.
השני הוא חשיבה ביקורתית והיכולת לזהות מתי מערכת מציגה ביטחון מזויף ולדרוש הוכחה במקום רטוריקה.
והשלישי הוא אחריות יצירתית עם שימוש בכלים חכמים כדי להרחיב מחשבה אנושית, לא בכדי להחליף אותה.
בתקופה שבה השפה הפכה לאוטומטית, דווקא היכולת לנסח מחשבה אמיתית, מקורית ומנומקת היא הצורה החדשה של אינטיליגנציה. לא מדובר בהתנגדות לטכנולוגיה, אלא שימוש מושכל ומודע עם ניצול היתרונות הברורים שלה.
העתיד לא ייקבע לפי מהירות העיבוד של המודלים, אלא לפי עומק השאלות שהאדם ימשיך לשאול, ולכן ההבדל בין ידע לבין הבנה לא נעלם, הוא פשוט דורש מאיתנו יותר מאמץ. מי שיבחר לשמר את ההבנה האנושית, ישלוט בעידן הבינה ומי שיוותר עליה, יישלט על ידו.
קישורים נוספים
מאמרים נוספים בעברית של בינה מלאכותית
