שימוש בבינה מלאכותית יוצרת (GenAI) גדלה בארגונים באופן אקספוננציאלי, בין אם זה ברמת משתמשי קצה שעובדים עם סייענים וניגשים למודלים ציבוריים, או משתמשי קצה שעובדים עם Native LLM (כדוגמת Copilot 365), או במקרים של צוותי פיתוח שנעזרים בסייעני קוד ופיתוח ועד מקרים שבהם ישנו אימוץ וגישה לאפליקציות שמבוססות על תשתית AI ארגונית כלשהיא, כדוגמת Azure AI.

בפעולות הרבות ובצורת העבודה של משתמשי קצה וצוותי פיתוח מתרחש המון, בין אם חושפים מידע ונתונים רגישים למודל ציבורי, או במקרים אחרים שבהם מצליחים להגיע לנתונים בארגון שצריכים להיות חסויים, ועד מצבים שבהם ניגשים למודלים ציבוריים שהם לא מאומתים או נתונים מורעלים. אלה שהוזכרו, הם רק חלק מינורי במרחב התקיפה של בינה מלאכותית יוצרת (GenAI).

בשטח המצב הוא כזה שאחד מכל שלושה משתמשים התעסק ועבד עם אפליקציית AI כלשהיא, כמו גם, כמעט שליש מהם עשו זאת למטרות עבודה. אבל הנתון שאמור לעורר דיון אצל קובעי המדיניות, אנשי האבטחה ומקבלי ההחלטות הוא: למרות שיעור השימוש והאימוץ הנרחב של משתמשי קצה, רק אחוזים בודדים של משתמשי קצה מאמינים שהארגון יאשר להם להשתמש בבינה מלאכותית יוצרת (GenAI) לצורכי עבודה. בנוסף לכך, דו"ח של גרטנר צופה שעד 2027, 75% ממשתמשי קצה יפנו לבינה מלאכותית כדי להגביר את היעילות ללא פיקוח וניהול ארגוני.

רגע, אז פשוט לאסור את זה? בדוגמה קלאסית של הימנעות מסיכונים, ארגונים רבים הגבילו או ניסו להגביל אפליקציות ומודלים ציבוריים כמו ChatGPT בסביבת העבודה שלהן. אבל האם מישהו הקשיב או מקשיב לכללים ולהתפתחות המתרחשת סביבנו? מחקר של Dell מצא נתונים סטטיסטיים מעניינים אפילו יותר של שימוש בבינה מלאכותית יוצרת (GenAI). המחקר מצביע על כך ש 91% מתוך משתמשי קצה השתמשו בבינה מלאכותית יוצרת (GenAI) בצורה כלשהי בשנה האחרונה, ו 71% השתמשו בטכנולוגיה במקום העבודה שלהם – כל זה ללא פיקוח ארגוני, כלומר צוותי IT ואבטחה לא ידעו על כך.

בעקבות כך הגיע אלינו מרחב תקיפה חדש ומעניין שנוגע בהמון רבדים, צד המשתמש וצד התשתית והרבה בינהם. איך נראה מרחב התקיפה? הטכנולוגיות השונות של בינה מלאכותית יוצרת הביאו איתם מרחב תקיפה חדש ומעניין לגמרי, כאלה שמצריכות טקטיקות תקיפה או הגנה ייעודיות, מרחב תקיפה שמצריך חשיבה אחרת. במקרים נקודתיים בלבד יכול לשלב טקטיקות קלאסיות.

במרחב התקיפה הכללי שמתואר בדיאגרמה מטה אפשר לראות את המרחב העצום שבו אפשר לפעול, בין אם זה ברמת המודלים, או ברמת API ועד משתמש קצה וסייענים. אם אנו נוגעים בסיכון של Shadow AI, אז אנו צריכים ללכת שמאלה עד למרחב של המשתמש.

הדיגארמה מתוך המאמר של danielmiessler.

כאמור, אחד הסיכונים והאתגרים הוא: Shadow AI. תופעה זו, הכוללת שימוש במערכות וכלים בינה מלאכותית ללא אישור פורמלי, מהווה סיכונים משמעותיים לארגונים, לרבות פרצות אבטחה, אי תאימות התאמות לרגולציה, חשיפה לנתונים וסיכונים נוספים.

המאמר הנוכחי, ״Shadow AI: הסיכון הנסתר״ מרחיב על הסיכונים והאתגרים של Shadow AI ומעט תובנות מהשטח.

מהו Shadow AI

Shadow AI הוא שימוש או יישום בלתי מורשה של בינה מלאכותית יוצרת (GenAI) שאינם נשלטים או אינם גלויים לארגון, כלומר ללא ניהול ומעקב פורמלי של הארגון. לפי דוחות וסקרים שונים (חלקם מצורפים במאמר), ישנו מצב קיים שבו משתמשים כבר אימצו כלי בינה מלאכותית יוצרת (GenAI). אבל האם זה קורה במסגרת תהליכים פורמליים? תהליכים מאושרים? פיקוח IT? האם בחשבון ארגוני? במקרים רבים המצב אינו כזה.

טכנולוגיות מובילות של בינה מלאכותית יוצרת (GenAI) כמו מודלים של למידת מכונה, אפליקציות צאטבוט או כלים לניתוח נתונים שנפרסו על ידי מחלקות או צוותים בודדים ללא ניהול והרשאה מרכזית יכולים להוביל למצב קריטי. הנה כמה נקודות שכדאי מאוד לדעת לגבי Shadow AI והסיכונים הקיימים:

חוסר נראות: Shadow AI מתעורר כאשר עוקפים תהליכי IT וניהול נתונים סטנדרטיים. זה עשוי להיעשות מתוך אינטרס של מהירות וזריזות, שכן תהליכי IT מרכזיים יכולים לפעמים להיות איטיים יותר מהקצב שבו מחלקות מרגישות שהן צריכות לנוע.

סיכונים: בעוד שבינה מלאכותית יוצרת יכול להניע חדשנות בצורה פסיכית בכך שהיא מאפשרת לבדוק ולאמץ טכנולוגיות חדשות במהירות, לצד זה, היא מהווה סיכונים משמעותיים. אלה כוללים בעיות פרטיות, חשיפת נתונים ואי עמידה בתקנות ורגולציות. בנוסף, מודלים לא מאומתים של בינה מלאכותית יוצרת (GenAI) יכולים להוביל לחוסר יעילות ולתוצאות סותרות וכוזבות.

אתגרי ניהול: ניהול Shadow AI כרוך באיזון בין הצורך בחדשנות לבין הצורך בניהול (נראות, מעקב, שליטה, בקרה, אכיפה). ארגונים חייבים לקבוע מדיניות ברורה יותר לגבי השימוש בכלי בינה מלאכותית יוצרת (GenAI), לשפר את הזריזות של מחלקות IT ולהבטיח הכשרה ומשאבים מתאימים לפריסת בינה מלאכותית בטוחה.

זיהוי ואינטגרציה: זיהוי Shadow AI כולל בקרות וניטור של הכלים והטכנולוגיות של בינה מלאכותית יוצרת (GenAI) המשמשים ברחבי הארגון. לאחר זיהוי, ניתן לנקוט בצעדים לשילוב כלים אלה באקוסיסטם של צוותי IT ובאופן רשמי, תוך הבטחה שהם עומדים בסטנדרטים של הארגון לאבטחה ותאימות. כלומר, מדיניות > נראות > זיהוי > אכיפה.

שלמות מידע: משתמשים שעובדים עם בינה מלאכותית יוצרת (GenAI) עשויים לפעול לפי מידע שגוי שנוצר על ידי האינטראקציות שלהם עם האפליקציות והמודלים. ידוע כי מודלים יכולים ליצור הטעיות במידע כאשר הם לא בטוחים כיצד לענות או מספקים מידע מוטעה.

המודעות לאיומים וסיכונים של בינה מלאכותית יוצרת (GenAI) מתחילה לעלות במעט, כמו גם המקרה של האתגרים שמציב Shadow AI. האחרון מאפשר לפתח אסטרטגיות כדי לרתום את היתרונות תוך הפחתת הסיכונים. זה כרוך לעתים קרובות ביצירת מדיניות IT גמישה יותר המאפשרת חדשנות בתוך מסגרת מבוקרת ומאובטחת.

הסיכון של הסתמכות יתר בבינה מלאכותית יוצרת (GenAI) יכול להוביל למסקנות שגויות, מידע הזוי והטעיות. מידע נוסף על הסיכון של הסתמכות יתר במאמר המצורף של ״LLM: הפרדוקס של התסמכות יתר.״

LLM: הפרדוקס של הסתמכות יתר (Overreliance)

האתגר של זיהוי וניהול כאשר AI נמצא בכל מקום

בינה מלאכותית יוצרת (GenAI) ושימוש באפליקציות וכלי AI נמצא בכל ארגון, בכל מקום ואצל כל משתמש, בפרט, באימוץ ושימוש של משתמשי קצה.

לצד הבנה שישנם משתמשים שכבר עובדים עם בינה מלאכותית יוצרת (GenAI) וכלי AI , והבנה של הצורך של צוותי IT ואבטחה לבצע חסימות, בקרות וניהול אחראי, ישנו אתגר של איך מבצעים חסימות, בקרות ואיך אוכפים מדיניות. רגע, האם יש מדיניות? מעבר לאמירה הכללית והאמורפית של כלי AI מהווים סיכון???

חסימת תוכן בינה מלאכותית יוצרת (GenAI) ברמת בראוסר או תקשורת/רשת הוא ניסיון שנכשל ועדיין כושל בכל כך הרבה ארגונים עם הכלים הקיימים, ללא יוצא מן הכלל!

החשיבה והניסיון לחסום ידנית או להגדיר מדיניות חדשה עבור כל יישום בינה מלאכותית יוצרת (GenAI) הוא לא רק בלתי מעשי, אלא גם בלתי אפשרי!!! האופי הדינמי של בינה מלאכותית יוצרת (GenAI) ושימוש בכלי AI פירושו שכלים ועדכונים חדשים משוחררים בקצב דינמי העולה בהרבה על היכולות של אמצעי אבטחה מהדור הקיים/הישן. בעיה זו רק הולכת ומחמירה ככל שארגונים או יותר נכון משתמשי קצה מאמצים בינה מלאכותית בקצב חסר תקדים, מה שמוביל למשטח התקפה ויצירת Shadow AI בלתי ניתן לניהול ובלתי נראה.

בינה מלאכותית יוצרת (GenAI) אינו מוגבל ליישומים עצמאיים כמו ChatGPT, הוא משולב כמעט בכל כלי וובי או כלי SaaS, ראה ערך Einstein Generative AI Platform או Copilot for Microsoft 365. כאמור זה יכול להתחיל עם מערכות CRM המשלבות רכיבי בינה מלאכותית יוצרת (GenAI) לשיפור שירות הלקוחות וניתוח נתונים, דרך פלטפורמות תקשורת המשתמשות בבינה מלאכותית יוצרת (GenAI) כדי לסכם את הבקשות והשיח הארגוני, ועד לכלי מפתחים המספקים סייעני קוד ופיתוח.

אפשר לומר שצוותי אבטחה הסתמכו בתחילה על סינון כתובות דומיינים/אתרים בסיסי או אפילו מתקדם כדי לאפשר או לחסום שימוש של כלי AI. שיטה זו מסתמכת על פעולות סטטיות של יישומי בינה מלאכותית יוצרת (GenAI) "מוכרים". עם זאת, רשימות אלו אינן שלמות לרוב ואינן ניתנות לעדכון מהיר ומספק כדי לעמוד בקצב האימוץ המהיר של כלי בינה מלאכותית יוצרת (GenAI) חדשים על ידי העובדים.

האתגר הזה מוביל להבנה שצריך מודל בגרות כלשהוא של AI Security. למרות שמדובר על אבן יסוד, עדיין בדיונים רבים שלי עם CIOs וכן CISOs רובם מצאו שזה מועיל ״לאמץ״ מודל מסוים של Secure AI. למרות שזה לא ממצה, זה בהחלט מעורר מחשבות ראשוניות לגבי איך לנווט בנוף בינה מלאכותית יוצרת (GenAI) בצורה מאובטחת. מכאן זה מוביל לסיכונים ולאיומים, בינהם, Shadow AI.

הדוגמה המאוד מוכרת של הגנת IP עוסקת בשמירה על נכסים קנייניים כמו נתונים פיננסיים רגישים, שיחות עם לקוחות, קוד מקור ומסמכי רגישים של פטנט, מוצר או כלי ארגוני. התקרית עם עובדי סמסונג ששיתפו בשוגג קוד עם ChatGPT, היא דוגמה לכך, את מיני רבות.

איזה אפליקציות נמצאות בשימוש של משתמשי קצה? רשימה של טופ 25 אפליקציות AI.

מה אין בטופ 25 אפליקציות וכלי AI? משהו כמו מאות אפליקציות אחרות ופחות מוכרות שנמצאות בשימוש יומיומי של משתמשי קצה.

זיהוי דינמי ומהיר

כדי להתמודד עם האתגרים הללו, ישנם מערכות וכלים רבים שמסייעים, כמו זה של Prompt Security שמציע מנגנון זיהוי דינמי מתקדם שיכול לעמוד בקצב הדינמי והמהיר של נוף האבטחה של בינה מלאכותית יוצרת (GenAI) וכלי AI. הטכנולוגיה מסניפה/מקשיבה לתוכן ותעבורה” ברמת הבראוסר ומזהה באמצעות מנגונים שונים התנהגות המעידה על יישומי בינה מלאכותית יוצרת (GenAI) וכלי AI. כמו גם, מסוגלת לזהות רכיבי בינה מלאכותית יוצרת (GenAI) שלא נראו עד כה/בעבר, מה שמרחיב את נראות האבטחה וניהול בין משתמשי קצה וקבוצות משתמשים בארגון.

המנגנון ממנף את אפקט הרשת כדי לעדכן כל הזמן את המודלים והמודלים לזיהוי בהתבסס על דפוסי שימוש והתנהגות. המשמעות היא שהמערכת הופכת יעילה יותר עם הזמן, ולומדת מכלי הבינה המלאכותית והרכיבים המשמשים בארגונים שונים.

על מנת לספק נראות מקסימלית ודיוק מירבי וכן להימנע מתוצאות חיוביות כוזבות, הגישה כוללת ניתוח מפורט של תוכן דפי אינטרנט, תעבורת רשת ואינטראקציות עם משתמשי קצה ואפליקציות. זה מאפשר לקבוע האם פעולה נוצרת על ידי משתמש קצה, אפליקציה, כלי או כל תהליך אוטומטי כולל מצבי Noninteractive.

כאנקדוטה, מכיוון שבכל יום או שבוע אנו רואים אינפוגרפיקות ורשימות של נוף אבטחה, מודלים וכלים חדשים, המערכת משתמשת באחרונים כמדד לבדיקת קצב הזיהוי של מנגנון זיהוי Shadow AI הדינמי. ונחשו מה? בכל שבוע ישנו זיהוי אוטומטי של בין 98% ל 100% מהכלים המפורטים בדוחות השונים והמגוונים של Prompt Security.

Shadow AI לעומת Shadow IT

בתחילה שקראתי על הסיכונים של Shadow AI זה העלה לי ישר את המחשבה על Shadow IT המוכר, אותו מושג שעלה כצורך וסיכון לאבטחה בענן. כמו אז, גם עכשיו יש סיכון דומה ועדיין שונה, הפעם, Shadow AI.

הצעד הראשון בהתמודדות עם Shadow AI הוא להבין במה הוא שונה מהסיכון של Shadow IT ולבחון כיצד הבחנות אלו דורשות שיקולי אבטחה ייחודיים ושונים. אפשר למנות הבדלים רבים, ובתור התחלה אבל אני מחלק אותם לשנים כלליים:

הבדלי אבטחה (נראות, Goverenance וכו): בינה מלאכותית כוללת ושימוש בנתונים, קוד ומודלים

אפשר להתמודד עם סיכוני הקוד והנתונים של Shadow IT באמצעות מנגנונים אמינים כגון מפתחות הצפנה, מחזור חיים של פיתוח תוכנה (SDLC), וניטור אוטומטי של גישה ושימוש במכונה/רשת. בצד של Shadow AI, תהליכי בינה מלאכותית יוצרת (GenAI) כוללים מודלים לא דטרמיניסטיים, מה שהופך אותם לקשים יותר ברמת אבטחה. מנגנוני תאימות ועמידה ברוגלציה של Shadow AI עדיין נמצאים במחקר פעיל (מחקר דינמי שמתעדכן כל העת).

הבדלים באימוץ: כולם יכולים להשתמש בבינה מלאכותית לא גורמים טכנולוגיים

עם Shadow IT, ישנם נקודות כשל רבות, לרוב, בגורם טכנולוגי. סיכוני אבטחת IT תלויים בשימוש לא בטוח בטכנולוגיה של קבוצה הומוגנית ומצומצמת המורכבת ממומחים לטכנולוגיה. לחלופין, משתמשי בינה מלאכותית יוצרת (GenAI) אינם מודעים לשיטות האבטחה הטובות ביותר כאשר הם מאמצים אפליקציות וכלי AI. ההבדל הזה במי שמאמץ את Shadow AI לעומת Shadow IT הופך את מרחב התקיפה של Shadow AI לרחב יותר ופחות מוגדר מראש.

הנקודה האחרונה היא ההבדל המהותי, משתמשים שאינם טכנולוגיים מאמצים/משתמשים/עובדים עם בינה מלאכותית יוצרת (GenAI) וכלי AI – מרחב התקיפה נמצא בכל משתמש קצה.

שאלות ותשובות <> Shadow AI

הסיכונים והאיומים של בינה מלאכותית יוצרת (GenAI) וכלי AI מעלים שאלות רבות בנוגע לאפשרויות אבטחה. משתף מספר סוגיות, שאלות ותשובות שעלו מלקוחות בדיונים טכנולוגים רבים ואף כאלה שאינם דיונים טכנולוגיים.

איזה נתונים הוכנסו לכלי AI על ידי משתמשי קצה? אימוץ AI מגיע לצוותים ולמחלקות שונות ומגוונות ולמקרי שימוש הכוללים נתונים שאסור להיחשף מחוץ לחברה. בעוד שהנפח הכולל של נתונים ארגוניים אלה גדל באופן משמעותי במהלך השנה האחרונה, גם אחוז הנתונים הרגישים הללו עלה משמעותית. במרץ 2024, הכניסו משתמשי קצה פי שלוש נתונים רגישים, לעומת השנה החולפת.

מהו המגזר שמאמץ טכנולוגיית AI? התעשייה עם האימוץ הגדול ביותר של AI הוא המגזר הטכנולוגי. בכל מימד, משתמשי קצה בחברות טכנולוגיות עובדים יותר עם כלי AI מאשר עמיתיהם במגזרים אחרים. בשנה האחרונה, משתמשי קצה מהמגזר הטכנולוגי הכניסו פי שלוש נתונים ארגונים לכלי AI. כמו גם, משתמשי קצה מכניסים נתונים לכלי AI בתדירות גבוהה יותר ומעתיקים נתונים מכלי AI בתדירות גבוהה יותר מאשר עובדים בכל תעשייה אחרת.

מהי כמות השימוש של משתמשי קצה בכלי AI? השימוש בבינה מלאכותית וכלי AI של משתמשי קצה גדל בקצב אקספוננציאלי וכך גם כמות הנתונים הארגוניים ״שהודבקו״ או מועלים לכלי בינה מלאכותית. בין מרץ 2023 למרץ 2024, כמות הנתונים הארגוניים שהוכנסו לכלי AI גדלה ב 485 אחוזים!!! אימוץ הבינה המלאכותית גדל בצורה כל כך מהירה עד למצב שבו שמשתמש קצה ממוצע מכניס כעת יותר נתונים ארגוניים לכלי בינה מלאכותית.

עד כמה נתונים רגישים עוברים לחשבונות אישיים? למשל, בעוד שמסמכים משפטיים מהווים רק אחוז קטן מסך הנתונים הארגוניים הרגישים שהועברו לכלי בינה מלאכותית, רובם המכריע (מעל ל 80%) מוכנסים לחשבונות אישיים. מסמכים משפטיים כוללים טיוטות של חוזי רכישה או מיזוג עבור עסקאות מוצעות, הסכמים עם תנאי עסקה חסויים וחומרים משפטיים המוגנים בחסיון עורך דין-לקוח.

מהו סוג החשבונות שנמצא בשימוש? אומנם דוגמה ספציפית. עדיין, OpenAI השיקה גרסה ארגונית של ChatGPT באוגוסט 2023 עם אמצעי אבטחה והבטחה שמידע ארגוני לא ישמש להכשרת מודלים המשמשים את הציבור הרחב (כאלה שיכולים להדליף את המהות של נתוני ההדרכה). לפי דיווח של OpenAI, ל 80% מחברות (חברות Fortune 500) יש חשבונות ארגוניים. עם זאת, הרוב הניכר של משתמשי קצה עובדים עדיין עם חשבונות אישיים.

אילו יישומי AI נמצאים בשימוש על ידי משתמשי הקצה? ברוב הארגונים לא ידעו לתת את הנתון, למעט 3-5 מודלים ציבוריים מוכרים. בפועל, ישנם מאות רבות של מודלים ואפליקציות שנמצאות בשימוש של משתמשי קצה, כאלה שאף מהווים סיכון בשיתוף המידע והנתונים, בהורדתם או בשימוש לא אחראי.

האם יש יישומים ארגוניים משולבים עם יישומי AI? צוותי האבטחה לא ידעו לענות על כך בצורה החלטית, בבדיקה מול גורמי IT ופיתוח נמצא כי ישנם מערכות שפותחו ונמצאות בשימוש ארגוני, כולל בארגונים מוסדרים עם מדיניות ותהליכים.

מדוע Shadow AI נחשב לסיכון? Shadow AI נחשב לסיכון מכיוון שהוא עוקף מדיניות IT ואבטחה פורמליים, מה שמוביל לפערים ובעיות אבטחה, הפרות ואי תאימות לתקנות. זה עשוי גם לגרום לתוצאות שאינן אמינות, וליצור חוסר יעילות וסיכונים תפעוליים.

איך Shadow AI נוצר/מתפתח בארגונים? Shadow AI מופיע בארגונים עקב תהליכי IT איטיים, כמו גם, מחסור בכלי בינה מלאכותית יוצרת (GenAI) וכלי AI זמינים העונים על צרכים מחלקתיים ספציפיים, או, המורכבות הנתפסת בקבלת אישור לטכנולוגיות חדשות, מה שמניע עובדים להשתמש בפתרונות בינה מלאכותית יוצרת (GenAI) באופן עצמאי.

אילו סוגי יישומים נחשבים ל Shadow AI? יישומים כגון מודלים לא מורשים של למידת מכונה, כלי ניתוח מונעי בינה מלאכותית או כל אפליקציה וסייען בינה מלאכותית יוצרת (GenAI) המשמשת ללא אישור רשמי ואינה מותאמת למדיניות IT של הארגון. אלה נחשבות לסיכון Shadow AI. בקצרה, כל אפליקציה וסייען שנמצא בשימוש של משתמש קצה.

אילו אסטרטגיות יכולות למנוע את הופעתו של Shadow AI? מניעת Shadow AI כרוכה בשיפור זריזות מדיניות IT, הקמת מסגרת ופריימוורק ברור של בינה מלאכותית יוצרת (GenAI), יצירת מודל בגרות (AI Security Maturity Model), מתן סביבות מאובטחות לבדיקות, קידום תקשורת פתוחה בין IT ומחלקות אחרות, וחינוך עובדים לגבי סיכונים פוטנציאלים.

לסיכום

ככל שארגונים משלבים יותר ויותר טכנולוגיות בינה מלאכותית יוצרת (GenAI) בפעילותם, Shadow AI מתגלה כאתגר משמעותי. למרות שהוא יכול להניע חדשנות ותגובתיות, Shadow AI מציג סיכונים ניכרים, כולל בעיות אבטחה, בעיות תאימות וניהול לא נכון של נתונים. עם זאת, ארגונים יכולים לרתום את הפוטנציאל של בינה מלאכותית יוצרת (GenAI) בצורה בטוחה ויעילה על ידי הטמעת מדיניות, פריימוורק ומסגרות, טיפוח תקשורת שקופה והתאמת תהליכי IT ואבטחה כדי לענות טוב יותר על הצרכים של צוותים ודרישות עסקיות.