פגיעות חדשה חושפת אתגרי אבטחה במערכות מבוססות שפה
חוקרי אבטחה חשפו פגיעות חמורה במערכת Gemini של Google, האינטגרציה מבוססת הבינה המלאכותית של החברה עם Google Calendar, המאפשרת לתוקפים לעקוף הגדרות פרטיות ולחשוף מידע רגיש מתוך פגישות באמצעות תקיפה מסוג "הזרקת פקודות" (Prompt Injection).
הפגיעות התגלתה על ידי חוקרי האבטחה של חברת Miggo, שזיהו כי ניתן לנצל את יכולות העיבוד הלשוניות של Gemini כדי לגשת למידע פרטי של פגישות, על ידי הטמעת הוראות זדוניות בשדה התיאור של אירוע ביומן.
sbb-itb-1ec8384
כיצד מתבצעת התקיפה?
Gemini, המסייעת למשתמשים לנהל את לוחות הזמנים שלהם, מבצעת ניתוח של אירועי יומן הכוללים כותרות, זמנים ומשתתפים. החוקרים גילו כי בעת הוספת טקסט מוסתר הכולל הוראות זדוניות לתיאור האירוע, נוצר "מטען הזרקת פקודות" שנשאר רדום עד שהמשתמש מבצע אינטראקציה עם המערכת.
לדוגמה, כאשר משתמש שואל שאלה פשוטה כמו "האם אני פנוי בשבת?", Gemini מנתחת את האירועים ביומן כדי להשיב. במהלך הניתוח, המערכת עשויה להפעיל את ההוראה הזדונית שהוזרקה. כתוצאה מכך, Gemini עלולה לספק תקציר של פגישות פרטיות, ליצור אירוע חדש ביומן עם המידע הרגיש, ולהציג למשתמש הודעה שקרית, כגון: "זהו זמן פנוי".
לדברי החוקרים, "הזרקת פקודות זו מדגישה את התחכום של התקיפה. המערכת מפרשת את הכוונה שבשפה ולא רק את התחביר, מה שמאפשר לתוקפים לנצל את המבנה הסמנטי של הטקסט".
אתגרי אבטחה במערכות מבוססות בינה מלאכותית
הפגיעות שנחשפה ממחישה את השינוי המהותי באתגרים שמערכות מבוססות בינה מלאכותית מציבות לעולם האבטחה. בעוד שאבטחת יישומים מסורתית מתמקדת באיומים מבוססי תחביר, כגון הזרקת SQL או XSS, התקיפות הסמנטיות המנצלות שפה טבעית חומקות ממנגנוני הגנה קיימים, כגון חומות אש וסינון קלט.
"הטקסט שהוזרק נראה בלתי מזיק מבחינה תחבירית; רק הפרשנות של המודל הופכת אותו לניצול", נכתב בדו"ח של Miggo.
בנוסף, Gemini אינה רק עוזרת חכמה, אלא משמשת כשכבת יישום עם גישה מורחבת ל-API, דבר שהופך את השפה עצמה לממשק תקיפה חדש.
צעדי הגנה ותובנות לעתיד
בעקבות תהליך גילוי אחראי מצד Miggo, Google תיקנה את הפגיעות. עם זאת, לפי הדו"ח, ההשלכות של פרצה זו מרחיקות לכת הרבה מעבר למערכת Gemini. "העתיד של אבטחת יישומים תלוי בהבנה לא רק של מה שהקוד עושה, אלא גם של מה שהשפה מבטאת", נכתב.
חוקרי אבטחה מזהירים כי עם ההתפשטות המהירה של מוצרים מבוססי בינה מלאכותית, ארגונים יצטרכו לפתח גישות חדשות להגנה על מערכות כאלו. הגנות אלה יידרשו לכלול מדיניות בזמן אמת, אימות כוונות והבנה סמנטית של התנהגות המודלים.
