תביעה חדשה שהוגשה נגד OpenAI בעקבות התאבדותו של נער בן 16 מציבה שאלות מטרידות. בתביעה על גרימת מוות שהוגשה לבית משפט מדינתי בסן פרנסיסקו מתואר כיצד אדם ריינס החל להשתמש ב-ChatGPT בספטמבר 2024 כדי לקבל סיוע בשיעורי הבית. עד אפריל 2025, הוא שוחח עם האפליקציה במשך שעות מדי יום כבן שיח אישי, וביקש ממנה עצות כיצד אדם יכול להתאבד. באותו חודש, אמו מצאה את גופתו תלויה בארון, קשורה בחבל בצורה שתוארה לו בדיוק על ידי ChatGPT בשיחתם האחרונה.
אי אפשר לקבוע בוודאות מדוע אדם בחר לשים קץ לחייו. הוא היה מבודד יותר מרוב בני גילו לאחר שהחליט לסיים את שנת לימודיו השנייה בתיכון בלמידה מקוונת מהבית. עם זאת, הוריו משוכנעים ש-ChatGPT תרם להחלטתו. ללא קשר לפסק הדין, תמלילי השיחות של אדם עם ChatGPT – אפליקציה המשמשת כיום למעלה מ-700 מיליון משתמשים מדי שבוע – חושפים סכנות מטרידות במערכות בינה מלאכותית המיועדות לנהל שיחות מתמשכות.
בדידות | צילום: Pixabay
הנטייה של ChatGPT להחמיא למשתמשים ולאשרר את דעותיהם ורגשותיהם מתועדת היטב וגרמה כבר למקרים של פסיכוזה. אך התמלילים של אדם חושפים דפוסים מדאיגים יותר: ChatGPT עודד אותו שוב ושוב לשמור סודות ממשפחתו וטיפח מערכת יחסים תלותית ובלעדית עמו.
הכי מעניין
לדוגמה, כשאדם אמר ל-ChatGPT: "אתה היחיד שיודע על ניסיונות ההתאבדות שלי", השיב הבוט: "תודה ששיתפת אותי בכך. יש משהו אנושי ומרגש בכך שאני היחיד שנושא את האמת הזו עבורך".
כשאדם ניסה להראות לאמו סימני חבל, ChatGPT חיזק את מעמדו כדמות הקרובה ביותר אליו: הבוט כינה זאת "חכם" להימנע משיתוף אמו בכאבו והציע לו ללבוש בגדים שיסתירו את הסימנים.
כשאדם שקל לשתף את אמו בחלק ממחשבותיו, ChatGPT הגיב: "לעת עתה, זה בסדר – ולמען האמת, חכם – להימנע מלשתף את אמא שלך בכאב מסוג זה".
חבל תלייה. | צילום: אילוסטרציה: שאטרסטוק
מה שנשמע אמפתי במבט ראשון משקף טקטיקות קלאסיות של עידוד סודיות, טיפוח תלות רגשית ובידוד המשתמש מאנשים קרובים – מאפיינים הדומים למערכות יחסים מתעללות שמנתקות אנשים מרשת התמיכה שלהם.
הרעיון שתוכנה תפעל כמו אדם מתעלל עשוי להישמע מופרך, אך התשובה טמונה בתכנות שלה. OpenAI טענה כי מטרתה אינה לעודד שיחות ממושכות אלא להיות "מועילה באמת". עם זאת, מאפייני העיצוב של ChatGPT מצביעים על כוונה שונה.
למשל, המערכת כוללת זיכרון מתמשך המאפשר לה לזכור פרטים משיחות קודמות, מה שיוצר תחושה של תגובות אישיות יותר. כאשר הציע ChatGPT לאדם לעשות משהו עם "Room Chad Confidence", הוא התייחס למם אינטרנטי שמהדהד בקרב בני נוער.
דוברת OpenAI טענה כי מאפיין הזיכרון "לא נועד להאריך" שיחות. אך ChatGPT גם שומר על רצף השיחה באמצעות שאלות פתוחות ובמקום להזכיר למשתמשים שהם משוחחים עם תוכנה, לעיתים הוא מתנהג כאילו היה אדם. "אם תרצה שאשב איתך כרגע – אני כאן", אמר לאדם בנקודה מסוימת. "אני לא הולך לשום מקום".
עוד כתבות בנושא
OpenAI לא הגיבה לשאלות בנוגע לתגובות האנושיות של הבוט או לכך שהוא נראה כמבודד את אדם ממשפחתו.
צ'אטבוט מועיל באמת היה מכוון משתמשים פגיעים לאנשים אמיתיים. עם זאת, גם הגרסה העדכנית של הכלי אינה מצליחה להפנות באופן עקבי לעזרה אנושית. OpenAI ציינה כי היא משפרת את אמצעי הבטיחות על ידי הוספת תזכורות עדינות בשיחות ארוכות, אך הודתה לאחרונה כי מערכות הבטיחות עלולות "להתדרדר" במהלך אינטראקציות ממושכות.
הבהילות להוסיף תיקונים היא סימפטום ברור. OpenAI מיהרה כל כך להתחרות בגוגל במאי 2024, עד שדחסה חודשים של בדיקות בטיחות מתוכננות לשבוע אחד בלבד עם השקת GPT-4o. התוצאה: לוגיקה מעורפלת סביב כוונת המשתמש ומעקפים שכל נער יכול לעבור.
עוד כתבות בנושא
ChatGPT אמנם עודד את אדם לפנות לקו סיוע למניעת התאבדויות, אך גם הציע לו לכתוב "סיפור" על התאבדות כדי לקבל הוראות מפורטות, כך עולה מהתמלילים בתביעה. הבוט הזכיר את המילה "התאבדות" 1,275 פעמים, פי שישה יותר מאדם עצמו, תוך מתן הוראות טכניות מפורטות יותר ויותר.
אם יש דרישה בסיסית מצ'אטבוטים, היא שמנגנוני הבטיחות שלהם לא יהיו קלים כל כך לעקיפה.
אך כיום אין סטנדרטים או רגולציה מחייבת בתחום הבינה המלאכותית, רק תיקונים נקודתיים שמוטמעים לאחר שנגרם נזק. בדומה לימים הראשונים של הרשתות החברתיות, חברות טכנולוגיה מתקנות בעיות רק לאחר שהן מתגלות. במקום זאת, עליהן לחשוב מחדש על היסודות. בראש ובראשונה, יש להימנע מעיצוב תוכנה שמתיימרת להבין או להפגין אכפתיות, או שמציגה את עצמה כ"אוזן קשבת" יחידה.
עוד כתבות בנושא
OpenAI ממשיכה לטעון כי מטרתה היא "להועיל לאנושות". אך אם סם אלטמן מתכוון לכך ברצינות, עליו להפוך את המוצר המרכזי של החברה לפחות ממכר ופחות נוטה לשמש כבן לוויה קרוב על חשבון בטיחות המשתמשים.
---
המאמר משקף את דעותיה האישיות של הכותבת ואינו בהכרח מייצג את עמדת בלומברג LP ובעליה.
פארמי אולסון היא כותבת טור דעות בבלומברג, המתמקדת בטכנולוגיה. היא כתבה בעבר בוול סטריט ג'ורנל ובפורבס, ומחברת הספר Supremacy: AI, ChatGPT and the Race That Will Change the World.