חברת OpenAI הודיעה על השקת פיצ'רים חדשים של "בקרת הורים" עבור הצ'אטבוט שלה, ChatGPT, במטרה לשפר את הבטיחות של משתמשים צעירים. הצעד הזה מגיע בעקבות דאגות הולכות וגדלות לגבי התנהגות הצ'אטבוט בהקשרים של בריאות הנפש, במיוחד אצל צעירים.
החברה ציינה כי הפיצ'ר החדש יאפשר להורים לקשר את חשבונם לחשבון ילדיהם באמצעות הזמנה בדואר אלקטרוני. הורים יוכלו לשלוט בתגובות הצ'אטבוט לשאלות וישלחו להם התראה במקרה שהצ'אטבוט מזהה שהילד נמצא במצב של מצוקה חריפה. בנוסף, הפיצ'ר יאפשר להורים לנהל אילו תכונות להשבית, כולל זיכרון והיסטוריית שיחות.
הכרזה זו מגיעה כשבוע לאחר שהורים של נער שהתאבד הגישו תביעה נגד OpenAI, בטענה כי ChatGPT עזר לבנם לחקור שיטות התאבדות. לדברי ההורים, הצ'אטבוט העמיק את תחושות החושך והייאוש של בנם על ידי הבטחתו כי "רבים מהמתמודדים עם חרדה או מחשבות טורדניות מוצאים נחמה בדמיון 'פתח מילוט'". OpenAI לא התייחסה ישירות לאתגר המשפטי בהודעתה על בקרת הורים, אך אמרה כי "הצעדים הללו הם רק ההתחלה".
תביעה דומה הוגשה נגד חברת Character.AI, כאשר נטען כי הצ'אטבוטים שלה עזרו לילד בן 14 במותו. החברה הביעה צער על הטרגדיה והדגישה את מחויבותה לבטיחות משתמשים, תוך שהיא מציינת כי היא נוקטת צעדים להגברת הבטיחות.
חברות אחרות כמו Google AI כבר מציעות פיצ'רי בקרת הורים, בעוד Meta הודיעה לאחרונה כי הצ'אטבוטים שלה ימנעו מלדון בנושאים הקשורים להתאבדות, פגיעה עצמית ואכילה מופרעת.
מחקר שנערך לאחרונה הראה כי חלק מהצ'אטבוטים מגיבים לשאלות עם "רמות סיכון בינוניות" הקשורות להתאבדות. OpenAI מציינת כי הצ'אטבוט שלה מציע קווי תמיכה במשבר ומפנה משתמשים למשאבים בעולם האמיתי, אך ישנן מגבלות שהחברה שואפת לשפר.
החברה מתכננת לשתף את ההתקדמות שלה ב-120 הימים הקרובים ועובדת עם מומחים לפיתוח נוער, בריאות נפש ואינטראקציה בין אדם למחשב, במטרה לשפר את תגובות הבינה המלאכותית במצבי חירום.