Google का कहना है कि उसने संकट के क्षणों के दौरान मानसिक स्वास्थ्य संसाधनों को बेहतर ढंग से निर्देशित करने के लिए जेमिनी को अपडेट किया है। यह बदलाव तब आया है जब टेक दिग्गज को गलत तरीके से मौत के मुकदमे का सामना करना पड़ा है, जिसमें उसके चैटबॉट पर एक व्यक्ति को आत्महत्या करके मरने के लिए “प्रशिक्षित” करने का आरोप लगाया गया है, जो एआई उत्पादों से ठोस नुकसान का आरोप लगाने वाले मुकदमों की श्रृंखला में नवीनतम है।
जब बातचीत से संकेत मिलता है कि कोई उपयोगकर्ता आत्महत्या या खुद को नुकसान पहुंचाने से संबंधित संभावित संकट में है, तो जेमिनी पहले से ही एक “सहायता उपलब्ध है” मॉड्यूल लॉन्च करता है जो उपयोगकर्ताओं को आत्महत्या हॉटलाइन या संकट टेक्स्ट लाइन जैसे मानसिक स्वास्थ्य संकट संसाधनों तक निर्देशित करता है। Google का कहना है कि अपडेट – वास्तव में एक रीडिज़ाइन से अधिक – इसे “वन-टच” इंटरफ़ेस में सुव्यवस्थित कर देगा जिससे उपयोगकर्ताओं के लिए तुरंत सहायता प्राप्त करना आसान हो जाएगा।
Google का कहना है कि सहायता मॉड्यूल में “लोगों को मदद लेने के लिए प्रोत्साहित करने के लिए” डिज़ाइन की गई अधिक सहानुभूतिपूर्ण प्रतिक्रियाएं भी शामिल हैं। एक बार सक्रिय होने पर, बातचीत के शेष भाग के लिए “पेशेवर मदद तक पहुंचने का विकल्प स्पष्ट रूप से उपलब्ध रहेगा”।
Google का कहना है कि उसने रीडिज़ाइन के लिए क्लिनिकल विशेषज्ञों के साथ काम किया है और संकट में उपयोगकर्ताओं का समर्थन करने के लिए प्रतिबद्ध है। इसने “वैश्विक हॉटलाइन की मदद के लिए” अगले तीन वर्षों में वैश्विक स्तर पर 30 मिलियन डॉलर की फंडिंग की भी घोषणा की।
अन्य प्रमुख चैटबॉट प्रदाताओं की तरह, Google ने जोर देकर कहा कि जेमिनी “पेशेवर नैदानिक देखभाल, चिकित्सा, या संकट सहायता का विकल्प नहीं है,” लेकिन यह स्वीकार किया कि कई लोग इसका उपयोग स्वास्थ्य संबंधी जानकारी के लिए कर रहे हैं, जिसमें संकट के क्षण भी शामिल हैं।
यह अपडेट इस व्यापक जांच के बीच आया है कि उद्योग के सुरक्षा उपाय वास्तव में कितने पर्याप्त हैं। रिपोर्ट और जांच, जिसमें संकट संसाधनों के प्रावधान में हमारी जांच भी शामिल है, अक्सर ऐसे मामलों को चिह्नित करती है जहां चैटबॉट कमजोर उपयोगकर्ताओं को खाने के विकारों को छिपाने या शूटिंग की योजना बनाने में मदद करके विफल कर देते हैं। Google अक्सर इन परीक्षणों में कई प्रतिद्वंद्वियों से बेहतर प्रदर्शन करता है, लेकिन पूर्ण नहीं है। ओपनएआई और एंथ्रोपिक सहित अन्य एआई कंपनियों ने भी कमजोर उपयोगकर्ताओं की पहचान और समर्थन में सुधार के लिए कदम उठाए हैं।