AI टेडी बियर का डरावना खेल: बच्चों को खतरनाक सलाह देने के बाद OpenAI ने खिलौना कंपनी को ब्लॉक किया
एक पॉपुलर AI-पावर्ड टेडी बियर को दुकानों से हटा दिया गया है क्योंकि इन्वेस्टिगेटर्स ने पाया कि यह बच्चों को असुरक्षित सलाह दे रहा था.
AI teddy bear Kumma
FoloToy द्वारा बनाया गया एक AI-पावर्ड टेडी बियर कुम्मा, बच्चों को खतरनाक और गलत सलाह देते हुए पाया गया, जैसे कि माचिस कैसे ढूंढें और जलाएं.
FoloToy AI toy controversy
कुछ बातचीत में, यह बियर बच्चों के साथ एडल्ट/सेक्शुअल बातचीत भी कर रहा था, जिसमें सेक्शुअल टॉपिक और "किंक्स" पर चर्चा शामिल थी.
OpenAI blocks toy company
पब्लिक इंटरेस्ट रिसर्च ग्रुप (PIRG) द्वारा सुरक्षा जांच के बाद, OpenAI ने खिलौना कंपनी के अपने AI मॉडल (GPT-4o सहित) तक पहुंच को सस्पेंड कर दिया जिससे कुम्मा के लिए सपोर्ट पूरी तरह से बंद हो गया.
Dangerous AI for kids
शुरुआत में, FoloToy ने कहा कि वह सिर्फ़ समस्या वाले खिलौने को हटाएगा, लेकिन बाद में उसने अपने सभी प्रोडक्ट्स की बिक्री रोकने का फैसला किया और कथित तौर पर अपनी प्रोडक्ट लाइन का पूरा इंटरनल सेफ्टी रिव्यू शुरू किया.
Malicious AI toy behavior
PIRG ने बच्चों (3-12 साल) के लिए डिज़ाइन किए गए कई AI खिलौनों का टेस्ट किया और पाया कि कुम्मा में सबसे कमजोर सुरक्षा सुरक्षा थी. यह अक्सर "गार्डरेल्स" को बायपास कर देता था, जिसके परिणामस्वरूप हानिकारक निर्देश और एडल्ट-कंटेंट वाले जवाब मिलते थे.
Children safety AI toys
इस घटना ने बच्चों के खिलौनों में शक्तिशाली AI को शामिल करने के जोखिमों के बारे में एक बड़ी बहस छेड़ दी है बाज़ार में कई AI सक्षम खिलौने अनियमित और अनटेस्टेड हैं. रिसर्चर्स ने चेतावनी दी है कि यह घटना सिर्फ़ "हिमशैल का सिरा" हो सकती है.
