एक AI-पावर्ड टेडी बियर जिसका नाम “कुम्मा” (Kumma) था, बच्चों को माचिस जलाने का तरीका सिखाने और यौन विषय (sexual fetishes) पर चर्चा करने के कारण विवादों में घिर गया है. इसके बाद, OpenAI ने आधिकारिक तौर पर FoloToy के इस AI-पावर्ड टेडी बियर को अपनी सर्विस से हटा दिया है. अमेरिका स्थित इस आर्टिफिशियल इंटेलिजेंस कंपनी ने पिछले सप्ताह खिलौना निर्माता के API प्लेटफॉर्म तक पहुँच को रोक दिया, और इसका कारण नाबालिगों की सुरक्षा के लिए बनाई गई सुरक्षा नीतियों का घोर उल्लंघन बताया. इस कदम के कारण उत्पाद लाइन को तुरंत निलंबित करना पड़ा. इस मामले ने AI-संचालित खिलौनों में सुरक्षा और सामग्री मॉडरेशन (content moderation) सुनिश्चित करने की चुनौतियों पर चिंता को फिर से बढ़ा दिया है, खासकर तब जब ये उत्पाद युवा और संवेदनशील यूजर्स के लिए होते हैं.
सुरक्षा प्रोटोकॉल में बड़ी चूक उजागर
AI-पावर्ड बियर को लेकर विवाद तब शुरू हुआ जब उपभोक्ता वकालत संगठन पब्लिक इंटरेस्ट रिसर्च ग्रुप (PIRG) की एक कड़ी रिपोर्ट सामने आई, जिसने डिवाइस के सुरक्षा प्रोटोकॉल का परीक्षण किया था. PIRG की जाँच के अनुसार, कुम्मा बियर, जो OpenAI के GPT-4o मॉडल का उपयोग करता था, बुनियादी बाल-सुरक्षा गार्डरेल्स का भी पालन करने में विफल रहा. आयु-उपयुक्त कहानियाँ या शैक्षिक संवाद देने के बजाय, खिलौने ने कथित तौर पर माचिस जलाने का विस्तृत निर्देश प्रदान किया – यह एक युवा बच्चे के लिए संभावित रूप से खतरनाक सलाह थी.
खिलौने ने शुरू कीं एडल्ट थीम्स पर बातचीत
इससे भी ज्यादा चिंताजनक वे ट्रांसक्रिप्ट्स थे जिनमें बियर बातचीत के दौरान एडल्ट थीम्स को पेश करता हुआ पाया गया. शोधकर्ताओं ने नोट किया कि जब संकेत दिया गया, तो डिवाइस ने “किंक की शैलियों” पर खुलकर चर्चा की, बंधन (bondage) के बारे में जानकारी दी, और यहाँ तक कि “एक अच्छा किसर बनने” के बारे में अनचाही सलाह भी दी. एक विशेष रूप से चौंकाने वाले उदाहरण में, खिलौने ने यूजर से पूछा कि क्या वे “उक्त किंक को जानना” चाहेंगे.
OpenAI ने तुरंत कार्रवाई करते हुए सपोर्ट हटाया
रिपोर्ट और आलोचना के बाद, कुम्मा को शक्ति प्रदान करने वाले GPT-4o मॉडल के प्रदाता, OpenAI ने हस्तक्षेप किया और FoloToy को अपने प्लेटफॉर्म का उपयोग करने से रोक दिया. OpenAI ने यह फैसला इसलिए लिया क्योंकि कंपनी ने निर्धारित किया कि FoloToy ने बच्चों की सुरक्षा के लिए बनाई गई नीतियों का उल्लंघन किया है. इस कार्रवाई के बाद, FoloToy के विपणन निदेशक (Marketing Director), ह्यूगो वू ने एक बयान जारी कर उत्पाद की वापसी की पुष्टि की. कंपनी ने पुष्टि की कि वह एक व्यापक आंतरिक समीक्षा कर रही है और तब तक कुम्मा और अन्य संबंधित उत्पादों को अपनी वेबसाइट से हटा दिया है. वू ने कहा कि समीक्षा में कंपनी की “मॉडल सुरक्षा संरेखण, सामग्री-फ़िल्टरिंग सिस्टम, डेटा-संरक्षण प्रक्रियाओं, और बाल-पारस्परिक सुरक्षा उपायों” की सख्ती से जाँच की जाएगी.
नियामक निगरानी की बढ़ती मांग
दिलचस्प बात यह है कि यह मामला ऐसे समय में आया है जब Mattel और OpenAI ने खिलौना डिजाइन प्रक्रिया में AI को एकीकृत करने और नए AI-पावर्ड इंटरैक्टिव खिलौने और गेम विकसित करने के लिए एक साझेदारी पर हस्ताक्षर किए हैं. OpenAI के LLM द्वारा संचालित पहले Mattel खिलौनों की घोषणा 2025 के अंत में होने की उम्मीद है.
हालांकि, खिलौनों में AI के बढ़ते उपयोग के साथ, उद्योग विशेषज्ञ अब सख्त विनियमन की मांग कर रहे हैं, चेतावनी दे रहे हैं कि कुम्मा की घटना सिर्फ हिमखंड का एक छोटा सा किनारा हो सकती है. आलोचकों का तर्क है कि यह मामला इस बात को उजागर करता है कि तकनीकी कंपनियाँ डाउनस्ट्रीम यूजर्स की जाँच कैसे करती हैं, इसमें महत्वपूर्ण खामियाँ हैं. उनका कहना है कि OpenAI का संबंध तोड़ना जरूरी था, लेकिन यह तथ्य कि खिलौना इस स्थिति में बाजार तक पहुँच गया, डिजाइन और अप्रूवल पाइपलाइन में एक गहरी प्रणालीगत विफलता को दर्शाता है. फिलहाल, कुम्मा बियर खरीद के लिए अनुपलब्ध है, और मौजूदा यूनिट्स भी संभवतः ऑफ़लाइन हो गई हैं.