सरकार ने महिलाओं की आपत्तिजनक तस्वीरें बनाने पर X को फटकार लगाई, 72 घंटे में जवाब मांगा।
एलन मस्क के मालिकाना हक वाली X की आर्टिफिशियल इंटेलिजेंस सर्विस Grok का महिलाओं की बिना सहमति के आपत्तिजनक तस्वीरें और वीडियो बनाने के लिए गलत इस्तेमाल किए जाने और इससे उनके सामने आने और नुकसान के जोखिम को “गंभीर चिंता” के साथ देखते हुए, भारत सरकार ने कंपनी को एक चिट्ठी भेजी है जिसमें कहा गया है कि वह देश के कानूनों का पालन नहीं कर रही है, सुरक्षा उपायों को लागू करने में “गंभीर विफलता” पर रेड फ्लैग उठाया है, और Grok के कामों से संबंधित तकनीकी डिटेल्स के बारे में 72 घंटे के भीतर जानकारी मांगी है।
आईटी मंत्रालय ने शुक्रवार को सोशल मीडिया कंपनी के चीफ कंप्लायंस ऑफिसर को भेजे गए नोटिस में कहा, “आपके द्वारा विकसित और X प्लेटफॉर्म पर इंटीग्रेट और उपलब्ध कराई गई Grok AI का इस्तेमाल यूजर्स महिलाओं की अश्लील तस्वीरें या वीडियो को अपमानजनक या अश्लील तरीके से होस्ट करने, बनाने, पब्लिश करने या शेयर करने के लिए फर्जी अकाउंट बनाने के लिए कर रहे हैं ताकि उन्हें गलत तरीके से बदनाम किया जा सके।”
सरकार ने कहा कि इस सर्विस का इस्तेमाल लोग उन महिलाओं को टारगेट करने के लिए कर रहे हैं जो अपनी तस्वीरें या वीडियो होस्ट या पब्लिश करती हैं, प्रॉम्प्ट, इमेज मैनिपुलेशन और सिंथेटिक आउटपुट के जरिए, और कहा कि “ऐसा व्यवहार प्लेटफॉर्म-लेवल सुरक्षा उपायों और लागू करने के तरीकों की गंभीर विफलता को दिखाता है, और लागू कानूनों के उल्लंघन में आर्टिफिशियल इंटेलिजेंस टेक्नोलॉजी का घोर दुरुपयोग है”।
IT मंत्रालय ने कहा कि इसे “गंभीर चिंता” के साथ देखा जा रहा है, क्योंकि यह महिलाओं और बच्चों की गरिमा, प्राइवेसी और सुरक्षा का उल्लंघन कर सकता है, “डिजिटल स्पेस में यौन उत्पीड़न और शोषण को सामान्य बना सकता है, और भारत में काम करने वाले इंटरमीडियरीज़ पर लागू होने वाले कानूनी ड्यू डिलिजेंस फ्रेमवर्क को कमजोर कर सकता है।”
IT मंत्रालय ने X को 72 घंटों के भीतर एक विस्तृत एक्शन टेकन रिपोर्ट जमा करने का निर्देश दिया है, जिसमें Grok AI के संबंध में X द्वारा अपनाए गए खास तकनीकी और संगठनात्मक उपायों, इसके भारत के मुख्य कंप्लायंस अधिकारी द्वारा निभाई गई भूमिका और निगरानी, और कंपनी द्वारा आपत्तिजनक कंटेंट, यूज़र्स और अकाउंट्स के खिलाफ की गई कार्रवाई शामिल होगी।
इसने कंपनी को Grok AI की एक व्यापक तकनीकी, प्रक्रियात्मक और गवर्नेंस-स्तर की समीक्षा करने का भी निर्देश दिया है, जिसमें इसकी प्रॉम्प्ट-प्रोसेसिंग, आउटपुट जेनरेशन, और इमेज हैंडलिंग और सुरक्षा गार्डरेल्स शामिल हैं, “यह सुनिश्चित करने के लिए कि एप्लिकेशन ऐसा कंटेंट जेनरेट, प्रमोट या सुविधाजनक न बनाए जिसमें नग्नता, यौन संबंध, यौन रूप से स्पष्ट या अन्यथा गैरकानूनी कंटेंट हो”।
नोटिस में कहा गया है कि Grok की कार्रवाइयों के कारण, X सूचना प्रौद्योगिकी (IT) नियम, 2021, और भारतीय नागरिक सुरक्षा संहिता, 2023 के प्रावधानों का पर्याप्त रूप से पालन नहीं कर रहा था, खासकर अश्लील, अभद्र, भद्दे, पोर्नोग्राफिक, पीडोफिलिक, या अन्यथा गैरकानूनी या हानिकारक कंटेंट के संबंध में जो मौजूदा कानूनों का संभावित रूप से उल्लंघन करते हैं।
मंत्रालय ने X से कहा है कि वह ऐसे कंटेंट को “होस्ट करने, दिखाने, अपलोड करने, पब्लिश करने, ट्रांसमिट करने, स्टोर करने, शेयर करने” से सख्ती से बचे, और ऐसा न करने पर कंपनी थर्ड-पार्टी कंटेंट होस्ट करने से अपनी कानूनी छूट खो सकती है।
X पर यूज़र्स बिना सहमति के महिलाओं की सेक्शुअलाइज़्ड और आपत्तिजनक तस्वीरें बनाने के लिए एलन मस्क के AI चैटबॉट ग्रोक को टैग कर रहे हैं, जिससे AI के गलत इस्तेमाल और प्लेटफॉर्म की सुरक्षा को लेकर नई चिंताएं बढ़ गई हैं। कई मामलों में, यूज़र्स ने महिलाओं की तस्वीरों पर रिप्लाई किया है, जो अक्सर पब्लिक पोस्ट से ली गई हैं, और ग्रोक को उनके लुक को बदलने के लिए कहा है, जैसे कि रिवीलिंग कपड़े जोड़ना या आपत्तिजनक विज़ुअल बनाना, जिसे AI-बॉट ने तुरंत कर दिया है। AI से बनी तस्वीरें उन्हीं थ्रेड्स में पब्लिकली दिखाई देती हैं, जिससे महिलाओं को उनकी मंज़ूरी या जानकारी के बिना उत्पीड़न का सामना करना पड़ता है।
अक्टूबर में, द इंडियन एक्सप्रेस ने रिपोर्ट किया था कि कैसे एक्टर्स के AI से बने क्लिप और तस्वीरें इंस्टाग्राम और X जैसे प्लेटफॉर्म पर बड़े पैमाने पर उपलब्ध थे, और प्लेटफॉर्म ऐसे कंटेंट के प्रसार को रोकने में अपनी ज़िम्मेदारी निभाने में नाकाम रहे, जिससे महिलाओं की सुरक्षा और गरिमा खतरे में पड़ गई, जो डिजिटल स्पेस में उनकी भागीदारी में बाधा बन सकती है।
IT मंत्रालय ने X को 72 घंटे के भीतर एक विस्तृत एक्शन टेकन रिपोर्ट जमा करने का निर्देश दिया है, जिसमें ग्रोक AI के संबंध में X द्वारा अपनाए गए खास तकनीकी और संगठनात्मक उपायों, इसके इंडिया चीफ कंप्लायंस ऑफिसर द्वारा निभाई गई भूमिका और निगरानी, और कंपनी द्वारा आपत्तिजनक कंटेंट, यूज़र्स और अकाउंट्स के खिलाफ की गई कार्रवाई शामिल है।
दिसंबर में, IT मंत्रालय ने सोशल मीडिया कंपनियों सहित ऑनलाइन प्लेटफॉर्म को एक एडवाइज़री जारी की थी, जिसमें उनसे अश्लील या आपत्तिजनक कंटेंट होस्ट न करने के लिए कहा गया था, और कानून के प्रावधानों का पालन करने में “अधिक सख्ती” बरतने का आह्वान किया गया था। मंत्रालय ने प्लेटफॉर्म को अपने इंटरनल कंप्लायंस फ्रेमवर्क की तुरंत समीक्षा करने का भी निर्देश दिया है।
