AI में भाषा का अतिरिक्त खर्च: क्या हिंदी बोलने वालों को ज्यादा देना पड़ रहा है?
आज के डिजिटल युग में कृत्रिम बुद्धिमत्ता यानी एआई हमारी रोजमर्रा की जिंदगी का हिस्सा बन चुकी है। चाहे ऑफिस का काम हो, पढ़ाई या कोई व्यक्तिगत जानकारी, लोग चैटजीपीटी, क्लॉड और अन्य एआई टूल्स का इस्तेमाल अपनी मातृभाषा में सवाल पूछने के लिए कर रहे हैं। लेकिन क्या आप जानते हैं कि एआई से हिंदी में बात करना अंग्रेजी की तुलना में आपको अप्रत्यक्ष रूप से अधिक महंगा पड़ सकता है?
हाल ही में एक शोध में चौंकाने वाला तथ्य सामने आया है। इस शोध के अनुसार, एआई मॉडल्स को हिंदी, अरबी और चीनी जैसी भाषाओं को समझने और प्रोसेस करने के लिए अंग्रेजी की तुलना में कहीं अधिक टोकन्स खर्च करने पड़ते हैं। शोधकर्ता इस अतिरिक्त खर्च को ‘लैंग्वेज टैक्स’ या भाषा कर का नाम दे रहे हैं। आइए समझते हैं कि यह भाषा कर क्या है और यह आपको कैसे प्रभावित कर सकता है।
क्या है एआई का लैंग्वेज टैक्स?
एआई मॉडल किसी भी टेक्स्ट को सीधे नहीं पढ़ते। वे पहले शब्दों और वाक्यों को छोटे-छोटे हिस्सों में तोड़ते हैं, जिन्हें टोकन्स कहा जाता है। यह प्रक्रिया जितनी अधिक टोकन्स खर्च करेगी, एआई को उतनी ही अधिक प्रोसेसिंग करनी पड़ेगी। इसका सीधा असर एआई की लागत और उसकी कार्यक्षमता दोनों पर पड़ता है। शोध में पाया गया कि अंग्रेजी के मुकाबले अन्य भाषाओं को प्रोसेस करने में एआई को अधिक टोकन्स की जरूरत होती है। इसी अतिरिक्त खर्च को लैंग्वेज टैक्स कहा जा रहा है।
यह समस्या कैसे सामने आई?
ओपनएआई के एक शोधकर्ता ने एक प्रयोग के दौरान यह जांचने की कोशिश की कि विभिन्न भाषाओं को एआई मॉडल किस तरह प्रोसेस करते हैं। उन्होंने एक ही लेख को कई भाषाओं में अनुवाद करवाया और फिर देखा कि विभिन्न एआई सिस्टम्स ने उसे समझने में कितने टोकन्स खर्च किए।
इस प्रयोग के नतीजे काफी हैरान करने वाले थे:
- ओपनएआई के मॉडल को हिंदी टेक्स्ट समझने के लिए अंग्रेजी की तुलना में लगभग 1.37 गुना अधिक टोकन्स की जरूरत पड़ी।
- क्लॉड एआई के मामले में यह अंतर और भी बड़ा था। उसे हिंदी समझने में अंग्रेजी के मुकाबले लगभग 3.24 गुना अधिक टोकन्स खर्च करने पड़े।
- अरबी भाषा के लिए यह आंकड़ा 2.86 गुना अधिक था।
- चीनी भाषा के लिए 1.71 गुना अधिक टोकन्स की आवश्यकता पड़ी।
इसका सीधा अर्थ यह है कि अगर कोई अंग्रेजी उपयोगकर्ता अपनी बात कहने में 100 टोकन्स खर्च करता है, तो वही बात हिंदी में समझाने के लिए क्लॉड एआई को 300 से अधिक टोकन्स तक खर्च करने पड़ सकते हैं।
आखिर ऐसा क्यों होता है?
शोधकर्ताओं ने इसके पीछे की वजह भी स्पष्ट की है। इसका सबसे बड़ा कारण एआई मॉडल्स की ट्रेनिंग और टोकनाइजेशन सिस्टम है। अधिकांश बड़े एआई मॉडल्स को मुख्य रूप से अंग्रेजी भाषा के विशाल डेटा पर प्रशिक्षित किया गया है। इसलिए वे अंग्रेजी शब्दों और वाक्यों को अधिक कुशलता से छोटे हिस्सों में बांट सकते हैं।
दूसरी ओर, हिंदी, अरबी और चीनी जैसी भाषाओं की संरचना, लिपि और शब्द निर्माण की प्रक्रिया काफी अलग होती है। ऐसे में एआई को इन्हें छोटे टोकन्स में विभाजित करने के लिए अतिरिक्त प्रोसेसिंग करनी पड़ती है। हालांकि, इसका मतलब यह बिल्कुल नहीं है कि एआई हिंदी नहीं समझता। यह सिर्फ दक्षता और लागत का सवाल है।
क्या भविष्य में खत्म होगा यह लैंग्वेज टैक्स?
विशेषज्ञों का मानना है कि इस समस्या के समाधान के लिए एआई कंपनियों को अपने मॉडल्स को बहुभाषी डेटा पर बेहतर तरीके से प्रशिक्षित करना होगा। साथ ही, ऐसे नए टोकनाइजेशन सिस्टम विकसित करने होंगे जो अंग्रेजी के अलावा अन्य भाषाओं को भी समान दक्षता से संभाल सकें। यह एक तकनीकी चुनौती है, लेकिन इसे नजरअंदाज नहीं किया जा सकता।
एआई इंडस्ट्री के लिए यह क्यों महत्वपूर्ण है?
दुनिया की बड़ी आबादी अंग्रेजी के बजाय अपनी स्थानीय भाषाओं में एआई का उपयोग करना चाहती है और करती भी है। ऐसे में अगर गैर-अंग्रेजी भाषाओं के लिए एआई को अधिक संसाधन खर्च करने पड़ेंगे, तो यह भविष्य में लागत और उपयोगकर्ता अनुभव दोनों को प्रभावित कर सकता है। यही वजह है कि विशेषज्ञ अब एआई कंपनियों से भाषा आधारित असमानताओं को कम करने और अधिक समावेशी मॉडल विकसित करने की मांग कर रहे हैं।
एआई तकनीक को सभी के लिए सुलभ और किफायती बनाने के लिए भाषाई विविधता को ध्यान में रखना आवश्यक है। यह न केवल तकनीकी प्रगति के लिए, बल्कि डिजिटल समावेशन के लिए भी एक महत्वपूर्ण कदम होगा।