Tag: BHASHINI

  • ഇന്ത്യൻ ഭാഷകളിലെ എഐ: BharatGen-നും BHASHINIക്കും ഡിജിറ്റൽ വിടവ് കുറയ്ക്കാനാകുമോ?

    ഇന്ത്യൻ ഭാഷകളിലെ എഐ: BharatGen-നും BHASHINIക്കും ഡിജിറ്റൽ വിടവ് കുറയ്ക്കാനാകുമോ?

    AI Explained / Technology & Society

    ഇംഗ്ലീഷിന് പുറത്തുള്ള ഇന്ത്യ

    കേരളത്തിലെ ഒരു കർഷകൻ മൊബൈലിൽ സ്വന്തം ഭാഷയിൽ ചോദിക്കുന്നു: “ഇലയിൽ ഈ പാട് എന്താണ്?” മറുപടി മലയാളത്തിൽ ശബ്ദമായി കിട്ടുന്നു. മറ്റൊരിടത്ത്, തമിഴ് മാത്രം അറിയുന്ന ഒരു യാത്രക്കാരൻ ഹിന്ദിയിലുള്ള റെയിൽവേ സന്ദേശം ഉടൻ മനസ്സിലാക്കുന്നു. ഇത്തരത്തിലുള്ള അനുഭവങ്ങളെയാണ് ഇന്ത്യൻ ഭാഷകളിലെ എഐ വാഗ്ദാനം ചെയ്യുന്നത്. പക്ഷേ നല്ലൊരു വിവർത്തന ആപ്പ് മാത്രം ഡിജിറ്റൽ വിടവ് അടയ്ക്കുമോ? ഉത്തരം ലളിതമായ “അതെ” അല്ല. ഭാഷ, ഇന്റർനെറ്റ്, ഉപകരണവില, ഡിജിറ്റൽ സാക്ഷരത, വിശ്വാസം—ഇവയെല്ലാം ഒരുമിച്ച് പരിഹരിക്കുമ്പോഴേ യഥാർത്ഥ ഉൾക്കൊള്ളൽ ഉണ്ടാകൂ.

    BHASHINI എന്താണ് ചെയ്യുന്നത്?

    2022-ൽ ദേശീയ ഭാഷാ വിവർത്തന മിഷന്റെ ഭാഗമായി ആരംഭിച്ച BHASHINI, വിവർത്തനം, speech-to-text, text-to-speech, transliteration, document understanding തുടങ്ങിയ ഭാഷാസേവനങ്ങൾ പൊതുവായ ഡിജിറ്റൽ അടിസ്ഥാനസൗകര്യമായി ലഭ്യമാക്കാനുള്ള ശ്രമമാണ്. 2026 ഫെബ്രുവരിയിലെ സർക്കാർ വിവരമനുസരിച്ച് പ്ലാറ്റ്‌ഫോം 22 ഭാഷകളിൽ ശബ്ദസേവനങ്ങളും 36 ഭാഷകളിൽ ടെക്സ്റ്റ് സേവനങ്ങളും പിന്തുണയ്ക്കുന്നു; 350-ലധികം മോഡലുകളും ഡാറ്റാസെറ്റുകളും അവിടെ ലഭ്യമാണ്. ഇവയെ സർക്കാർ വകുപ്പുകൾക്കും സ്റ്റാർട്ടപ്പുകൾക്കും സ്വന്തം സേവനങ്ങളിൽ ചേർക്കാം. അതായത് ഓരോ സ്ഥാപനവും ശൂന്യത്തിൽ നിന്ന് മലയാളം speech recognition നിർമ്മിക്കേണ്ടതില്ല.

    നമ്മൾ കണ്ട ഉദാഹരണങ്ങൾ

    കാശി തമിഴ് സംഗമത്തിൽ പ്രധാനമന്ത്രിയുടെ ഹിന്ദി പ്രസംഗം തമിഴിലേക്ക് തത്സമയം മാറ്റിയ പരീക്ഷണം BHASHINIയുടെ ശ്രദ്ധേയമായ പ്രദർശനമായി. മഹാകുംഭ് 2025-ൽ യാത്രാമാർഗം, പരിപാടിവിവരം, സുരക്ഷാ സന്ദേശങ്ങൾ എന്നിവ 11 ഭാഷകളിൽ നൽകുന്ന Kumbh Sah’AI’yak സംവിധാനത്തിലും ഇത് ഉപയോഗിച്ചു. റെയിൽവേയുടെ NTES, RailMadad സംവിധാനങ്ങളിൽ 22 ഇന്ത്യൻ ഭാഷകൾ ഉൾപ്പെടുത്താൻ CRIS-ുമായുള്ള സഹകരണവും പ്രഖ്യാപിച്ചിട്ടുണ്ട്. “ഭാഷ ഇനി പ്രധാന പൊതുസേവനങ്ങളിലേക്കുള്ള തടസ്സമാകരുത്” എന്നതാണ് BHASHINI മേധാവി അമിതാഭ് നാഗ് പങ്കുവച്ച ആശയത്തിന്റെ സാരം.

    BharatGen വേറെയെന്ത്?

    BHASHINI ഒരു ഭാഷാ സേവന പാളിപോലെ പ്രവർത്തിക്കുമ്പോൾ BharatGen ഇന്ത്യയ്ക്കായി text, speech, vision എന്നിവ കൈകാര്യം ചെയ്യുന്ന അടിസ്ഥാന എഐ മോഡലുകൾ നിർമ്മിക്കുന്ന ഗവേഷണ-വികസന ശ്രമമാണ്. 2024 സെപ്റ്റംബറിൽ സർക്കാർ ധനസഹായമുള്ള multimodal LLM പദ്ധതിയായി ഇത് പ്രഖ്യാപിച്ചു. പിന്നീട് അവതരിപ്പിച്ച Param-1 എന്ന text model 2.9 billion parameters ഉള്ളതും 7.5 trillion tokens ഉപയോഗിച്ച് പരിശീലിപ്പിച്ചതുമാണെന്ന് സർക്കാർ പറയുന്നു; പരിശീലന ഡാറ്റയുടെ മൂന്നിലൊന്നിലധികം ഇന്ത്യൻ ഉള്ളടക്കമാണ്. Shrutam എന്ന speech recognition model, ഒൻപത് ഇന്ത്യൻ ഭാഷകളിലെ Sooktam text-to-speech model, ഇന്ത്യൻ രേഖകൾ വായിക്കാൻ Patram document-vision model എന്നിവയും ഇതിന്റെ ഭാഗങ്ങളാണ്.

    സാധാരണക്കാരന് ലഭിക്കാവുന്ന നേട്ടം

    സർക്കാർ ഫോം വായിച്ചു പറയുന്ന മൊബൈൽ സഹായി, പ്രാദേശിക ഭാഷയിൽ കൃഷിവിവരം, ചെറുകിട വ്യാപാരിക്ക് ചിത്രത്തിൽ നിന്ന് ഉൽപ്പന്ന വിവരണം, മലയാളത്തിൽ പഠനസഹായി, ശബ്ദത്തിലൂടെ ബാങ്കിങ് നിർദ്ദേശങ്ങൾ—ഇവയാണ് സാധ്യതകൾ. BharatGen സംഘം കാണിച്ച Krishi Sathi കർഷകർക്ക് സ്വന്തം ഭാഷയിൽ WhatsApp വഴി ചോദിക്കാൻ ഉള്ള മാതൃകയാണ്. Docbodh സങ്കീർണ്ണ രേഖകളിൽ നിന്ന് ചോദ്യോത്തരങ്ങൾ നൽകാനും e-VikrAI ഒരു ഉൽപ്പന്നചിത്രത്തിൽ നിന്ന് വിവരണം സൃഷ്ടിക്കാനുമുള്ള proof-of-concept ആണ്. വായിക്കാനറിയാത്ത ഒരാൾക്കും ശബ്ദത്തിലൂടെ സേവനം ഉപയോഗിക്കാൻ കഴിയുന്നതാണ് ഏറ്റവും വലിയ മാറ്റം.

    എവിടെയാണ് വെല്ലുവിളി?

    മലയാളം എന്നൊരു ലേബൽ മാത്രം മതിയാകില്ല. കാസർഗോഡിന്റെയും തിരുവനന്തപുരത്തിന്റെയും സംസാരശൈലി വ്യത്യസ്തമാണ്; ആരോഗ്യം, നിയമം, കൃഷി എന്നിവയിലെ വാക്കുകൾ സന്ദർഭം അനുസരിച്ച് മാറും. കുറഞ്ഞ നിലവാരമുള്ള ശബ്ദരേഖ, കോഡ്-മിക്സിങ്, അപൂർവ പേരുകൾ, ആദിവാസി ഭാഷകൾ എന്നിവ മോഡലിനെ കുഴക്കാം. തെറ്റായ വിവർത്തനം വിനോദത്തിൽ ചെറിയ പ്രശ്നമാകാം; മരുന്നിന്റെ അളവിലോ ദുരന്ത മുന്നറിയിപ്പിലോ അത് അപകടമാണ്. അതിനാൽ accuracy report, ഭാഷാപ്രകാരമുള്ള independent testing, പരാതിപ്പെടാനുള്ള സംവിധാനം, മനുഷ്യപരിശോധന എന്നിവ നിർബന്ധമാകണം. വ്യക്തിയുടെ ശബ്ദവും രേഖകളും ശേഖരിക്കുമ്പോൾ സ്വകാര്യതയും സമ്മതവും വ്യക്തമാക്കണം.

    ഡിജിറ്റൽ വിടവ് അടയ്ക്കാൻ ഇനി വേണ്ടത്

    ഓഫ്‌ലൈൻ അല്ലെങ്കിൽ കുറഞ്ഞ ഡാറ്റയിൽ പ്രവർത്തിക്കുന്ന മോഡലുകൾ, കുറഞ്ഞ വിലയുള്ള ഫോണുകൾ, സ്ക്രീൻ വായനാസഹായം, പ്രാദേശിക ഡിജിറ്റൽ പരിശീലനം, തുറന്ന ഡാറ്റയുടെ ഉത്തരവാദിത്തമുള്ള ശേഖരണം എന്നിവ ഭാഷാ എഐയ്‌ക്കൊപ്പം വേണം. മലയാള സർവകലാശാലകൾ, മാധ്യമങ്ങൾ, അധ്യാപകർ, നാട്ടുഭാഷാ വിദഗ്ധർ, ഭിന്നശേഷി സംഘടനകൾ എന്നിവയുടെ പങ്കാളിത്തം മോഡലുകളെ കൂടുതൽ യാഥാർഥ്യമാക്കും. ഫലം അളക്കേണ്ടത് “എത്ര ഭാഷകൾ” എന്ന എണ്ണത്തിൽ മാത്രം അല്ല; ഒരു പൗരൻ സഹായമില്ലാതെ സേവനം പൂർത്തിയാക്കിയോ, വിവർത്തനം ശരിയായിരുന്നോ, പരാതി പരിഹരിച്ചോ എന്നതിലാണ്.

    മലയാളത്തിനുള്ള പ്രത്യേക അവസരം

    മലയാളത്തിൽ വാർത്ത, സാഹിത്യം, പാഠപുസ്തകം, സർക്കാർ രേഖകൾ തുടങ്ങി ധാരാളം എഴുത്ത് ലഭ്യമാണ്. എന്നാൽ സംസാരഭാഷ, പ്രാദേശിക ഉച്ചാരണം, പഴയ രേഖകളിലെ അക്ഷരരൂപം, Manglish, വിഷയവിദഗ്ധ പദങ്ങൾ എന്നിവയ്ക്ക് മതിയായ ഗുണമേന്മയുള്ള പരിശീലനഡാറ്റ എല്ലായ്പ്പോഴും ലഭ്യമല്ല. പൊതുസ്ഥാപനങ്ങൾ അവകാശം മാനിച്ച് digitisation നടത്തുകയും ഭാഷാവിദഗ്ധർ annotation പരിശോധിക്കുകയും ചെയ്താൽ Malayalam AI കൂടുതൽ കൃത്യമാകും. ഉള്ളടക്കം ശേഖരിക്കുന്ന വ്യക്തിക്കും സ്ഥാപനത്തിനും അംഗീകാരവും ന്യായമായ വ്യവസ്ഥയും വേണം; “പൊതുവിൽ കാണാം” എന്നത് അനുമതിയില്ലാതെ എങ്ങനെയും ഉപയോഗിക്കാം എന്നർത്ഥമല്ല.

    ഒരു സേവനം പരിശോധിക്കാൻ അഞ്ചു ചോദ്യങ്ങൾ

    ഈ സംവിധാനം ഏത് മലയാളഭേദങ്ങളിൽ പരീക്ഷിച്ചു? തെറ്റിന്റെ നിരക്ക് പ്രസിദ്ധീകരിച്ചിട്ടുണ്ടോ? പ്രധാന തീരുമാനം മനുഷ്യനിലേക്ക് മാറ്റാനുള്ള സൗകര്യമുണ്ടോ? സംഭാഷണവും ശബ്ദവും എത്രകാലം സൂക്ഷിക്കും? തെറ്റായ വിവർത്തനം റിപ്പോർട്ട് ചെയ്താൽ തിരുത്തൽ എങ്ങനെ നടക്കും? സർക്കാർ ഓഫീസോ ബാങ്കോ ആശുപത്രിയോ ഭാഷാ എഐ ഉപയോഗിക്കുമ്പോൾ സാധാരണ പൗരന് ഈ ചോദ്യങ്ങളുടെ ലളിതമായ മറുപടി ലഭിക്കണം. “AI powered” എന്ന ബാഡ്ജിനേക്കാൾ ഉപകാരപ്രദം service-level transparencyയാണ്.

    വികസനത്തിന്റെ നല്ല മാനദണ്ഡം

    ഒരു demo വേദിയിൽ തത്സമയ വിവർത്തനം വിജയിക്കുന്നത് ആവേശകരമാണ്. പക്ഷേ മഴയുള്ള ഗ്രാമത്തിൽ കുറഞ്ഞ networkൽ, ശബ്ദക്കുഴപ്പമുള്ള ബസ് സ്റ്റാൻഡിൽ, വയോധികന്റെ മന്ദമായ സംസാരത്തിൽ, കാഴ്ചപരിമിതിയുള്ള ഉപയോക്താവിന്റെ screen readerൽ സംവിധാനം എങ്ങനെ പ്രവർത്തിക്കുന്നു എന്നതാണ് പൊതുപ്രയോജനത്തിന്റെ പരീക്ഷ. ഭാഷാ എഐയുടെ പുരോഗതി നഗരത്തിലെ മികച്ച ഫോണിൽ മാത്രം അളക്കരുത്. ഏറ്റവും കൂടുതൽ സഹായം ആവശ്യമായ ആളിന് കാര്യങ്ങൾ എളുപ്പമായോ എന്ന മാനദണ്ഡം സ്വീകരിച്ചാൽ സാങ്കേതികവിദ്യയ്ക്ക് സാമൂഹിക അർത്ഥം ലഭിക്കും.

    വാർത്താമുറികൾക്കും അവസരം

    പ്രാദേശിക വാർത്താമാധ്യമങ്ങൾക്ക് interview transcription, പഴയ archive search, subtitle draft, പല ഭാഷകളിലേക്കുള്ള ആദ്യ വിവർത്തനം എന്നിവയിൽ ഈ സംവിധാനങ്ങൾ സമയം ലാഭിക്കാം. എന്നാൽ പേരുകൾ, സ്ഥലങ്ങൾ, രാഷ്ട്രീയ-നിയമ പദങ്ങൾ, ഉദ്ധരണികൾ എന്നിവ മനുഷ്യ editor നിർബന്ധമായി പരിശോധിക്കണം. യന്ത്രം സൃഷ്ടിച്ച വിവർത്തനത്തിൽ ഒരു വാക്ക് മാറിയാൽ വാർത്തയുടെ അർത്ഥം തന്നെ മാറാം. അതിനാൽ വേഗത്തിനൊപ്പം ഉത്തരവാദിത്തമുള്ള editorial workflow വികസിപ്പിക്കുന്നതും ഇന്ത്യൻ ഭാഷാ എഐയുടെ വിജയത്തിന്റെ ഭാഗമാണ്.

    അടുത്ത രണ്ടു വർഷം ശ്രദ്ധിക്കേണ്ടത്

    Open models പൊതുജനങ്ങൾക്കും ചെറിയ സ്ഥാപനങ്ങൾക്കും യഥാർത്ഥത്തിൽ ഉപയോഗിക്കാനാകുന്ന licenceൽ ലഭിക്കുന്നുണ്ടോ എന്ന് നോക്കണം. Malayalam benchmarkൽ ചോദ്യം-ഉത്തരം, speech recognition, translation, harmful content safety എന്നിവയുടെ ഫലം പ്രത്യേകം പ്രസിദ്ധീകരിക്കണം. ഒരു ശരാശരി score ഭാഷയിലെ ദുർബല വിഭാഗങ്ങളെ മറയ്ക്കാം. ഗ്രാമപഞ്ചായത്ത്, school, primary health centre എന്നിവയിൽ ചെറിയ pilot നടത്തി ഉപയോക്താവിന്റെ സമയം ലാഭിച്ചോ എന്ന് അളക്കാം. തെറ്റുകൾ കണ്ടെത്തുന്ന നാട്ടുകാരെയും ഭാഷാപ്രവർത്തകരെയും development partner ആയി കാണണം. അവസാനം, BharatGenയും BHASHINIയും സ്വകാര്യ കമ്പനികളെ മാറ്റാനുള്ള പദ്ധതി എന്നതിലുപരി എല്ലാവർക്കും നിർമ്മിക്കാവുന്ന പൊതുവായ ഭാഷാ പാളിയായി വളർന്നാൽ മത്സരം കൂടുകയും സേവനം മെച്ചപ്പെടുകയും ചെയ്യും. ഇന്ത്യൻ ഭാഷകൾക്ക് online content കുറവാണെന്ന പ്രശ്നം പരിഹരിക്കാൻ നല്ല മലയാള ഉള്ളടക്കം സൃഷ്ടിക്കുന്നവർക്കും archive digitise ചെയ്യുന്നവർക്കും ദീർഘകാല പിന്തുണ വേണം.

    അവസാന വിലയിരുത്തൽ

    BharatGenയും BHASHINIയും നിർണായകമായ പൊതുസാങ്കേതിക അടിത്തറയാകാം. ഇന്ത്യയുടെ ഭാഷകൾക്കായി ഇന്ത്യൻ ഡാറ്റയും സ്ഥാപനശേഷിയും വളർത്തുന്നു എന്നതാണ് അവയുടെ വലിയ പ്രസക്തി. എങ്കിലും എഐ ഒരു പാലമാണ്; മറുകരയിൽ എത്തിക്കാൻ നല്ല സേവനരൂപകൽപ്പനയും കണക്റ്റിവിറ്റിയും മനുഷ്യസഹായവും വേണം. മലയാളത്തിൽ ചോദിക്കാൻ കഴിയുക ആദ്യപടിയാണ്. ശരിയായ, സുരക്ഷിതമായ മറുപടി ലഭിക്കുകയും അതിലൂടെ കാര്യം നടക്കുകയും ചെയ്യുമ്പോഴാണ് ഡിജിറ്റൽ വിടവ് യഥാർത്ഥത്തിൽ കുറയുന്നത്.