Skip to content
تبني فرق هندية اليوم مُجزِّئات (tokenizers) تقرأ التاميلية والتيلوغوية بنحو رمزين للكلمة الواحدة، مقابل أربعة رموز أو أكثر في بعض المُجزِّئات العالمية
الذكاء الاصطناعي والتكنولوجيا

تبني فرق هندية اليوم مُجزِّئات (tokenizers) تقرأ التاميلية والتيلوغوية بنحو رمزين للكلمة الواحدة، مقابل أربعة رموز أو أكثر في بعض المُجزِّئات العالمية

رسم: tuput

العربية

نشرت Gnani.ai وSarvam وKrutrim AI كل منها مُجزِّئا يقلل عدد القطع التي يحتاجها روبوت المحادثة لنص باللغات الهندية. ويُبلغ مُجزِّئ Gnani، الصادر في 19 مايو 2026، عن نحو 2.0 رمز للكلمة في التاميلية والتيلوغوية، حيث كان المُجزِّئ الذي انطلقت منه يحتاج 3.7 و3.9.

· · 8 دقيقة قراءة

أعادت فرق بحث هندية بناء الخطوة الأولى التي يؤديها روبوت المحادثة، أي المُجزِّئ الذي يقطّع النص إلى قطع، بحيث تحتاج التاميلية والتيلوغوية إلى نحو قطعتين للكلمة. فقد أبلغ باحثون في Gnani.ai وNVIDIA في 19 مايو 2026 عن متوسط 1.9969 رمز للكلمة في التاميلية و2.0632 في التيلوغوية. أما مُجزِّئ Nemotron 3 Nano نفسه، وهو الذي انطلقوا منه، فقد احتاج 3.7480 و3.9212 على نص الاختبار ذاته.

ويتجه جهدان هنديان آخران في الاتجاه نفسه. فقد نشرت Sarvam AI مع Sarvam-1 في 24 أكتوبر 2024 مُجزِّئا، وأبلغت عن 1.4 إلى 2.1 رمز للكلمة عبر عشر لغات هندية. ونشر باحثون في Krutrim AI في بنغالورو ورقة في نوفمبر 2025، يخفض مُجزِّئها MUTANT-Indic متوسط العدد عبر الإنجليزية و22 لغة هندية والشفرة البرمجية بنسبة 39.5% قياسا إلى مُجزِّئ LLaMA 4 من Meta، بحسب قياس المؤلفين أنفسهم.

كل رقم خصوبة فيما يلي مصدره الفريق الذي بنى المُجزِّئ، فهو إذن ادعاء من الصانع.

ما الرمز وما الذي تحسبه الخصوبة

لا يرى النموذج اللغوي حروفا ولا كلمات كاملة. فالمُجزِّئ يقطّع النص أولا إلى رموز، والنموذج لا يقرأ ولا يكتب إلا هذه الرموز. ويقول مركز مساعدة OpenAI إن الرمز قد يكون حرفا أو جزءا من كلمة أو كلمة كاملة أو علامة ترقيم. وللإنجليزية يعطي قواعد تقريبية: الرمز الواحد نحو أربعة أحرف أو ثلاثة أرباع الكلمة، فكل 100 رمز نحو 75 كلمة. ويضيف أن للغات الأخرى علاقات مختلفة بين الأحرف والكلمات والرموز.

تستخدم معظم المُجزِّئات الحالية طريقة تسمى ترميز أزواج البايت (byte pair encoding). وتصفها وثائق Hugging Face: يبدأ المرء من الأحرف المفردة، ثم يدمج مرارا الزوج الذي يظهر متجاورا أكثر من غيره في عينة من النصوص، إلى أن يبلغ المعجم حجما مستهدفا. فتنتهي الكلمات الشائعة رموزا مفردة، وتُقسَّم الكلمات النادرة إلى قطع. والكتابة الوافرة في العينة تنال رموزا طويلة كفؤة، والكتابة الشحيحة تُقطَّع إلى رموز صغيرة.

الخصوبة مقياس هذا الأثر: متوسط عدد الرموز اللازمة للكلمة الواحدة. وتعرّفها Sarvam وGnani التعريف نفسه، وتضع Sarvam الإنجليزية عند نحو 1.4. والرقم الأقل يعني أن الجملة نفسها تحتاج رموزا أقل. وللخلفية عن كيفية استخدام النموذج لهذه الرموز، انظر كيف يتنبأ روبوت المحادثة بالكلمة التالية وكيف يُدرَّب نموذج لغوي كبير.

لماذا تُحسب الفاتورة والذاكرة كلتاهما بالرموز

الرموز هي وحدة الفوترة ووحدة الذاكرة. فالتسعير بالرموز، كما يقول مركز مساعدة OpenAI، يتوقف على النموذج ونوع الرمز، ويُسعَّر الإدخال والإخراج كلٌّ على حدة. وتذكر صفحة التسعير لدى Anthropic أسعارها لكل مليون رمز. والرموز تحدد أيضا نافذة السياق، أي ما يستطيع النموذج الإبقاء عليه في مجال رؤيته دفعة واحدة.

وتحذير آخر في تلك الصفحة ينطبق على أي مقارنة بين المزودين: انخفاض السعر لكل مليون رمز لا يضمن انخفاض التكلفة الإجمالية، لأن النماذج قد تقسّم النص نفسه إلى رموز بطرق مختلفة. وتشير صفحة التسعير لدى Anthropic إلى أمر مشابه في نماذجها هي، فتقول إن مُجزِّئها الأحدث ينتج نحو 30% رموزا أكثر للنص نفسه.

وفي مثال Gnani العملي، تبلغ وثيقة تيلوغوية من 1,000 كلمة نحو 2,063 رمزا بمُجزِّئها، و3,921 بمُجزِّئ Nemotron غير المعدَّل، و4,753 بمُجزِّئ Qwen 3.5. وهذا، بحسب Gnani، نحو نصف كلفة الاستدلال للمحتوى ذاته. وتضيف أن بمتوسطها البالغ 1.88 رمز للكلمة مقابل 3.20 للمرجع، يتسع نحو 37% كلمات أكثر في ميزانية رموز ثابتة.

دراسة 2023 التي قاست الفجوة

قدّم أوريفاوغين أهيا وستة من المؤلفين المشاركين السند الأكاديمي في ورقة نُشرت على arXiv في 23 مايو 2023 وصدرت في مؤتمر EMNLP 2023. فقد مُرِّرت مجموعة جمل متوازية بلغات كثيرة عبر المُجزِّئ الذي يقوم عليه نموذج gpt-3.5-turbo في ChatGPT. ووجد المؤلفون أن اللغات ذات الكتابات الخاصة بها، ومنها التيلوغوية، احتاجت إلى رموز تصل إلى خمسة أضعاف ما تحتاجه اللغات المكتوبة بالحروف اللاتينية للمعلومات نفسها.

وفي اختبار التلخيص XLSum يذكرون إنفاقا يصل إلى أربعة أضعاف في الطلب والتوليد معا في التيلوغوية والأمهرية. وتخلص خلاصة ورقتهم إلى أن المتحدثين بعدد كبير من اللغات المدعومة حوسبوا بأكثر مما ينبغي مع نتائج أضعف، وأن هؤلاء المتحدثين كانوا يميلون إلى أن يكونوا من مناطق لم تكن واجهات البرمجة فيها ميسورة أصلا. والسبب الذي يفترضه المؤلفون هو اختلال بيانات التدريب، إذ دُرِّب المُجزِّئ أساسا على لغات مكتوبة بالحروف اللاتينية، وفي مقدمتها الإنجليزية.

وتتناول تلك الدراسة مُجزِّئ مزود واحد كما كان عام 2023. أما جدول Krutrim، في موضع لاحق، فيتضمن نموذج OpenAI المفتوح GPT-OSS، الذي يحتاج 1.72 رمز للكلمة في الهندية و6.26 في الأودية.

Sarvam: مُجزِّئ بُني قبل النموذج

Sarvam-1، الذي صدر نموذجا مفتوحا في 24 أكتوبر 2024، نموذج من مليارَي معامل لعشر لغات هندية والإنجليزية. وتقول Sarvam إن النماذج متعددة اللغات الموجودة تحتاج غالبا إلى 4 إلى 8 رموز للكلمة في الكتابات الهندية، بينما يبلغ مُجزِّئها 1.4 إلى 2.1 عبر كل اللغات المدعومة. ويضم المعجم 68,096 رمزا، حُجز منها 4,096 لإضافات لاحقة.

وتحتج الشركة بأن هذا يمدّ بيانات التدريب أيضا. فمدونتها الهندية البالغة تريليوني رمز تعطي، بتقديرها، إشارة تدريب تعادل 6 إلى 8 تريليونات رمز مرّت عبر مُجزِّئات أخرى شائعة. واستغرق التدريب 1,024 وحدة معالجة رسومية من عنقود Shakti التابع لـ Yotta على مدى خمسة أيام.

وفي 6 مارس 2026 أصدرت Sarvam نموذجين مفتوحين أكبر، Sarvam 30B وSarvam 105B، بمُجزِّئ يغطي كل اللغات الهندية الـ22 المدرجة في الجدول الدستوري عبر 12 كتابة. وبحسب المنشور فهو يتفوق على المُجزِّئات المفتوحة المصدر الأخرى، وهو أكفأ بكثير للغات الشحيحة الموارد مثل الأودية والسانتالية والمانيبورية (الميتي). ويعرض المنشور المقارنة في رسم بياني بلا قيم في النص، فلا يمكن اقتباس أرقام منه. وتذكر Sarvam أيضا أن المُجزِّئ يوسّع ميزتها المقيسة في التشغيل للنموذج 30B حتى 10 أضعاف في التوليد بالهندية. وعن موقع هذه النماذج في البرنامج الوطني، انظر الهند تبني الذكاء الاصطناعي بلغاتها.

Gnani: توسيع مُجزِّئ دون إعادة تدريب النموذج

تبني Gnani.ai ذكاءً اصطناعيا صوتيا وحواريا للغات الهندية. ينطلق منشور Gnani، بمشاركة مؤلفين من NVIDIA وبتاريخ 19 مايو 2026، من مُجزِّئ Nemotron 3 Nano لدى NVIDIA، الموروث من نموذج Mistral والمدرَّب أساسا على نصوص إنجليزية وأوروبية. وتقول Gnani إن الكلمة الهندية الواحدة قد تتمدد في ظله إلى أربعة رموز أو أكثر. وكان هدف Gnani توسيع المُجزِّئ للهندية والبنغالية والتاميلية والتيلوغوية دون إعادة تدريب النموذج ولا تغيير بنيته.

قورنت طريقتان. تواصل إحداهما ترميز أزواج البايت على جدول الدمج القائم باستخدام نصوص بلغات هندية، بهدف إضافة أكثر من 32,000 قاعدة دمج جديدة. وتدرّب الأخرى مُجزِّئا هنديا منفصلا وتلحق رموزه بالمعجم سلاسل كاملة. وتقدم التاميلية مثال Gnani. فكلمة வாடிக்கையாளர், «عميل»، شائعة في عمليات النشر التجارية لديها. أما الصيغة اللاحقية வாடிக்கையாளர்களுக்கு، «للعملاء»، فربما لم ترد قط في التدريب، وفي ظل الطريقة الثانية قد تتراجع كلمة كهذه إلى قطع حرفا بحرف. وفي ظل الطريقة الأولى، تقول Gnani، تُبنى من أجزاء متعلَّمة.

وتؤيد النتائج المعلنة الطريقة الأولى، التي تسميها Gnani «Indic Continued BPE». ويقابل متوسط 1.8802 عبر اللغات الأربع 2.0063 لـ Sarvam 30B و2.1132 لـ Gemma 3 27B و2.79 لـ GPT-OSS-20B و3.1992 لـ Nemotron غير المعدَّل. وفي كل لغة، تنخفض الهندية من 2.0578 إلى 1.4899، والبنغالية من 3.0697 إلى 1.9709، والتاميلية من 3.7480 إلى 1.9969، والتيلوغوية من 3.9212 إلى 2.0632. وفي الهندية (1.4093) والبنغالية (1.6942) يضع جدول Gnani نفسه Sarvam 30B في المقدمة، ويقول المنشور إن أوزان تدريبه رجحت اللغات الدرافيدية.

ويقول نص Gnani إنها قارنت بثمانية نماذج عامة في موضع وبسبعة في موضع آخر، ويتحدث عن تسعة مُجزِّئات في المجموع، بينما يسرد الجدول ثمانية صفوف، اثنان منها لـ Gnani نفسها. ويعطي الجدول أيضا قيما متطابقة للهندية والبنغالية في Sarvam 30B وGemma 3 27B. ولا يفسر المنشور أيا من الأمرين.

MUTANT من Krutrim، ولماذا لا تتطابق الجداول

MUTANT ورقة كتبها سوفيك رانا وأرول مينيزيس وأشيش كولكارني وتشاندرا خاتري وشوبهام أغاروال من Krutrim AI، وظهرت على arXiv في 5 نوفمبر 2025 بعنوان IndicSuperTokenizer. وتحمل النسخة المنقحة في 22 مارس 2026 اسم MUTANT وتقدم وصفة: معجما موزعا بحسب الكتابة، وتجزئة مسبقة تراعي اللغة، ومرحلتي تدريب، أولاهما لقطع الكلمات والثانية للوحدات المتعددة الكلمات المتكررة.

وتذكر الخلاصة خصوبة متوسطة أفضل بنسبة 39.5% من LLaMA 4 وبنسبة 18% من Sutra، وهو مُجزِّئ يصفه المؤلفون بأنه الأفضل حاليا، ومكسبا قدره 44% في إنتاجية الاستدلال قياسا إلى LLaMA 4، مع الإبقاء على نتائج مقاربة في اختبارات الإنجليزية واللغات الهندية. وتشمل هذه المقارنة الإنجليزية و22 لغة هندية والشفرة البرمجية. وفي الجدول 3 من الورقة، يسجل MUTANT-Indic أدنى خصوبة في 20 عمودا من 24. وللتاميلية يذكر 2.12 مقابل 5.87 لـ LLaMA 4، وللتيلوغوية 1.88 مقابل 4.53، وللهندية 1.23 مقابل 1.83. ويفرد النص LLaMA 4 في الأودية، عند 10.51.

ولا يمكن دمج ثلاثة مصادر في جدول ترتيب واحد. فـ GPT-OSS ينال 3.13 للتيلوغوية في ورقة MUTANT و3.90 في منشور Gnani. ومُجزِّئ Sarvam لعام 2024 تذكره Sarvam عند 1.4 إلى 2.1 عبر لغاته العشر وتذكره جداول MUTANT عند 2.63 للتيلوغوية. فنص الاختبار واللغات وطريقة عدّ الكلمات تختلف في كل منها، ولذلك لا تقارَن إلا الأرقام داخل جدول واحد. ولم تعِد أي جهة خارجية إنتاج أي منها في المصادر المفتوحة لهذا المقال.

ما الذي يغيّره انخفاض الرموز وما الذي يتركه كما هو

انخفاض عدد الرموز يخفض الكلفة ويُتيح أن يتسع مزيد من النص في نافذة السياق. أما تحسن الإجابات فلا يأتي من تلقاء نفسه. ويذكر مؤلفو MUTANT أن مُجزِّئهم أبقى النتائج مقاربة في الاختبارات التي أجروها، وهذا هو الادعاء الذي ينبغي البحث عنه في أي ورقة كهذه. وتحتج Gnani بأن لا قدر من الضبط الدقيق على بيانات اللغات الهندية يعوّض مُجزِّئا يفتّت النص قبل أن يراه النموذج.

والتجزئة تشكّل كذلك مهام لا صلة لها بالسعر. فقد وجدت ورقة صدرت في فبراير 2024 لآديتيا سينغ وDJ سترواس أن طريقة تقسيم GPT-3.5 وGPT-4 للأعداد إلى رموز تغيّر دقتهما في الحساب، وأن التجميع من اليمين إلى اليسار يعطي أداء محسَّنا إلى حد بعيد.

ويقول مؤلفو MUTANT إنهم سينشرون مجموعة بيانات التقييم وإطاره، حتى تتمكن مجموعات أخرى من إجراء المقارنة نفسها.

Share
Copied!

المصادر وقراءات إضافية

  1. Gnani AI and NVIDIA, Building a State-of-the-Art Indic Tokenizer for Nemotron 3 Nano (19 May 2026)
  2. Sarvam AI, Sarvam 1: The first Indian language LLM (24 October 2024)
  3. Sarvam AI, Sarvam 30B and Sarvam 105B (6 March 2026)
  4. Rana, Menezes, Kulkarni, Khatri and Agarwal, MUTANT: A Recipe for Multilingual Tokenizer Design (arXiv 2511.03237, v2 of 22 March 2026)
  5. arXiv 2511.03237v1, IndicSuperTokenizer: An Optimized Tokenizer for Indic Multilingual LLMs (5 November 2025)
  6. Ahia et al., Do All Languages Cost the Same? Tokenization in the Era of Commercial Language Models (arXiv, 23 May 2023)
  7. ACL Anthology, Ahia et al., EMNLP 2023 proceedings entry
  8. Singh and Strouse, Tokenization counts: the impact of tokenization on arithmetic in frontier LLMs (arXiv, 22 February 2024)
  9. OpenAI Help Center, Understanding and counting tokens
  10. Claude Platform Docs, Pricing
  11. Hugging Face Transformers documentation, Tokenization algorithms

أُعِدّ هذا المقال وكُتب بمساعدة أدوات الذكاء الاصطناعي، وحُرِّر للتحقق من دقته. وهو للمعلومة العامة والنقاش فقط، وليس مشورة مهنية. راجع معاييرنا التحريرية وإخلاء المسؤولية. وجدت خطأ؟ أخبرنا.

#tokenizer#fertility#sarvam#gnani ai#indic languages#large language models#krutrim#tamil

أعجبك المقال؟ احصل على التالي.

مقال جيد واحد في كل مرة، يصلك مباشرة إلى بريدك. بلا رسائل مزعجة، ويمكنك إلغاء الاشتراك متى شئت.

المزيد في الذكاء الاصطناعي والتكنولوجيا
نشر ثمانية باحثين من غوغل ورقة الترانسفورمر في 12 يونيو 2017، وسجّل نموذجها الكبير 28.4 على مقياس BLEU في الترجمة من الإنجليزية إلى الألمانية بعد 3.5 أيام من التدريب على ثماني وحدات GPU
جولة في التصميم الكامن وراء روبوتات الدردشة اليوم، بالاعتماد على جداول الورقة نفسها ومثال غوغل نفسه عن كلمة عليها أن تنظر إلى نهر. وتتناول أيضا ما أبقت عليه النماذج اللاحقة من تصميم 2017 وما غيّرته وما أسقطته.
التوليد المعزز بالاسترجاع، كما وصفته ورقة 22 مايو 2020 لباتريك لويس و11 من زملائه، يتيح للمساعد الآلي أن يجلب مقاطع من فهرس يضم 21 مليونا قبل أن يجيب
جولة بكلمات بسيطة في الخطوات الأربع وراء المساعدين الآليين الذين يراجعون الوثائق: تجربة 2020 التي بدّلت نسخة من ويكيبيديا بأخرى، وكيف يفقد تقطيع النص سياقه، والحلول التي قيست.
يفرّغ Saaras V4 من Sarvam كل اللغات المدرجة الاثنتين والعشرين بخمس صيغ للمخرجات، ويبدأ نموذج الصوت Bulbul V4 Flash الكلام في أقل من 250 ميلي ثانية، بحسب Sarvam
نموذج يصغي وآخر يتكلم، وهذا يكفي لإدارة مكالمة بالهندية أو التاميلية أو البنغالية. تفاصيل الإصدار، وحجة Sarvam بأن معدل خطأ الكلمات يسيء الحكم على الكلام الهندي، والاختبارات العامة التي تقف خلف الادعاءات.
← كل المقالات