الـ Tokens — عملة كل حاجة

تخيّل النص متقطّع لقطع ليجو صغيرة. كل قطعة = token. الموديل بيقرا ويكتب بالقطع دي، وبتدفع على عددها.

كلمة «hello» غالبًا token واحد، لكن كلمة عربية طويلة ممكن تتقسّم لكذا token. يعني نفس المعنى ممكن يكلّف tokens أكتر بالعربي.

قبل ما النص يوصل للموديل، بيعدّي على tokenizer: برنامج بيقطّع النص لقطع من قاموس ثابت اتبنى وقت التدريب. الكلمات الشائعة بالإنجليزي بتاخد token واحد، والكلمات النادرة أو اللغات التانية بتتقسّم لقطع أصغر. الموديل بعد كده بيشتغل على أرقام الـ tokens دي، مش على الحروف — عشان كده بيتلخبط أحيانًا في عدّ الحروف أو الكلام المقلوب. والفاتورة بتتحسب على مجموع tokens الدخل والخرج مع بعض.

🧪 جرّب بنفسك: خد جملة بالإنجليزي وترجمتها بالعربي، واحسب tokens كل واحدة بأي tokenizer (زي أداة الـ tokenizer بتاعة مزوّد الموديل). قارن العددين، وجرّب كمان كلمة طويلة ولينك URL وشوف بيتقطّعوا إزاي.

غلطات شائعة: (1) تحسب الطول بالكلمات أو الحروف وتتفاجئ إن النص عدّى حد الـ context window. (2) تفتكر إن الدخل بس هو اللي بيتحاسب — الخرج غالبًا أغلى لكل token. (3) تفترض إن العربي والإنجليزي بنفس التكلفة — نفس المعنى بالعربي ممكن ياخد ضعف الـ tokens أو أكتر.

فكّر بالـ tokens في أي قرار ليه علاقة بالتكلفة أو الطول: تسعير ميزة، تقطيع مستندات للـ RAG، تحديد حد أقصى لرسايل المستخدم، أو مقارنة موديلات ببعض.

متحوّلش كل حاجة لهوس بالـ tokens: لو بتعمل prototype أو حجم الاستخدام صغير، الفرق بيبقى قروش. حسّن التكلفة لما يبقى فيه استخدام حقيقي يستاهل.