الـ Embeddings والبحث الدلالي· الدرس 4 من 7
تقطيع المستندات — الـ Chunking
في سطر واحد · قبل ما تعمل embedding لمستند طويل، بتقطّعه لقطع أصغر (chunks) عشان كل قطعة تبقى معنى مركّز يسهل تلاقيه.
التقطيع الغلط أكتر سبب بيخلّي الـ RAG يجيب نتايج ضعيفة: قطعة كبيرة معناها مايع، وقطعة صغيرة أوي بتقطع السياق فينقص المعنى.
زي ما تقسّم كتاب لفقرات بدل ما تعامله كتلة واحدة: كل فقرة عن فكرة، فلما تدوّر على فكرة تلاقي الفقرة بالظبط مش الكتاب كله.
زي ما تقصّ محاضرة طويلة لكروت مذاكرة، كل كرت فكرة واحدة: وقت الامتحان بتطلّع الكرت اللي محتاجه بس، مش الكرّاسة كلها. بس لو قصّيت الجملة في نصها، الكرت بيبقى ناقص ومش نافع.
دليل ٥٠ صفحة تقطّعه لقطع ~٣٠٠ كلمة مع تداخل بسيط بينهم؛ استعلام عن «سياسة الاسترجاع» بيجيب القطعة اللي فيها السياسة بس، مش الفصل كامل. التداخل بيمنع إن جملة مهمة تتقص في نص الفكرة.
بتختار حجم قطعة (بالـ tokens أو الكلمات) وتداخل (overlap) بين كل قطعة واللي بعدها. الحجم بيحكم tradeoff: قطع صغيرة = معنى مركّز يسهّل المطابقة الدقيقة، بس سياق أقل للموديل؛ قطع كبيرة = سياق كامل، بس الفيكتور بيمثّل خليط أفكار فالمطابقة بتضعف. الـ overlap (عادة 10–20%) بيضمن إن الجملة اللي على الحدود تظهر كاملة في قطعة من الاتنين. الأذكى من التقطيع الأعمى بالحجم: التقطيع على الحدود الطبيعية — فقرات وعناوين وأقسام — عشان كل قطعة تفضل فكرة متماسكة.
🧪 جرّب بنفسك: هات مستند طويل وقطّعه ٣ مرات: قطع ~١٠٠ كلمة، ~٣٠٠ كلمة، و~١٠٠٠ كلمة (بنفس الـ overlap). اعمل embedding للتلاتة وجرّب نفس ٥ استعلامات على كل نسخة. هتشوف بعينك: الصغير بيجيب مطابقات دقيقة بس مقطوعة السياق، والكبير بيجيب سياق كامل بس مطابقة مايعة — والنص في النص غالبًا الأحسن.
أشهر غلطة: تقطيع أعمى بعدد حروف ثابت بيقصّ الجُمل والجداول في نصهم — استخدم حدود الفقرات والعناوين. غلطة تانية: قطع ضخمة «عشان السياق» — الفيكتور بتاعها بيبقى مايع ومش بيطابق أي استعلام محدد كويس. وتالتة: تنسى تخزّن metadata (اسم المستند، رقم القسم) مع كل قطعة، فلما القطعة ترجع مش عارف تنسبها لمصدرها ولا تجيب جيرانها.
لازم تقطّع لما مستنداتك أطول من كام فقرة: أدلة، عقود، وثائق داخلية، مقالات — يعني عمليًا أي RAG حقيقي. وكل ما المحتوى منظّم بعناوين، استغلّ الهيكل ده في التقطيع.
لو مستنداتك أصلًا قصيرة ومركّزة — تغريدات، أسئلة شائعة، تذاكر دعم — سيبها زي ما هي؛ التقطيع هيكسر وحدات معنى سليمة. ولو الأسئلة دايمًا محتاجة المستند كامل (تلخيص عقد مثلًا)، رجّع المستند كله مش قطعة منه.