مشروع 02 · IntermediatePROمسودة أولى
مساعد معرفي بـ RAG
شركة عندها ٣٠٠ مستند دعم فني، والعملاء بيسألوا أسئلة إجاباتها جوّه المستندات دي. مهمّتك: مساعد بيجاوب من المصدر — بدقّة، وبالاستشهاد، من غير ما يخترع.
Intermediate15–20h< $5Python · pgvector
ابدأ البناءهتبني إيه
نظام RAG كامل: تقطيع المستندات، بحث دلالي، استرجاع مُعاد ترتيبه، إجابة مستشهِدة، وحواجز ضد الهلوسة — مع مجموعة تقييم تثبت إنه شغّال.
ليه ده مهم
الـ RAG أكثر مهارة مطلوبة في سوق الـ AI. النظام ده هو أقوى قطعة portfolio للتوظيف.
مهارات هتكسبها
تقطيع المستندات · L4الـ Embeddings والبحث الدلاليقياس جودة الاسترجاعالتحكّم في الهلوسة والاستشهادتقييم أنظمة RAGاسترجاع متقدّم وإعادة ترتيب
المتطلّبات السابقة
PRJ-1 مُقيَّم + بوابات M4–M5 + مجموعة المستندات المُوفَّرة.
المطلوب
- RQ-1: أمانة الإجابة (faithfulness) ≥ ٨٠٪ على مجموعة التقييم.
- RQ-2: معدّل إصابة الاسترجاع (hit rate) ≥ ٧٠٪.
- RQ-3: رفض ١٠٠٪ للأسئلة اللي مالهاش إجابة في المصدر.
- RQ-4: كل ادّعاء في الإجابة له استشهاد يوصّل للـ chunk المصدر.
- RQ-5: تكلفة الفهرسة الكاملة + ١٠٠ سؤال تقييم متتبّعة وتحت السقف المعلَن.
المعمارية
على مستوى المنتج: المستندات ← تقطيع ← embeddings ← فهرس متجهات ← استرجاع + إعادة ترتيب ← توليد مستشهِد بحواجز. الشرح بيعلّمك إن جودة الإجابة سقفها جودة الاسترجاع — علشان كده بنقيس الاسترجاع لوحده قبل ما نلمس التوليد.
البناء — 6 مراحل
1المستندات بقت قطعE2 E3
2المعنى بقى أرقامE1 E3
3قيس الاسترجاع قبل ما تولّدE5 E3
4جاوب من المصدر وبسE1
5الحُكم بالأرقامE5 E4
6صلّبه وحاسب فلوسهE5 E1
معيار «الجودة» — بيبان من البداية
الجودةمجموعة تقييم ≥ ٥٠ سؤال بـ ground truth: faithfulness ≥ ٨٠٪ (ادّعاء بادّعاء) وhit rate ≥ ٧٠٪.
الصلابةرفض ١٠٠٪ للأسئلة بلا إجابة، ورفض غلط ≤ ١٠٪، وأسئلة الأكواد والمدخلات الوحشة بتعدّي.
التكلفةتكلفة الفهرسة الكاملة + تشغيل التقييم بالكامل تحت $5، بجدول مُقاس.
أعطال هتصلّحها بنفسك
إجابة واثقة غلط والمصدر موجودالنظام بيجاوب بثقة كاملة وباستشهاد شكله سليم — بس الإجابة غلط، مع إن المعلومة الصح موجودة فعلًا في المستندات.
الاسترجاع بيرجّع زبالة للأكوادالأسئلة العادية شغّالة، بس أي سؤال فيه كود منتج أو رقم خطأ («يعني إيه ERR-4032؟») بيرجّع قطع مالهاش أي علاقة، والـ hit rate على الأسئلة دي قريب من الصفر.
over-refusal بعد التشديدبعد ما شدّدت تعليمات الأمانة علشان توصل للـ ٨٠٪، النظام بقى يرفض أسئلة إجابتها موجودة فعلًا — «مش لاقيها في المستندات» لأسئلة كانت بتتجاوب صح قبل كده.
المستندات اتحدّثت والفهرس ناموصلك تحديث لـ ٢٠ مستند (في الـ asset pack). النظام بيجاوب إجابات كانت صح — بس بقت قديمة: أسعار قديمة، خطوات اتغيّرت — وباستشهادات سليمة لقطع فعلًا موجودة في الفهرس.