لوحة الحوادث · التقييم
التحدّيات
أعطال حقيقية على أنظمة حقيقية. الساعة بتجري، والتقييم بيحكم.
تحدّي اليومSEV-1 · مفتوح⭐⭐⭐ · 250 PTS · 90 د
صيد هلوسة الـ RAGنظام RAG بيدّي إجابات واثقة غلط رغم إن المصدر موجود. عندك traces والـ corpus و٩٠ دقيقة. صلّح من غير ما ترفع معدّل الرفض (over-refusal).افتح الحادثةالتقييمالصح · 40٪الطريقة · 25٪التكلفة · 20٪الصلابة · 15٪النتيجة: بوابة + الأبعاد اللي التحدّي بيقيسها
SEV-3مسودة أولى⭐ · 30 د
اصطاد الهلوسةبوت دعم بيدّي إجابات واثقة فيها مصادر واختصاصات مخترعة. عندك النصوص والوقت. شخّص وصلّح.LLMs · بعد مفهوم الهلوسةابدأ →
SEV-3مسودة أولى⭐ · 40 د
الـ Context اتملىشات بيرد كويس أول ١٠ رسايل وبعدين ينسى أو يقع. شخّص وصلّح من غير ما تولّع في التكلفة.LLMs → تطبيق Chatابدأ →
SEV-2مسودة أولى⭐⭐ · 60 د
اخترق البوت بتاعكسكربت رسايل عدائية بيحاول يخلّي بوتك يسيب شخصيته ويسرّب تعليماته. صلّبه.هندسة الـ Prompt → Support Agentابدأ →
SEV-1مسودة أولى⭐⭐⭐ · 90 د
الـ Agent بتاع الـ $40الـ agent بتاع البحث بيخلّص شغله صح وبيقف لوحده — ومع كده التشغيلة الواحدة بتكلّف $40. الـ trace بيوري ١٢ خطوة بس، مفيش لفّ ولا تكرار: كل خطوة بتعيد إرسال النص الكامل لكل صفحة اتقرت قبلها، والـ ١٢ كلهم على أغلى موديل — حتى خطوة «اختار اللينك الجاي». التكلفة هنا تصميم مش عطل. نزّلها لـ ≤ $4 بنفس جودة التقرير على الـ eval.Research Agent · التشغيل النهائيابدأ →
SEV-1مسودة أولى⭐⭐⭐ · 90 د
الامتحان الغلطمساعد RAG بتاع فريق «ناجح» في الـ eval بتاعه بـ ٩٦٪ — والمستخدمين لسه بيشتكوا من إجابات غلط كل يوم. الامتحان نفسه هو الغلط: الـ golden set اتولّد بنفس الموديل اللي بيتقيّم، الأسئلة سهلة وبتسرّب الإجابة، الـ faithfulness متقاسة بـ string overlap، وكل الـ test set ١٢ سؤال. شخّص ليه الرقم العالي بيكذب، وصلّح الامتحان نفسه.التقييم · بعد الـ Evaluator-Optimizerابدأ →
SEV-2مسودة أولى⭐⭐ · 45 د
عاصفة الـ Retriesالـ retries بتتراكم وبتعمل حمل زايد وفواتير عالية.AI APIs · معالجة الأخطاءابدأ →
SEV-2مسودة أولى⭐⭐ · 50 د
استخراج من غير دراماالاستخراج المنظّم بيرجّع JSON بايظ أحيانًا.AI APIs · مخرجات منظّمةابدأ →
SEV-2مسودة أولى⭐⭐ · 45 د
الـ Retrieval بيرجّع زبالةالاسترجاع بيرجّع نتايج غير متعلّقة.Embeddingsابدأ →
SEV-2مسودة أولى⭐⭐ · 60 د
تشريح الـ Retrievalاسترجاع ضعيف بيكسر الإجابات.RAG · مرحلة الاسترجاعابدأ →
SEV-3مسودة أولى⭐ · 45 د
الـ Prompt الغاليprompt بيكلّف أكتر من اللازم لكل نداء.LLMsابدأ →
SEV-2مسودة أولى⭐⭐ · 50 د
الـ Prompt اللي بوّظ في productionprompt كان شغّال وفجأة بقى بيرجّع نتايج غلط. تعديل «بسيط» على prompt التصنيف اتشحن يوم الجمعة من غير أي اختبار — والاتنين صبح الشكاوى بدأت: تذاكر بتتصنّف غلط في production. عندك الـ git history والـ traces وشكاوى المستخدمين.هندسة الـ Promptابدأ →
SEV-1مسودة أولى⭐⭐⭐ · 60 د
انفجار تكلفة الـ RAGتكلفة الـ RAG اتضاعفت من غير سبب واضح. الفاتورة قفزت ×٨ الشهر ده. التحقيق السريع بيوري إن حد «حسّن الـ recall» برفع k من ٣ لـ ٢٠ chunk في كل استعلام. الجودة اتحسّنت شوية صغيرة — والتكلفة انفجرت. عندك الـ traces وأرقام الفاتورة وeval set.RAG · مرحلة التكلفةابدأ →
SEV-2مسودة أولى⭐⭐ · 50 د
الـ Agent البطيءالوكيل بيستدعي أدوات أكتر من اللازم فبيبقى بطيء وغالي. الـ traces بتوري إنه بيستدعي search_kb وlookup_order حتى في أسئلة زي «إزاي أغيّر الباسورد؟» — سؤال إجابته في الـ system prompt أصلًا. كل استدعاء بيضيف round-trip، والـ latency بقت ×٣ والتكلفة معاها.Support Agent · التحسينابدأ →
SEV-2مسودة أولى⭐⭐ · 50 د
انهيار الـ Toolsسقوط أداة بيعمل انهيار متسلسل في الوكيل. أداة الـ order-lookup وقعت النهارده ٢٠ دقيقة — وبدل ما الوكيل يتعامل، كل محادثة فيها سؤال أوردر انتهت بـ exception أو رسالة خطأ خام للمستخدم، حتى الأسئلة اللي ملهاش دعوة بالأوردرات اتأثرت. عندك الكود والـ traces.Support Agent · مرحلة الأدواتابدأ →
SEV-1مسودة أولى⭐⭐⭐ · 60 د
الـ Agent اللي مش بيقفالوكيل بيدخل في حلقة لا نهائية أحيانًا. امبارح تشغيلة research واحدة على هدف مبهم («ابحث عن أحسن استراتيجية تسعير») لفّت ساعتين وحرقت $40 قبل ما حد يلاحظ ويقفلها بإيده. الـ trace بيوري نفس عمليات البحث بتتعاد بصيغ مختلفة بلا نهاية. عندك الكود والـ traces.Research Agent · الموثوقيةابدأ →
SEV-3مسودة أولى⭐ · 40 د
الموديل المناسبتلات منتجات على مكتبك، وكل واحد محتاج قرار موديل النهارده. (١) تصنيف تذاكر الدعم: ١٠ مليون تذكرة في الشهر، تصنيفين بس — شكوى ولا استفسار — والميزانية $٢٠٠ في الشهر. (٢) شات مساعد جوّه المنتج: المستخدم لازم يشوف أول كلمة في أقل من ثانية، والأسئلة عادية ومتوسطة. (٣) تحليل عقود قانونية: ٤٠ عقد في الشهر، كل عقد حوالي ٦٠ صفحة، وبند فايت واحد ممكن يكلّف الشركة أضعاف الفاتورة كلها. قدامك ورقة أنماط الموديلات: صغير (رخيص وسريع)، متوسط، وfrontier (أغلى بكتير وأدق في المهام المعقّدة).LLMs · اختيار الموديلابدأ →
SEV-2مسودة أولى⭐⭐ · 60 د
امتحن الشات بوتمساعد الـ RAG بتاعك شغّال والناس بدأت تستخدمه — بس محدش يقدر يقول هو كويس قد إيه. الحكم الوحيد المتاح دلوقتي «جرّبناه وشكله تمام». قدامك المستندات اللي بيرد منها، لوج أسبوع من أسئلة المستخدمين الحقيقية، وكتالوج أنماط الفشل من الـ KB: سؤال ليه إجابة في المستندات، سؤال مالوش إجابة أصلًا، سؤال على الحافة (الإجابة موجودة بس ناقصة أو متفرّقة على مستندين)، وسؤال خبيث بيحاول يستدرجه. المطلوب امتحان من ١٢ حالة يبقى هو الحَكَم قبل أي شحن.RAG Knowledge Assistant · مرحلة التقييمابدأ →
SEV-2مسودة أولى⭐⭐ · 50 د
مين فيهم الصح؟تلات كروت على الترابيزة، وكل واحد محتاج قرار معماري: RAG ولا سياق طويل ولا fine-tuning ولا مفيش LLM أصلًا. (١) بوت معرفة في شركة تأمين: ٤٠٠٠ وثيقة سياسات، بتتعدّل كل أسبوع، والإجابة لازم تشاور على مصدرها لأن في مراجعة تنظيمية. (٢) مولّد نصوص تسويقية: المعرفة المطلوبة بسيطة جدًا، بس النبرة لازم تطلع بصوت البراند بالظبط في كل مرة، وعندك ٣٠٠٠ نص قديم متكتوب بالصوت ده. (٣) صفحة FAQ: ٤٠ سؤال وجواب ثابتين من سنة، ٢٠٠ استعلام في اليوم.RAG · كابستون المجالابدأ →
إزاي التقييم بيشتغلكل محاولة بتتقيّم بنفس الأبعاد — الصح، الطريقة، التكلفة، الصلابة. أحسن نتيجة بتتحسب، والمحاولات مفتوحة، والنجاح بيدّي إشارات مهارة «اتقيّمت».