الامتحان الغلط

مساعد RAG بتاع فريق «ناجح» في الـ eval بتاعه بـ ٩٦٪ — والمستخدمين لسه بيشتكوا من إجابات غلط كل يوم. الامتحان نفسه هو الغلط: الـ golden set اتولّد بنفس الموديل اللي بيتقيّم، الأسئلة سهلة وبتسرّب الإجابة، الـ faithfulness متقاسة بـ string overlap، وكل الـ test set ١٢ سؤال. شخّص ليه الرقم العالي بيكذب، وصلّح الامتحان نفسه.

شرط النجاح: تشخّص عيوب الامتحان الأربعة وتبني eval جديد بيكشف الأخطاء اللي المستخدمين شايفينها — من غير ما تعمل overfitting عليه.