يُطرح على كل فريق منتج السؤال نفسه: أين نضع الذكاء الاصطناعي؟ وفي تطبيقات طلب السيارات والتوصيل يكون الجواب الصادق: «في بضعة مواضع محددة، وبعيدًا عن الأجزاء التي يجب أن تبقى متوقعة». يعرض هذا المقال المواضع التي رأينا فيها قيمة حقيقية، والمواضع التي لن نستخدمه فيها، وكيف نختبره حتى لا يفاجئ تحديثُ النموذج عملاءك.
أين يستحق الذكاء الاصطناعي مكانه
- التنبؤ بوقت الوصول. نموذج مدرَّب على سجل رحلاتك أنت يتفوق على تقدير الخرائط العام في مدينتك، لأنه يتعلم حركة المرور المحلية وتأخيرات الالتقاط والمدة التي يحتاجها السائقون فعلًا للعثور على الباب.
- توقع الطلب. معرفة الأماكن التي سترتفع فيها الطلبات خلال الدقائق الثلاثين القادمة تتيح لك توجيه السائقين أو المندوبين إلى المنطقة المناسبة قبل الذروة لا بعدها.
- مساعدو الدعم. نموذج لغوي يقرأ الطلب أو الرحلة، ويصوغ ردًا، ويقترح استردادًا ليعتمده الموظف، يقلّل زمن المعالجة دون أن يُغيّب الإنسان.
- مساعدون يخاطبون العملاء. «أين طلبي؟» و«غيّر نقطة الالتقاط» أسئلة محددة وراءها بيانات. والمساعد المبني على مصادر يحلّها بثلاث لغات في أي ساعة.
- إشارات الاحتيال وإساءة الاستخدام. يرصد كشف الشذوذ الحسابات المزيفة وإساءة استخدام العروض وانتحال موقع GPS لتتم مراجعتها. هو يقيّم، والبشر يقررون.
أين لن نستخدمه
- التسعير وحساب الأجرة. يجب أن تكون الأجرة قابلة للتفسير والتكرار. محرك قواعد يمكنك تدقيقه أفضل من نموذج لا يستطيع أحد تبريره أمام جهة تنظيمية أو راكب.
- القرارات المتعلقة بالسلامة. حظر سائق أو التعامل مع حالة طارئة أو إصدار حكم طبي لا ينبغي تفويضها إلى نموذج وحده.
- كل ما يجيب عنه استعلام قاعدة بيانات. إذا كانت الإجابة حقلًا فاقرأ الحقل. لا تطلب من نموذج أن يخمّنه.
اختبر الذكاء الاصطناعي كما تختبر الكود
تتحقق اختبارات الوحدة التقليدية من إجابة صحيحة واحدة. أما المساعدون فيقدمون إجابات مقبولة كثيرة، لذلك نختبرهم على مجموعة ذهبية (golden set): بضع مئات من الأسئلة الحقيقية، لكل منها الحقائق التي يجب أن تتضمنها الإجابة الجيدة والحقائق التي يجب ألا تتضمنها أبدًا. ويُقيَّم كل إصدار على المجموعة نفسها.
- اجمع أسئلة حقيقية من سجلات الدعم، بعد حذف البيانات الشخصية.
- وسّم كل سؤال بالحقائق المطلوبة والادعاءات الممنوعة واللغة.
- قيّم آليًا الصحة والاستناد إلى المصدر (هل كل ادعاء موجود في المصدر المستشهد به؟) والنبرة وسلوك الرفض.
- اجعلها شرطًا للإصدار: إذا هبطت النتيجة عن المستوى المتفق عليه، يفشل خط الأنابيب.
# Golden-set evaluation: runs in CI and fails the build if quality drops
import json
from assistant import answer # your RAG service
from judge import supported_by, language_of # groundedness + language checks
GOLDEN = json.load(open("golden_set.json", encoding="utf-8"))
BAR = {"correct": 0.90, "safe": 1.00, "grounded": 0.97, "language": 0.98, "refusal_ok": 1.00}
def score(case):
reply = answer(case["question"], lang=case["lang"])
text = reply.text.lower()
return {
"correct": all(f.lower() in text for f in case["must_include"]),
"safe": not any(f.lower() in text for f in case["must_not_include"]),
"grounded": supported_by(reply.text, reply.sources),
"language": language_of(reply.text) == case["lang"],
"refusal_ok": reply.refused == case.get("should_refuse", False),
}
results = [score(c) for c in GOLDEN]
failed = []
for metric, minimum in BAR.items():
rate = sum(r[metric] for r in results) / len(results)
print(f"{metric:<11} {rate:.1%} (bar {minimum:.0%})")
if rate < minimum:
failed.append(metric)
raise SystemExit(f"Quality bar missed: {', '.join(failed)}" if failed else 0)الضوابط في الإنتاج
قبل الإطلاق نجري أيضًا اختبارات عدائية: محاولات حقن التعليمات (prompt injection) المخبأة في الطلبات أو الرسائل، وطلبات للكشف عن تعليمات النظام، ومحاولات للحصول على بيانات عميل آخر. وفي الإنتاج نخفي البيانات الشخصية في السجلات، ونرشّح المحتوى غير الآمن، ونضع سقفًا للرموز (tokens) والإنفاق لكل مستخدم، ونُبقي التحويل إلى موظف بشري بنقرة واحدة.
راقبه بعد الإطلاق
- تتبّع معدل الحل ومعدل التحويل ومعدل التقييمات السلبية وتكلفة المحادثة.
- خذ عيّنة من المحادثات الحقيقية أسبوعيًا وأضف حالات الفشل إلى المجموعة الذهبية.
- أعد تشغيل المجموعة كاملة كلما غيّرت النموذج أو التعليمات أو الفهرس.
الخلاصة
- استخدم الذكاء الاصطناعي للتنبؤ واللغة والتلخيص. واستخدم الكود للمال والسلامة.
- ابنِ المجموعة الذهبية قبل روبوت الدردشة لا بعده.
- قيّم كل لغة على حدة.
- أبقِ إنسانًا في الحلقة حيث تكون المخاطر عالية.
تفكر في إضافة الذكاء الاصطناعي إلى منتج لطلب السيارات أو التوصيل أو الحجز؟ اطّلع على ما نبنيه أو تحدث مع فريقنا.