كيف تقيس أداء OCR وفهم المستندات العربية بشكل عادل؟

المقارنة بين القدرات ومعيار الأداء

يختلط سؤالان مختلفان تمامًا في تسويق OCR. الأول مقارنة قدرات: هل يدعم المحرك الكتابة اليدوية العربية أو استخراج الجداول أو استخراج الحقول من الأساس؟ والثاني معيار أداء: ما مدى دقة نسخه لمجموعة اختبار محدّدة ذات حقيقة مرجعية مُستقلة، مُقاسة بمقياس وسياسة تطبيع مُعرّفين؟

تُجيب مقارنة القدرات عن «ما هو ممكن»، بينما يُجيب معيار الأداء عن «ما مدى الجودة، على هذه البيانات، وفق هذه القواعد». ويجب ألّا يُدمجا في درجة واحدة. فقد يدعم مزوّد قدرة ما ويُسجّل فيها نتيجة ضعيفة، و«غير مُوثَّق علنًا» لا يعني «غير مدعوم». يركّز هذا المقال على جانب معيار الأداء — كيف نقيس OCR العربي بعدل — مع إبقاء التمييز واضحًا.

ولمعرفة القدرات المدعومة فعليًا عبر الحلول، اطّلع على مقارنة القدرات.

فئات مستندات التقييم

تُخفي درجة الدقة الواحدة المدمجة نقاط ضعف النموذج. المعيار العربي الجاد يقسّم مجموعة الاختبار إلى فئات ويُبلّغ عن كل فئة على حدة، حتى لا تُدفن فئة ضعيفة داخل متوسط مُجمّل.

• إنجليزي مطبوع — نظيف (خط أساس لاتيني)
• إنجليزي مطبوع — متدهور / مسح قديم
• عربي مطبوع — نظيف (العربية الأساسية)
• عربي مطبوع — متدهور / مسح قديم
• عربي مكتوب بخط اليد
• إنجليزي مكتوب بخط اليد
• عربي مطبوع + مكتوب بخط اليد مختلط
• إنجليزي مطبوع + مكتوب بخط اليد مختلط
• نص مختلط عربي + إنجليزي
• صعب جدًا — مُدار، ضوضاء، أختام، جداول

يجب أن تأتي أعداد الصفحات لكل فئة والإجماليات من قائمة بيانات مُجمّدة ومنشورة. وإلى أن توجد تلك القائمة، تظل الأعداد هدفًا تصميميًا — لا حقيقة منشورة.

الحقيقة المرجعية

الحقيقة المرجعية هي النسخة المرجعية التي يُقاس عليها كل محرك، لذا تُحدّد جودتها سقف المعيار بأكمله. يجب أن تُنتج بنسخ بشري مع تحقق مُستقل في مرحلة ثانية. ولا يُستخدم مُخرَج أي محرك — بما في ذلك المحرك قيد الاختبار أو أي منافس — كحقيقة مرجعية، لأن ذلك يُحيّز النتائج بهدوء نحو النموذج الذي كتب المرجع.

وبالنسبة للنص الغامض أو غير المقروء فعلًا، يُسجَّل عدم اليقين بدلًا من فرض حرف مُخمَّن. والحقيقة المرجعية مُجمّدة: لا تُعدَّل أبدًا لتحسين مظهر أي نموذج.

التطبيع العربي

التطبيع هو المكان الذي تُكسب فيه المعايير العربية أو تُخسر. يمكن كتابة النص العربي بعدة صور متكافئة بصريًا أو دلاليًا، وطريقة معالجة تلك الصور قبل التسجيل قد تُغيّر معدل الخطأ المُبلَّغ عنه بشكل كبير. المعيار الموثوق يُفصح عن سياسة تطبيعه كاملةً، ويُبلّغ عن النتائج ضمن مسارين لا يُخلطان أبدًا في جدول واحد.

CER و WER

معدل خطأ الأحرف (CER) ومعدل خطأ الكلمات (WER) هما المقياسان الأساسيان لـ OCR. وكلاهما نسبة مسافة تحرير: يُحصى الحد الأدنى من التعديلات اللازمة لتحويل مُخرَج المحرك إلى النسخة المرجعية، مقسومًا على طول المرجع.

• Sالاستبدالات (substitutions) — حرف أو كلمة تُعرَّف خطأً
• Dالحذف (deletions) — حرف أو كلمة ناقصة من المُخرَج
• Iالإدراج (insertions) — حرف أو كلمة زائدة ليست في المرجع

N هو عدد الأحرف (لـ CER) أو الكلمات (لـ WER) في المرجع. ومسافة التحرير هي Levenshtein — على مستوى الحرف لـ CER وعلى مستوى الرمز لـ WER — مع تطبيق مسار التطبيع ذاته بالتساوي على كل محرك.

مقاييس الاستخراج المنظّم

جودة التعرّف في OCR ليست نفسها جودة استخراج الحقول المنظّمة، ولا يُعاد استخدام CER/WER للاستخراج. فقراءة كل حرف بشكل صحيح لا تُخبرك بشيء عمّا إذا هبط إجمالي الفاتورة الصحيح في الحقل الصحيح.

يُقيَّم الاستخراج المنظّم بدقة المطابقة التامة على مستوى الحقل والاستدعاء و F1، إضافةً إلى معدل نجاح على مستوى المستند — نسبة المستندات التي استُخرجت فيها كل الحقول المطلوبة بشكل صحيح. وهذا معيار منفصل عن OCR ويُبلَّغ عنه منفصلًا.

اقرأ المزيد عن استخراج بيانات المستندات.

تقييم التخطيط والجداول

يُقيَّم فهم التخطيط — ترتيب القراءة والأعمدة والترويسات والجداول — بمعزل عن دقة النص الخام. فالجدول ذو التعرّف المثالي على الأحرف يظل خاطئًا إن اختلّت محاذاة صفوفه وأعمدته.

يُقيَّم استخراج الجداول بصحة الخلايا والأمانة البنيوية (عدد صحيح من الصفوف والأعمدة، وربط صحيح للخلية بالترويسة)، وتبقى مستندات التخطيط الصعبة كالصفحات المُدارة والأختام والمسح متعدد الأعمدة في فئتها الخاصة لتكون صعوبتها ظاهرة لا مُمتصّة في متوسط.

الكتابة اليدوية العربية

التعرّف على الكتابة اليدوية العربية أصعب كثيرًا من OCR المطبوع: تتباين أشكال الحروف بين الكُتّاب، والروابط غير منتظمة، والخط الأساس والتباعد غير متسقين. ويُقيَّم دائمًا كفئة خاصة بحقيقته المرجعية الخاصة و CER/WER خاص به، ولا يُدمج أبدًا في متوسط نص مطبوع.

وتُشكّل الصفحات المختلطة المطبوعة مع المكتوبة بخط اليد (كنموذج مطبوع مُعبّأ يدويًا) فئة إضافية، لأن المحرك قد يكون قويًا في طريقة وضعيفًا في الأخرى.

تعرّف على حل OCR الكتابة اليدوية العربية وOCR العربي.

المستندات المختلطة عربي / إنجليزي

نادرًا ما تكون المستندات الحقيقية أحادية النص. تختبر الصفحات المختلطة عربي-إنجليزي قدرة المحرك على التعامل مع تبديل النص، وترتيب القراءة الصحيح عبر الاتجاهين، والأرقام التي قد تظهر بالصورة العربية أو الغربية.

تُسجَّل هذه المستندات في فئة النص المختلط الخاصة بها مع توثيق ترتيب القراءة في الحقيقة المرجعية، بحيث تُقيَّم المقاطع من اليمين إلى اليسار ومن اليسار إلى اليمين على ترتيبها المنطقي الحقيقي لا على ترتيب مُخمَّن.

زمن الاستجابة والإنتاجية

أداء المعالجة معيار منفصل عن الدقة ويجب ألّا يُدمج أبدًا في درجة جودة. يعتمد زمن الاستجابة على المنطقة وموقع الشبكة والعتاد والبدء الدافئ مقابل البارد والتزامن وعدد الصفحات وحجم المستند والدقة — لذا تُوثَّق كلها، ويُبلَّغ عن زمن الاستجابة كـ P50 و P90 و P95 لا كمتوسط واحد.

تتطلب مقارنة السرعة العادلة عدالة البيئة: الاستدلال المحلي على محرك مقابل واجهة API بعيدة على آخر غير قابل للمقارنة ما لم تُوثَّق الظروف. وعند تعذّر معادلتها، يُنشر زمن الاستجابة منفصلًا بتحفظات صريحة. والتكلفة كذلك معيار خاص بها، تُسجَّل بالعملة وتاريخ التسعير ووحدة الفوترة — لا تُثبَّت من مصدر غير مُؤرَّخ.

قابلية التكرار

لا يكون المعيار موثوقًا إلا إن استطاع غيرك تكراره. يُسجّل كل تشغيل قائمة اختبار مُجمّدة مُعرَّفة بتجزئة محتوى، حتى تُستخدم الصفحات نفسها تمامًا في كل مرة؛ وتعني الصفحات الجديدة أو المُغيَّرة إصدار معيار جديدًا وتجزئة جديدة.

ويُسجّل كل تشغيل أيضًا قائمة إصدار محرك كاملة — إصدار النموذج والـ API وإصدارات المسار والتوجيه والمنطقة وتاريخ الاختبار والميزات المُفعّلة وتهيئة الطلب. فـ «Azure OCR» أو «أحدث نموذج» غير كافٍ: تتغيّر الخدمات بمرور الوقت، والنتيجة بلا معنى دون التهيئة الدقيقة التي أنتجتها. وتُشتق النتائج والجداول والرسوم والإحصاءات الموجزة كلها من مصدر بيانات قانوني واحد حتى لا تنحرف الأرقام المنشورة.

للتكامل البرمجي، راجع وثائق API.

المقارنة العادلة مع المنافسين

تُبقي المقارنة العادلة كل شيء ثابتًا عدا المحرك: المستندات نفسها، والحقيقة المرجعية المستقلة نفسها، وتطبيع ومقياس التنفيذ نفسهما، وسياسة إعادة المحاولة نفسها، وحساب الإخفاقات نفسه. ولا يتلقّى أي محرك تنظيفًا يدويًا خاصًا به ما لم يكن ذلك التنظيف جزءًا صريحًا ومُفصحًا عنه من مساره الإنتاجي.

• تُحسب الإخفاقات ولا تُسقط بصمت — تُنشر الصفحات المُحاوَلة والناجحة والفاشلة كلها، مع بيان صريح لكيفية تأثير الإخفاقات في التجميع.
• ينبغي ألّا تُعامَل نتائج المعيار المُبلَّغة من المزوّد كمكافئة للنتائج المُقاسة بشكل مستقل ما لم تتطابق ظروف التقييم.
• «غير مُوثَّق علنًا» لا يعني «غير مدعوم» — يُسجَّل غياب رقم منشور كمجهول لا كنقطة ضعف.

قالب التقرير

يتبع كل جدول نتائج الشكل نفسه ويذكر دائمًا إن كان مسارًا صارمًا أو مُطبَّعًا — ولا يُخلط الاثنان في جدول واحد. يعرض القالب أدناه الأعمدة؛ والقيم عناصر نائبة، لا نتائج مُقاسة.

مسار الجدول: صارم أو مُطبَّع (يُذكر مرة واحدة لكل جدول، ولا يُخلط).