جعل 5,000 صفحة من الأدلة الهندسية قابلة للعثور عليها: تجربة بحث دلالي لإدارات النقل الولائية (DOT).

نبذة عن العميل

أُنشئ NCHRP في عام 1962 على يد American Association of State Highway and Transportation Officials (AASHTO) كبرنامج بحثي وطني ممول بشكل تعاوني يعالج المشكلات المشتركة بين إدارات النقل في الولايات. ويديره Transportation Research Board، وهو جزء من National Academies of Sciences, Engineering, and Medicine، بالتعاون مع Federal Highway Administration، ويُموَّل من مساهمات كل إدارة نقل ولائية (DOT). وتنشر WSDOT، إحدى الهيئات الولائية الراعية لـ NCHRP، 60 دليلًا مرجعيًا هندسيًا تغطي كل شيء من الهيدروليكا إلى الامتثال البيئي ويعتمد عليها مهندسوها يوميًا.

سياق القطاع

تمتلك إدارات النقل الولائية في أنحاء البلاد مكتبات وثائق تقنية هائلة تراكمت على مدى عقود، مخزنة في الغالب الأعم كملفات PDF ثابتة من دون قابلية للبحث الإلكتروني، وهي مشكلة في سهولة العثور على المعلومات تشاركت فيها WSDOT مع هيئات النقل على مستوى البلاد ولم تكن حكرًا على ولاية واشنطن. وهذه الطبيعة المشتركة هي بالضبط سبب رعاية NCHRP، الممول تعاونيًا من كل إدارات النقل الولائية، لهذا العمل بوصفه بحثًا قابلًا للتعميم لا حلًا لمرة واحدة: فأي إطار ومنهجية يجري تطويرهما يجب أن يكونا قابلَين للتكرار من قبل هيئات النقل الولائية الأخرى التي تواجه التحدي نفسه، لا أن يقتصر استخدامهما على WSDOT وحدها.

الوضع الراهن

اختار NCHRP وWSDOT معًا الأدلة المرجعية الهندسية التي يستخدمها مهندسو الولايات لتخطيط مشاريع البنية التحتية وتنفيذها محورًا للبحث. وكانت أهداف المشروع المشترك تحديد إطار لتصنيف معلومات النقل والبحث فيها واسترجاعها، ووصف الممارسات الناجحة لتنظيم محتوى إدارات النقل وتصنيفه. كما هدف المشروع إلى تطوير إجراءات للبحث المؤسسي والبحث الموحد يمكن لإدارة نقل استخدامها لجعل معلوماتها أكثر سهولة في الوصول، وإعداد نظام تجريبي يعرض مفاهيم سهولة العثور المحسّنة على بيانات إدارة النقل في ولاية ما. وقد اختيرت Iknow وSpy Pond Partners، وهي شركة استشارات إدارية مقرها بوسطن متخصصة في قطاع النقل، لأداء العمل.

• مكتبة تقنية هائلة غير قابلة للبحث. كانت أدلة WSDOT المرجعية الهندسية الستون موجودة فقط كملفات PDF ثابتة من دون بحث إلكتروني، ما أجبر المهندسين على التمرير يدويًا عبر الوثائق لتحديد الإرشادات التقنية الحرجة.
• غياب أي بنية قائمة للتصنيف أو الاسترجاع. لم يكن للمحتوى تصنيف أو أنطولوجيا أو طبقة بيانات وصفية؛ ولم يكن بوسع محرك بحث توجيه المستخدم إلى إجابة دقيقة من دون أن يفهم أولًا موضوع كل قسم من النص فعليًا.
• كان المطلوب حلًا قابلًا للتعميم، لا إصلاحًا لمرة واحدة. فلأن البحث ممول تعاونيًا من كل إدارات النقل الولائية عبر NCHRP، كان على النظام التجريبي أن يثبت إطارًا قابلًا للتكرار يمكن للولايات الأخرى تبنيه، لا مجرد أداة مصممة خصيصًا لـ WSDOT وحدها.
• محتوى عالي التقنية وخاص بالمجال. استخدمت الأدلة التي تغطي الهيدروليكا وإدارة مياه الأمطار والامتثال البيئي وتصميم جوانب الطرق مفردات هندسية دقيقة ومتخصصة لا يفهمها محرك بحث عام أو أداة تصنيف جاهزة بشكل موثوق.

• تحديد إطار لتصنيف معلومات النقل والبحث فيها واسترجاعها.
• وصف الممارسات الناجحة لتنظيم محتوى إدارات النقل وتصنيفه.
• تطوير إجراءات للبحث المؤسسي والبحث الموحد يمكن لإدارة نقل استخدامها لجعل معلومات النقل لديها أسهل وصولًا للمستخدمين.
• إعداد نظام تجريبي لعرض مفاهيم سهولة العثور المحسّنة على بيانات إدارة النقل في ولاية ما.

كيف نظّمت Iknow العمل

طبقت Iknow عملية من أربع خطوات (التحضير والتحليل والوصف والتصنيف) على مجموعة محددة من ثمانية أدلة لـ WSDOT تتضمن محتوى متعلقًا بمياه الأمطار، يزيد مجموعها على 5,000 صفحة من نص لم يكن قابلًا للبحث من قبل.

الأنشطة والقرارات الرئيسية

• التحضير. فككت Iknow الأدلة الثمانية إلى أقسام وأقسام فرعية (ملفات نصية أو HTML أصغر يغطي كل منها موضوعًا واحدًا) حتى يتمكن محرك البحث من توجيه المستخدمين إلى الموضع الصحيح تمامًا في الدليل التقني. ثم أزالت Iknow ثلاثة أنواع من الضوضاء (كلمات التوقف، والنصوص النمطية المتكررة، والعبارات عديمة القيمة المضافة مثل جدول المحتويات) قبل التحليل.
• التحليل. طبقت Iknow التنقيب في النصوص لتحديد وإحصاء الكلمات المفتاحية والعبارات اللازمة لنماذج التصنيف الآلي الدلالي ولمكنز المشروع، وتحليل العناقيد لتجميع البيانات النصية في فئات ذات معنى مفاهيمي يمكن ترتيبها هرميًا للتصفح.
• الوصف. استنادًا إلى نتائج التنقيب في النصوص وتحليل العناقيد، اختارت Iknow ثلاثة أوجه مستقلة للنظام التجريبي: الأصل (مثل العبّارة الأنبوبية)، والقائمة الرئيسية للمخرجات (تسلسل هرمي للعمليات ومجموعات العمل والمعالم والمخرجات)، وأفضل ممارسات الإدارة لإدارة مياه الأمطار ومعالجتها.
• التصنيف. بنت Iknow أنطولوجيا لكل وجه: أنطولوجيا للعبّارات الأنبوبية مستمدة من WSDOT Hydraulics Manual وFHWA Hydraulic Design Series No. 5 وEngineering Publications Thesaurus الخاص بـ WSDOT، بأربعة فروع تغطي الأشكال والأجزاء والمواد ومعالجات الأطراف؛ وأنطولوجيا للقائمة الرئيسية للمخرجات بُنيت مباشرة في محرر Protégé مفتوح المصدر بعلاقات مصطلحات من نوع النوع والتكافؤ؛ وأنطولوجيا لأفضل ممارسات إدارة مياه الأمطار مستمدة من Temporary Erosion and Sediment Control Manual وHighway Runoff Manual لدى WSDOT وStormwater Manual for Western Washington الصادر عن إدارة البيئة في ولاية واشنطن.
• التنفيذ التقني. جمعت Iknow بنية من أفضل الأدوات في فئاتها تجمع بين Drupal (باستخدام وحدة Drupal Books لاستيعاب الأدلة وعرضها مع الحفاظ على بنيتها الأصلية) وApache Solr للبحث وMySQL لتخزين المحتوى. وأُكملت البنية بـ Protégé لتأليف الأنطولوجيات، وApache Jena لمطابقة المحتوى مع الأنطولوجيا وتخزين النتائج كثلاثيات، وGoogle NLP للتجذير اللغوي واستخراج الكيانات، وTaggr، وهو تطبيق مملوك لـ Iknow بُني خصيصًا لتطبيق الوسوم التي حددتها Jena على القسم الصحيح من المحتوى داخل Drupal. وقدّم النظام التجريبي الناتج تصفية متعددة الأوجه حسب الدليل والأصل والمخرج الرئيسي، ونتائج مرتبة حسب الملاءمة مع مقاطع نصية مظللة، وصفحات محتوى كامل حافظت على التنقل عبر جدول المحتويات الأصلي لكل دليل.

أصحاب المصلحة والتعاون

عملت Iknow مقاولًا من الباطن لدى المقاول الرئيسي Spy Pond Partners، فسلّمت مسار عمل النظام التجريبي ضمن مشروع البحث الأوسع المشترك بين NCHRP وWSDOT، تحت إشراف NCHRP وTransportation Research Board.

تعليم محرك بحث فهم لغة هندسية عالية التقنية

أدوات البحث والتصنيف العامة ليست مصممة لتفهم بشكل موثوق مفردات هندسية دقيقة خاصة بالمجال تمتد عبر الهيدروليكا وإدارة مياه الأمطار وتصميم جوانب الطرق. عالجت Iknow ذلك ببناء أنطولوجيات مخصصة للغرض مرتكزة مباشرة على أدلة WSDOT المرجعية الموثوقة نفسها وعلى معايير مياه الأمطار لدى FHWA والولاية، بدلًا من مكنز عام، وبالجمع بين التصنيف الدلالي القائم على القواعد والتصنيف القائم على تعلم الآلة بأسلوب التعلم بالمثال، بحيث يطبق النظام بنية حددها الخبراء مع استمراره في التحسن بالاستخدام.

تجميع خط معالجة موثوق من ست أدوات مستقلة

اعتمد الحل التقني على ست أدوات منفصلة مفتوحة المصدر ومملوكة (Protégé وApache Jena وGoogle NLP وDrupal وApache Solr وMySQL) كان على كل منها تسليم مخرجاتها بسلاسة إلى التالية من دون كسر السلسلة الممتدة من النص الخام إلى المحتوى الموسوم القابل للبحث. عالجت Iknow ذلك بتصميم وتوثيق مخطط صريح للعملية من طرف إلى طرف يربط كل الأدوات، وببناء Taggr خصيصًا لحل الحلقة المفقودة الوحيدة في تلك السلسلة: إعادة تطبيق وسوم البيانات الوصفية التي حددتها Jena على القسم الصحيح بدقة من المحتوى داخل Drupal.

النتائج التشغيلية

• معالجة ثمانية أدلة هندسية لـ WSDOT يزيد مجموعها على 5,000 صفحة من محتوى PDF لم يكن قابلًا للبحث من قبل.
• بناء ثلاثة أوجه تصنيفية مستقلة (الأصل، والقائمة الرئيسية للمخرجات، وأفضل ممارسات الإدارة) وثلاث أنطولوجيات مقابلة مرتكزة على المعايير التقنية لـ WSDOT وFHWA نفسيهما.
• دمج ستة منتجات برمجية متمايزة، مفتوحة المصدر ومملوكة، من بينها تطبيق Taggr الخاص بـ Iknow، في خط معالجة تجريبي عامل واحد.

النتائج الاستراتيجية والتنظيمية

أكد النظام التجريبي أن سهولة العثور على المعلومات يمكن تحسينها بشكل ملموس عبر تحليل المضمون الموضوعي لمجموعة المحتوى، وتطبيق بيانات وصفية دقيقة، وأتمتة التصنيف بمزيج من القواعد الدلالية وتعلم الآلة. وقد قدّم تجربة بحث متعددة الأوجه وقابلة للتصفح ومرتبة حسب الملاءمة حافظت على المنطق التنظيمي الأصلي لكل دليل مع جعل محتواه قابلًا للاكتشاف للمرة الأولى. ولأنه مشروع بحثي لـ NCHRP ممول تعاونيًا، صُمم الإطار الناتج ليكون قابلًا للتعميم ومتاحًا لإدارات النقل الولائية الأخرى التي تواجه التحدي التوثيقي نفسه. ومضى المشروع التجريبي ليوجه جهود WSDOT المستقبلية لتحسين سهولة العثور على محتواها التقني وقابليته للاكتشاف.

المدة حتى تحقق الأثر

سلّمت Iknow تطبيقًا تجريبيًا كامل الوظائف وقابلًا للعرض ضمن المهمة التي استمرت خمسة أشهر، وهو إنجاز سريع لمشروع يشمل تفكيك مجموعة المحتوى وتصميم الأنطولوجيات ودمج ست تقنيات منفصلة في نظام عامل واحد.

المهارات الأساسية

• تحليلات النصوص وتصنيف المحتوى
• تصميم التصنيفات والأنطولوجيات
• تنفيذ البحث المؤسسي
• تطوير برمجيات مخصصة

الأساليب والأطر

• التنقيب في النصوص وتحليل العناقيد
• التصنيف الدلالي القائم على القواعد مقترنًا بالتصنيف بتعلم الآلة بأسلوب التعلم بالمثال
• تصميم البحث والتصفح متعددي الأوجه
• منهجية تفكيك مجموعات المحتوى وتقسيم المحتوى

التقنيات والأدوات

• Protégé (تأليف الأنطولوجيات)
• Apache Jena (مطابقة الأنطولوجيات وتخزين الثلاثيات)
• Google NLP (التجذير اللغوي واستخراج الكيانات)
• Drupal وApache Solr وMySQL (إدارة المحتوى والبحث والتخزين)
• Taggr (تطبيق الوسم الآلي المملوك لـ Iknow)