تطبيق معالجة اللغة الطبيعية ومجموعات قواعد مخصصة لتحويل بيانات التوظيف غير المهيكلة إلى تقارير اتجاهات.

نبذة عن العميل

الشركة M واحدة من أبرز شركات الأبحاث والاستشارات المستقلة في مجالي التقنية والأعمال في العالم، وتُعرف بتحليلاتها المحايدة تجاه الموردين.

سياق القطاع

بحلول عامي 2007 و2008، أصبح ذكاء الأعمال واحدة من أسرع الفئات نموًا في تقنية المعلومات المؤسسية، ما دفع الطلب المتزايد على أدوار BI متخصصة كانت مصادر بيانات سوق العمل التقليدية بطيئة غالبًا في رصدها. وكانت لوحات الوظائف الإلكترونية قد بدأت تراكم كميات كبيرة من بيانات التوظيف الآنية، متيحةً نافذة أكثر حداثة بكثير على سوق عمل ناشئة مقارنة بالأبحاث القائمة على الاستبيانات، غير أن تلك البيانات كانت تقبع بالكامل في نصوص حرة غير مهيكلة، غير مرئية للتحليل الكمي التقليدي من دون معالجة اللغة الطبيعية. وبالنسبة إلى شركة أبحاث مثل الشركة M، المعروفة بمتابعتها الدقيقة لتبني التقنيات المؤسسية، أتاح التنقيب في نصوص إعلانات الوظائف الفعلية طريقة أكثر استنادًا إلى الأدلة لإعداد التقارير عن وجهة سوق مواهب BI، بدلًا من الاعتماد على الاستبيانات أو حكم المحللين وحده.

الوضع الحالي

أرادت الشركة M تحليل إعلانات الوظائف في مجال BI على مدى عامين لتتمكن من إعداد تقارير عن الاتجاهات ذات الصلة، لكن نظرًا لأن المعلومات المطلوبة كانت مدفونة داخل نصوص الإعلانات، كانت أدوات متقدمة لمعالجة اللغة الطبيعية ضرورية لاستخراج البيانات. قدمت Indeed أكثر من 8,000 إعلان وظيفة تتضمن أيًا من ثماني عبارات مرتبطة بذكاء الأعمال في المسمى الوظيفي، موزعة بالتساوي تقريبًا بين يونيو 2007 ويونيو 2008، واستعانت الشركة M بشركة Iknow للتنقيب في البيانات وتنقيتها وتحليلها.

• بيانات مطلوبة حبيسة نصوص غير مهيكلة. لم تكن بيانات سوق عمل BI التي احتاجتها الشركة M موجودة إلا كنص حر غير مهيكل مدفون في أكثر من 8,000 إعلان وظيفة، غير مرئية للتحليل الكمي التقليدي.
• بيانات مصدرية غير متسقة وناقصة وغير ذات صلة. تفاوتت إعلانات الوظائف تفاوتًا كبيرًا في الشكل والاكتمال: أسماء شركات غير متسقة، وبيانات مفقودة، وإعلانات لا صلة لها بذكاء الأعمال مختلطة بالإعلانات ذات الصلة فعلًا.
• صيغ شديدة التباين للبيانات الأساسية نفسها. ظهر كل نوع من أنواع البيانات المطلوبة بصيغ ووحدات متعددة داخل النص الحر، مثل أرقام إيرادات بخمس عملات مختلفة ومعلومات رواتب معروضة بشكل غير متسق.
• لا مسار من الاستخراج الخام إلى تحليل قابل للنشر. احتاجت الشركة M إلى تنقية البيانات المستخرجة وتوحيدها وترجمتها إلى رسوم بيانية جاهزة للمديرين التنفيذيين، لا إلى مجرد استخراج خام.

• استخراج البيانات الجغرافية والقطاعية وبيانات الموردين والرواتب والمهارات والاتجاهات الزمنية من أكثر من 8,000 إعلان وظيفة BI غير مهيكل.
• تنقية النتائج المستخرجة وتوحيدها في مجموعة بيانات متسقة وقابلة للتحليل.
• تحليل المعلومات الناتجة وعرضها في مجموعة من الرسوم البيانية الواضحة تغطي أبعادًا متعددة لسوق وظائف BI.
• مقارنة اتجاهات التوظيف بين يونيو 2007 ويونيو 2008 لإبراز التغيرات السنوية ذات الدلالة.

كيف نظّمت Iknow العمل

نظّمت Iknow المشروع كخط عمل من أربع خطوات تُنفَّذ تباعًا (المعالجة الأولية، واستخراج الكيانات، والمعالجة اللاحقة، وإنشاء الرسوم البيانية)، بما يعكس منهجية Iknow في التصنيف الآلي للمحتوى لتحويل حجم كبير من النصوص غير المهيكلة إلى تحليل نظيف وجاهز لاتخاذ القرار.

الأنشطة والقرارات الرئيسية

• المعالجة الأولية. حوّلت Iknow ملفات الإدخال بصيغة XML إلى جداول بيانات Excel، وحذفت أوصاف الوظائف الدخيلة غير المرتبطة بذكاء الأعمال، ووحّدت أسماء الشركات غير المتسقة، وصححت يدويًا البيانات المفقودة أو الخاطئة متى أمكن تحديدها من نص الإعلان، كما عرّفت حقلين جديدين للقطاع (رمز NAICS) وفئة الوظيفة عبر السجلات التي تتجاوز 8,000 سجل.
• استخراج الكيانات. باستخدام برنامج SAP BusinessObjects Text Analysis، نفّذت Iknow عملية استخراج تكرارية، فبنت فهارس أسماء مخصصة لموردي BI ومنتجاتهم وأدواتهم وللمهارات، إلى جانب مجموعات قواعد لاستخراج إيرادات الشركات (بخمس عملات وصيغ رقمية متعددة) ومعلومات الرواتب، بما في ذلك النطاقات وأجور المتعاقدين.
• مجموعات قواعد المصطلحات. بنت Iknow أيضًا مجموعات قواعد لتحديد مصطلحات البيانات المهيكلة، مثل متغيرات SQL وOLAP، ومصطلحات البيانات غير المهيكلة، مثل التنقيب في النصوص واستخراج الكيانات.
• المعالجة اللاحقة والتوحيد. رحّلت Iknow البيانات المنقّاة إلى قاعدة بيانات Microsoft SQL Server، وبنت عمليات ربط وعروضًا لتوليد تقسيمات مختلفة للبيانات، وأزالت الاستخراجات المكررة، وحوّلت جميع الإيرادات إلى الدولار الأمريكي، وحوّلت نطاقات الرواتب إلى قيم متوسطة.
• إنشاء لوحات المعلومات والرسوم البيانية. استخدمت Iknow جداول البيانات الناتجة لبناء عدة مشاريع Xcelsius، منشئةً لوحات معلومات تعرض النتائج بحسب الجغرافيا والقطاع وأبرز الشركات الموظِّفة والإيرادات والرواتب وموردي BI وفئات الوظائف والمهارات.

أصحاب المصلحة والتعاون

عملت Iknow كمقاول رئيسي، بالتعاون المباشر مع الشركة M لتسليم المخرجات الكاملة لاستخراج البيانات وتنقيتها وعرضها المرئي اللازمة لدعم تقرير الاتجاهات الذي تنشره الشركة M بنفسها.

توحيد بيانات شديدة التضارب بحجم يتجاوز 8,000 سجل

تفاوتت إعلانات الوظائف ذات النص الحر تفاوتًا هائلًا في تسمية الشركات والاكتمال والصلة بالموضوع، وكان إجراء هذا التنظيف يدويًا على هذا النطاق مهددًا بأن يكون بطيئًا وغير متسق في آن واحد. عالجت Iknow ذلك ببناء خطوة معالجة أولية منضبطة (إزالة الإعلانات الدخيلة، وتوحيد أسماء الشركات، وإصلاح البيانات المفقودة أو الخاطئة) قبل بدء أي استخراج آلي، بما يضمن أن تعمل خطوة استخراج الكيانات على أساس نظيف ومتسق.

استخراج كيانات ذات دلالة من دون الاعتماد على البرمجيات العامة وحدها

لم تكن برمجيات تحليل النصوص الجاهزة مصممة للتعرف على موردي BI ومنتجاته ومهاراته، ولا على الصيغ العديدة المختلفة المستخدمة للتعبير عن الإيرادات والرواتب في النص الحر. عالجت Iknow ذلك ببناء فهارس أسماء ومجموعات قواعد مخصصة مصممة تحديدًا للمفردات والصيغ الواردة في هذه الإعلانات، وصُقلت عبر عملية استخراج تكرارية بدلًا من قبول النتائج الافتراضية للبرنامج.

النتائج الكمية

• حجم البيانات المصدرية: أكثر من 8,000 إعلان وظيفة جرى تحليلها، تغطي يونيو 2007 ويونيو 2008.
• نطاق توحيد البيانات: بيانات وُحّدت عبر خمس عملات وصيغ متعددة للإيرادات والرواتب.
• فئات لوحات المعلومات المسلّمة: لوحات معلومات Xcelsius سُلّمت عبر ثمانية أبعاد: الجغرافيا والقطاع والشركات والإيرادات والرواتب وموردو BI وفئات الوظائف والمهارات.
• المخرجات المنتَجة: المخرجات النهائية: جدولا بيانات كاملان للبيانات المصدرية و29 جدول بيانات موجزًا و9 ملفات PowerPoint موجزة تضم الرسوم البيانية.
• مدة المشروع: مهمة استمرت ثلاثة أشهر.

النتائج النوعية

حللت Iknow أوصاف الوظائف وأنشأت المخرجات التي احتاجتها الشركة M لإعداد تقريرها، وهو دليل مباشر على أن مخرجات المشروع كانت ملائمة لأغراض النشر اللاحقة لدى الشركة M نفسها. وبالجمع بين معالجة أولية صارمة واستخراج كيانات مخصص ومعالجة لاحقة علائقية ولوحات معلومات جاهزة للمديرين التنفيذيين، حوّلت Iknow كتلة كبيرة ومضطربة من النصوص غير المهيكلة إلى مجموعة بيانات نظيفة ومتعددة الأبعاد وجاهزة لاتخاذ القرار، بما منح الشركة M قاعدة أدلة لإعداد تقارير اتجاهات سوق عمل BI مستندة إلى بيانات إعلانات وظائف حقيقية لا إلى إجابات الاستبيانات وحدها.

الوقت حتى تحقق الأثر

خلال المشروع الذي استمر ثلاثة أشهر، سلّمت Iknow مجموعة البيانات الكاملة وجداول البيانات الموجزة ومخرجات الرسوم البيانية الجاهزة للوحات المعلومات، موفرةً للشركة M كل ما تحتاجه لبدء إعداد تقريرها عن الاتجاهات.

المهارات الأساسية

• التنقيب في النصوص ومعالجة اللغة الطبيعية
• استخراج البيانات وتنقيتها وتوحيدها
• ذكاء الأعمال وعرض البيانات المرئي
• تطوير قواعد مخصصة لاستخراج الكيانات

الأساليب والأطر

• خط عمل مهيكل للتنقيب في النصوص من أربع خطوات (المعالجة الأولية، والاستخراج، والمعالجة اللاحقة، والعرض المرئي)
• صقل تكراري للقواعد
• تقسيم البيانات المستند إلى قواعد البيانات العلائقية

التقنيات والأدوات

• SAP BusinessObjects Text Analysis؛ وXcelsius (SAP Dashboards)
• Microsoft SQL Server؛ وMicrosoft Excel