الفهرس 
ch 1Only 14 pages are availabe for public view
 |  | from | 135 |  |  |
| | | from | 135 | | |
Abstract
أصبح نقل التعلم أحد أبرزالأساليب المستخدمة فى الأدبيات الحالية للتعلم العميق، ففكرته مستوحاة من قدرة الإنسان على نقل المعرفة عبر المهام. فتم الإتجاة إلى نقل التعلم لأن بناء و تدريب شبكات عميقة من البداية ليس خياراً قابلاً للتطبيق عادةً فى الكثير من المهام. حيث يقوم نقل التعلم بضبط شبكات عميقة تم تدريبها مسبقاً باستخدام بيانات واسعة النطاق ليتم إعادة استخدامها فى مهام جديدة لمجالات أخرى، وبذلك يؤدى نقل التعلم إلى تعزيزالأداء حيث أن استخدام شبكات تم تدريبها مسبقاً يقلل من الإحتياج لبيانات تدريب كبيرة كما أنه يٌسرع عملية التدريب. لذلك نهدف فى هذه الرسالة إلى استخدام نقل التعلم من أجل تقديم تحليل ذو كفاءة عالية للحالات التى لا تتوافر فيها بيانات تدريبية كبيرة. ولقد تم تطبيق هذا الإتجاه من أجل التغلب على تحديات اثنين من مهام التعرف الضوئى على الحروف. فالمهمة الأولى هى توفيرنهج تعلم تلقائي بقدرة تعميم عالية للتعرف على الأحرف المكتوبة بأكواد برايل، بينما المهمة الثانية هى تحسين عملية التعلم قليل البيانات فى التعرف على الأحرف المكتوبة بخط اليد. أول ما تم فى هذه الرسالة هو استخدام نماذج نقل التعلم فى التعرف على الأحرف المكتوبة بأكواد برايل. حيث أن التعرف على الأحرف المكتوبة بأكواد برايل خطوة أساسية فى بناء وتصميم تقنيات برايل، كما تظهر أهميتها فى مساعدة الأشخاص المكفوفين وضعاف البصرعلى القراءة والكتابة و التواصل مع الآخرين. فكان التركيزعلى أن يكون النهج المُقدم لإنجازهذه الخطوة ذو دقة وقدرة تعميم عالية. لذلك طبقنا طريقة تعلم المجموعة على نماذج نقل التعلم لتحقيق هذا الغرض. إن التجارب التى أجريت للوصول للنهج المقترح تمت كالآتى : أولاً، تم تحليل أداء 17 نموذجًا مختلفًا لنقل التعلم لثلاث مجموعات بيانات من أكواد برايل. مجموعتان منها عبارة عن بيانات معيارية لأكواد برايل تمثل أحرف اللغة الإنجليزية بينما المجموعة الثالثة عبارة عن مجموعة بيانات جديدة قمنا بجمعها حيث تمثل أكواد برايل لأحرف اللغة العربية.ثانياً، تم استخدام النماذج الأربع التى حققت أعلى أداء فى كل مجموعة لبناء ثلاث مناهج جماعية بناءً على تصويت الأغلبية. كشفت النتائج التجريبية أن تصويت الأغلبية للمجموعة المكونه من النماذج الأربعة التالية : DarkNet53 و GoogleNet و SqueezeNet و DenseNet-201، هي نهج التجميع الفعال والأكثر قابلية للتعميم من المناهج الأخرى. لذلك إقترحنا استخدام هذا النهج فى التعرف على الأحرف المكتوبة بأكواد برايل فقد حقق قيم F1-score وصلت إلى 89.42% و 99.58%و97.11% بقيم خطأ تعميم وصلت إلى 10.47%و 0.43% و3.23% مع كل مجموعة بيانات على الترتيب. بينما ال DarkNet-19 والذى كان النموذج الفردى الأكثر كفاءة فى الأداء للثلاث مجموعات البيانات حقق قيم F1-score وصلت إلى 87.54% و 99.14%و% و94.73 بقيم خطأ تعميم وصلت إلى 12.79%و 0.85% و5.31%. أى أن النهج المقترح قد حقق نتائج أعلى من الDarkNet-19 ومن النماذج الستة عشر الفردية الأخرى. وكان الإتجاة الثانى هو استخدام نماذج نقل التعلم فى دعم التعلم قليل البيانات. و يُقصد بيه الحالات المطلوب فيها بناء نموذج تعلم فى وجود عدد قليل من عينات التدريب، فهو يُعتبرمحاكاةً لقدرة الدماغ البشرية على تعلم فئات كائنات جديدة من حالات قليلة. فالتعلم قليل البيانات مفيدٌ فى بناء نماذج أكثرعمومية بتكاليف أقل ولكن تنفيذ مهامه ليس سهلاً من الناحية العملية وبخاصة عند استخدام شبكات التعلم العميق. حيث إن عينات التدريب القليلة لن تكون كافية لبناء شبكة عميقة من البداية. فبناء شبكات عميقة من البداية وتدريبها وضبط متغيراتها يستلزم وجود أعداد كبيرة من عينات التدريب. بالإضافة إلى ذلك،هناك عامل آخريتحكم فى أداء الشبكات العميقة وهوأن عينات التدريب والإختبارلابد أن تكون من نفس الوسط. أى أن الشبكات العميقة سيكون إدائها ضعيف وغير مميز اذا تم اختبارها بعينات تنتمى لفئات لم تصادفها من قبل في مرحلة التدريب و تسمى هذه الحالة بالتعلم من الصفر. إن استخدام نماذج نقل التعلم فى مهام التعلم قليل البيانات طريقة مقبولة لمواجهة التحدى المتمثل فى عدم إمكانية بناء شبكات عميقة جديدة لهذه المهام. ولكن عملياً فإن تطبيق هذه الطريقة فى المهام قليلة البيانات الخاصة بالتعرف على الأحرف المكتوبة بخط اليد تتسبب فى مشكلة فرط التخصيص. و ذلك لأن أساليب الكتابة اليدوية تختلف من فرد إلى آخر حتى الكتابة الخاصة بالفرد الواحد احياناً تختلف بإختلاف الظروف التى يكتب فيها. فهذه الحالة تؤدى إلى إلزامية تمثيل التغييرات التى تحدث فى الكتابة أمام الشبكة أثناء مرحلة التدريب. وبالتإلى فإن العينات القليلة المكتوبة بخط اليد لن تكون كافية لعمل ضبط صحيح لمتغيرات نماذج نقل التعلم لكى تلائم المهمه الجديدة بكفاءة وهذا يؤدى إلى أن هذه النماذج تتسبب فى تحقيق خطأ تعميم كبير فى مرحلة الإختبار. إن تطبيق تقنية زيادة البيانات يُعتبر حلاً فعالاً لهذه المشكلة فبها يتم تزويد عدد عينات التدريب وحل مشكلة فرط التخصص. و لهذا قدمنا هيكلاً معتمداً على النمذجة التوليدية لزيادة عدد عينات التدريب عند استخدام نماذج نقل التعلم فى المهام قليلة البيانات الخاصة بالتعرف على الأحرف المكتوبة بخط اليد. فالهيكل المقترح يرجح استخدام شبكة ال CGAN فى توليد عينات اصطناعية يتم إضافتها إلى عينات التدريب القليلة الموجودة واستخدامهما جميعاً فى عمل تدريب لنماذج نقل التعلم. و قم تم تقييم الهيكل المقترح فى تدريب ثلاثة نماذج لنقل التعلم وهما ال AlexNet وVGG-16 و GoogleNet على أربع مجموعات بيانات تنتمى لحزمة ال Omniglot . ومن ثم مقارنته بحالات تدريب أخرى. لكن النتائج أثبتت أن تدريب نماذج نقل التعلم باستخدام الهيكل المقترح حقق أعلى F1-score وأقل خطأ تعميم و أيضاً ساعد فى تحقيق ضبط دقيق للنماذج فى وقت أقل. بجانب تطبيق تقنية زيادة البيانات مع نماذج نقل التعلم لتحسين عملية التعلم قليل البيانات فإن الشبكات السيامية تُستخدم أيضاً بشكل واسع لدعم التعلم قليل البيانات والتعلم من الصفر فى العديد من مهام التعرف على الأشياء. لكن البنية التقليدية للشبكات السيامية قائمة على بناء شبكتى متجانستين من شبكات ال CNN، فعملية بناء الشبكة السيامية تتم من البداية و باستخدام متغيرات عشوائية ثم بعد ذلك يتم تدريبها باستخدام دالة فقد. لكن هذه البنية التقليدية تُعد عملية مٌستهلكه للوقت و قائمة على التجربة والخطأ. لتفادى مشاكل البنية التقليدية للشبكات السيامية فى دعم التعلم قليل البيانات والتعلم من الصفر في التعرف على الأحرف المكتوبة بخط اليد، نقترح تطبيق نقل التعلم واستخدام أحد شبكات ال CNNs التى تم تدريبها مسبقاً فى بناء شبكة سيامية جديدة. فشبكة نقل التعلم التى تم استخدامها فى بناء الشبكة المقترحة هى ال AlexNet. ولضمان كفاءة الشبكة المقترحة فإستخدمنا دالة ال contrastive loss فى تدريب الشبكة وذلك بدلاً من استخدام الدالة التقليدية فى تدريب الشبكات السيامية وهى ال binary cross-entropy والتى أظهرت بعض الدراسات أنها تعانى من مشكلة الهوامش الضعيفة فى تعليم الشبكة. فال contrastive loss يعمل على تقليل المسافة بين عينات نفس الفئة وتكبيرها بين عينات الفئات المختلفة وهذا يساعد الشبكة على أن تكون مُدربة جيدًا بدرجة تجعلها قادرة على اكتساب قدرة التعميم. و قد تم تقييم أداء الشبكة السيامية المقترحة من خلال إجراء تجربتين على مجموعات بيانات تُسمى chars74K، فالتجربة الأولى لإختبارأداء الشبكة المقترحة في التعلم قليل اللقطات بينما التجربة الثانية لإختبارأدائها في التعلم من الصفر. و قد حققت هذه الشبكة دقة تعرف وصلت إلى 85.6٪ فى التجربة الأولى و 82٪ في التجربة الثانية. بالإضافة إلى ذلك، أجرينا مقارنة بين أداء الشبكة السيامية المقترحة والشبكات السيامية التقليدية ونتائج المقارنة أظهرت أن الشبكة المقترحة حققت نتائج تعرف أعلى في وقت أقل، فالشبكة المقترحة أدت إلى تقليل وقت التدريب من أيام إلى ساعات في كلا التجربتين.