شكر خاص للأستاذ محمد النجار فهو من فرغ المحاضرات الخاصة بالدورة من الفيديو الى دروس مكتوبة. جزاه الله خيرا.

الدرس الاول  : مقدمة  Introduction

البيج داتا في الاساس عبارة عن مجال يهتم بعملة تحليل ومعالجة وتخزين البيانات في المجاميع الكبيرة للبيانات حتى نصل الى النتائج .

تاتي البيانات الضخمة من مصادر بيانات مختلفة وتتكون من مجموعة كبيرة جدا من البيانات الكبيرة بشكل غير معتاد تكون لدينا مشكلة في تخزينها ومعالجتها وتحليلها لذا قام هذا المجال بتحليل ومعالجة تلك البينات الضخمة

فنحن نلجا للحلول والعمليات الخاصة بالبيج داتا عندما لا تستطيع الحلول العادية على انجاز المهمة المطلوبة لذا ننتقل الى الحلول الخاصة بالبيج داتا

على سبيل المثال :

اي فرد لديه قاعدة بيانات ( DATA Base ) عادية تم انشائها بواسطة لغة معينة ( ايا كانت تلك اللغة ) وعند تحليل وتخزين البنات داخل تلك القاعدة لم تستطع الطرق التقليدية القيام بحل المشاكل التي قابلتها بشكل فعال وفي الوقت المطلوب هنا نلجا للحل الجديد والبيج داتا.

حيث تقوم البيج داتا بدراسة متطلبات بارزة او واضحة مثل دمج مجموعة جامعات او موظفين او فروع كل هذا يتطلب الدمج لتنتج كمية ضخمة من البيانات الغير مهيكلة .

تحليل مجموعة بيانات من البينات الضخمة  the analysis of big data dataset   

هي خليط من المهارات الرياضية والاحصائية مع بعض علوم الحاسب الآلي وبعض الخبرات الخاص بالمجال الذي تعمل عليه .

هذا الخليط الناتج من الخبرات والمهارات يمكن ان يجعل في استطاعتك تصنيف الموضوع من وجه نظرك كان تقوم مثلا بعمل التحليلات اللازمة من خلال الطرق الرياضية او الطرق الاحصائية او من خلال دمج علوم الحاسب

والبينات اللازمة للتحليل غالبا ما تجمع من برامج او من خلال حساسات ( مثل مقاييس الحرارة ) او من مصادر بيانات خارجية مختلفة مثل الانترنت او المواقع الاخرى.

اذن هذا الموضوع يمكن ان يعطينا نتائج مهمة جدا او يساعدنا في مجالات كثيرة جدا ولها فوائد كبيرة

 وعلى سبيل المثال :

1-    ذكاء الاعمال او متخذي القرار

2-    ايجاد اسواق جديدة وناجحة

3-    الوصول لدقة كبيرة في التوقع

4-    كشف الغش في العمليات المحاسبية

5-    تحسين عملية اتخاذ القرار

6-    الوصول لمستوى اداء عال جدا جدا في المنظمات

7-    الاستكشافات العلمية 

 =======================

جميع حقوق نقل المعلومات مسموح بها لوجه الله.

ولكن يرجى الإشارة لأسم الموقع فقط.

ولا تنسونا من صالح الدعاء بظهر الغيب

الدرس الثاني : Datasets

 هي عبارة عن مجموعة من البيانات لها علاقة ببعضها وكل مجموعة تكون متفقة مع المجاميع الاخرى التي حولها من حيث الخصائص ولكن تظهر المشكلة عند اختلاف هذه الخصائص بين المجاميع.

امثلة على dataset  :

-         تخزين مجموعة من التويتات في ملف

-         سجلات كبيرة جدا من قاعدة بينات وتم تخزينها في ملف ( csv )

-         بينات درجات الحرارة خلال فترة معينة من الزمن تم تخزينها في ملف xml

ومن هنا يمكننا استنتاج ان مجاميع البيانات يمكن لها ان تاخذ اكثر من صيغة 

جميع حقوق نقل المعلومات مسموح بها لوجه الله.

ولكن يرجى الإشارة لأسم الموقع فقط.

ولا تنسونا من صالح الدعاء بظهر الغيب

الدرس الثالث : تحليل البيانات

الغرض من تحليل البيانات هو اختبار هذه البيانات للوصول الى الحقائق او العلاقات او الانماط او الإحصائيات او نرى توجه عام.

وذلك من اجل الوصول لقرار افضل وتحسين عملية دعم القرارات

مثال بسيط جدا

اذا قام احد المحال بربط كمية المبيعات الخاصة به من الايس كريم  بدرجات الحرارة خلال تلك الايام كي يصل الى اتخاذ القرار الصحيح بعدد قطع الايس كريم التي يمكن توقع بيعها بناء على درجة الحرارة خلال هذا اليوم 

 =======================

جميع حقوق نقل المعلومات مسموح بها لوجه الله.

ولكن يرجى الإشارة لأسم الموقع فقط.

ولا تنسونا من صالح الدعاء بظهر الغيب

الدرس الرابع : الاحصائيات  Data Analytics

 هي طريقة لادارة كامل البيانات بما تتضمنه من عملية التجميع لتلك البيانات وتطهيرها من المشاكل المصاحبة لها وتقسيمها وتنظيمها وتخزينها وتحليلها

وفي البيانات الضخمة هناك طرق تسمح لنا بعمل تحليل لاي شيء حدث من خلال استخدامنا لتكنولوجيا قابلة للتطور والزيادة والنقصان والقدرة على تحليل حجم البينات الضخمة واتمام العمليات الاساسية كلها

في دورة حياة البيانات نستطيع تحديد البيانات من الاساس وجلب البيانات وتجهيزها وتحليل القواعد الضخمة سواء كانت منظمة او غير منظمة واستخراج معلومات مفيدة يمكن استخدامها في اطار اخر كتحسين دخل المؤسسة او تحسين مستوى البيانات كي نعمل بدون مشاكل ونستطيع بالتالي الوصول الى معلومات اكثر دقة من خلال معالجة بينات ضخمة جدا .

وهناك اربع انواع اساسية لاحصائيات البيانات :

1-    descriptive  ومهمتها وصف ما حدث

2-    diagnostic  تفصيل الاحداث وما ادى للوصول الى هذا المستوى

3-    predictive توقع اي شيء ممكن ان يحدث في المستقبل

4-    prescriptive ترجيح حدث معين بناء على توقعاتك السابقة 

 =======================

جميع حقوق نقل المعلومات مسموح بها لوجه الله.

ولكن يرجى الإشارة لأسم الموقع فقط.

ولا تنسونا من صالح الدعاء بظهر الغيب

الدرس الحادي عشر  :

ما هي الدوافع التي تجعل اي عمل يتحول لاستخدام ادوات البيج داتا

Business using technology

الاعمال التي تعتمد على التكنولوجيا تاخذ الاطر نفسها التي تاخذها التكنولوجيا المستخدمة عند تطورها وتحديثها . وفي اغلب الاحيان تكون التكنولوجيا مستخدمة في كافة نواحي العمل كما ان البيانات تاخذ مسارات محددة حسب التدرج الوظيفي من الموظف للمدير او بالعكس ولكن في المنظمات الكبري قد تاتي البينات من مصادر خارجية وتلك المصادر لا يمكن التحكم بها وبدرجة التقدم التكنولجي الخاص بها مما يجعلها سبب اساسي في التحول لمنهجية ادوات البيج داتا.

Market place dynamics

اخر 18 عام كان هناك نقلتان مهمتان في سوق الاوراق المالية اولهما في عام 2000 حيث حدثت انطلاقة في سوق الاوراق المالية وثانيهما في عام 2008 حيث الانخفاض الكبير الذي حدث في سوق الاوراق المالية والبترول وهاذان الحدثان ادي الى اهتمام الشركات بالتحسين في الكفائة والفاعلية للوصول الى ارباح جيدة مع تقليل التكلفة . حيث ان الحذر في المصروفات الذي كان سائدا من قبل العلاء في تلك الفترة ادي الى جعل الشركات تتبنى نهج تقليل المصروفات والبحث عن عملاء جدد مع المحافظة على العملاء الحاليين مما اضطر الشركات الى تقديم سلع وخدمات جديدة منخفضة التكاليف مع العمل على مراقبة النتائج وتحليلها وتحديد المنافسين وكيفية التعامل معهم.

 =======================

جميع حقوق نقل المعلومات مسموح بها لوجه الله.

ولكن يرجى الإشارة لأسم الموقع فقط.

ولا تنسونا من صالح الدعاء بظهر الغيب

الدرس الثاني عشر :

DIKW ( Data – Information – Knowledge – Wisdom ) pyramid

البناء الهرمي للبيانات والمعلومات والمعرفة والحكمة

البيانات عبارة عن مجموعة من الحقائق التي تسجل عن احداث موجودة ، لتنتقل بعد ذلك الى معلومة جديدة مفيدة ، وعند تحسين المعلومة وتزويدها بالخبرات والاحصائات تتحول الى معرفة ، وعند وجود مجموعة من الخبرات ذات الجودة المرتفعة والتي تؤدي الى الوصول الى القرار السليم نصل بالمعلومة الى درجة الحكمة . اذن الحكمة هي القدرة على الوصول الى القرار السليم وبالشكل السليم واستثمار المعلومة بشكل صحيح . مثال على ذلك العمليات التشغيلية والتي تستخدم مجموعة من القياسات للوصول الى معرفة كيفية حدوث شيء معين في مجال عملك يلي ذلك معرفة الطرق الممكنة المتبعة  لحدوث ذلك الحدث  مما يؤدي بدوره لمساعدتنا في وضع استراتيجيات عمل من اجل تصحيح او تحسين النتيجة وبالتلي يتبقى المرحلة الاخيرة وهي مرحلة اتخاذ القرار وتنفيذ افضل تلك الاستراتيجيات المتاحة واكثرا ملائمة ومناسبة لظروف العمل .

 =======================

جميع حقوق نقل المعلومات مسموح بها لوجه الله.

ولكن يرجى الإشارة لأسم الموقع فقط.

ولا تنسونا من صالح الدعاء بظهر الغيب

الدرس الثالث عشر

Business process management

هي ادارة عمليات النشاط حسب خطة معينة نسير عليها كي نصل الى الاهداف المطلوبة وهو عبارة عن وصف لكيفية اداء الاعمال داخل الشركة . وتبدا دورة هذه الخطة من مرحلة التحليل حيث نقوم بتحليل التقارير الواردة وتحسين عمليات العمل يلي ذلك ايجاد تصميم للعمليات ثم يلي ذلك تنفيذ خطة العمل ويلي ذلك عمخلية التنظيم والترتيب وتوزيع المهام وبالتلي ستصدر مجموعة من التقارير والتي سيجري لها عملية تحليل مرة اخرى وتعاد الدورة مرة ثانية وهكذا. 

تطور نظم المعلومات

ادى التطور السريع في نظم المعلومات الى تسريع الانتقال الى مفاهيم البيج داتا في الانشطة المختلفة وذلك عن طريق اتباع سبعة خطوات 

Data  analytics and data  science

حيث ياتي دور الدراسات والاحصائات الجديدة في المساعدة والتاثير على رفع مستوى اداء العمل وكفائته وفاعليته والذي يؤثر بدوره في العمليات المتعلقة بالإدارة وكيفية الوصول الى القرارات التي من شانها رفع مستوى الشركة في السوق

Digitization

Affordable Technology and Commodity Hardware

اصبحت تكلفة الحصول على التكنولوجيا والمواد الصلبة الخاصة بها رخيصة مقارنة بالفترات الماضية واصبح الاستثمار في تخزين البينات غير مكلف فقد انخفضت سعر تخزين الجيجا بايت من 10 الاف دولار وحتى 0.1 دولار في 2010 .

كل العوامل السابقة ادت لتبني هيكلية البيج داتا داخل الشركات والمؤسسات الكبرى . 

 =======================

جميع حقوق نقل المعلومات مسموح بها لوجه الله.

ولكن يرجى الإشارة لأسم الموقع فقط.

ولا تنسونا من صالح الدعاء بظهر الغيب

الدرس الخامس : أربع انواع لاحصاء البيانات

descriptive analytics

وهو محاولة الاجابة عن مجموعة من الاسئلة عن احداث حصلت بالفعل مثل :

أ‌-       ما هو حجم المبيعات خلال 12 شهر

ب‌-   كم مكالمة بها عنف ومن اي المناطق

ت‌-   ما هي العمولة الشهرية التي حصل عليها كل مندوب

اي انها العمليات التي تحدث وقتيه في السيستم الموجود بالشركة وينتج عنها تقارير او احصائات .

Diagnostic analytics

يوجد به تحليل واستكشاف اكثر ويركز على ظاهرة حدثت وسبب حدوثها حتى يستطيع الاجابة على السؤال لماذا حدثت مع محاولته لفهم سبب حدوثها .مثال :

أ‌-       لماذا قلت مبيعات الربع سنة الحالية عن السابقة

ب‌-   لماذا لدينا مكالمات من منطقة ما اكثر من الاخرى.

Predictive Analytics

وهو توقع حدث ما في المستقبل بناء على اساسيات موجودة ونماذج حدثت من قبل مثل :

أ‌-       ما هي احتمالات ان لا يقوم العميل بسداد اقساط القرض .

ب‌-   ما هو معدل بقاء المريض على قيد الحياة اذا استبدلنا الدواء باخر

ت‌-   اذا اشترى العميل منتج س و ص فما هو احتمال شراؤه للمنتج ع ايضا 

Prescriptive analytics

بناء على النتائج التي تم توقعها في المستقبل يمكن ان نرى ما يمكننا فعله حتى نصل الى النتائج التي تم توقعها في المستقبل مثل :

أ‌-       من خلال ثلاث ادوية ايهم انسب للمريض

ب‌-   الوقت المناسب لاخراج سلعة ما الى السوق

كلما انتقلنا من نوع لاخر يكون اكثر تعقيدا واكبر قيمة .

الدرس السادس : ذكاء الاعمال

Business intelligence

وهي تسمح للمنظمات ان تتابع الاداء وتضع تحليلات خاصة بها للعمل الذي يخصها حتى تتمكن من الارتقاء بمستوى ادائها  

 =======================

جميع حقوق نقل المعلومات مسموح بها لوجه الله.

ولكن يرجى الإشارة لأسم الموقع فقط.

ولا تنسونا من صالح الدعاء بظهر الغيب

الدرس السابع Key performance indicators (KPI)

المعادلات او المفاتيح التي تقيس مستوى الاداء او مدى نجاح سياق معين من الاعمال مرتبطة بالاهداف الاستراتيجية للمؤسسة  وكذلك الهداف العادية المراد تحقيقها . لذا يجب تحديد المشكلة المراد قياسها بالظبط عن طريق القياس المحدد للهدف المراد الوصول اليه .مثلا

الوصول الى عدد 1000 طالب ليس الوصول لعدد كبير ن الطلاب دون تحديد قيمة الكبير هذا .

خطوات عملية القياس

1-    تحديد ما يمكن قياسه

2-    تحديد كيفية عرض النتيجة

3-    تقييم الاهداف وهل هي على نفس السياق ام لا

4-    تغير بعض الاساليب للارتقاء بمستوى العمل والوصول للهف المطلوب

5-    تحسين الاهداف من خلال القرارات حتى تزيد ويمكن تغيير التوجه

 =======================

جميع حقوق نقل المعلومات مسموح بها لوجه الله.

ولكن يرجى الإشارة لأسم الموقع فقط.

ولا تنسونا من صالح الدعاء بظهر الغيب

الوضوعات التي سيتم تناولها خلال هذا الفصل

1-    المتطلبات الواجب توفرها من قبل الشركة  Organization  Prerequisites

2-    كيفية الوصول للبيانات  Data  Procurement

3-    الامان والسرية  Privacy  &  Security

4-     الحفاظ على  مصادر البينات Provenance

5-    دعم العمليات  Real-time  Support  &  Performance

6-    اطار للحوكمة والمنهجيات المرنة  Governance  Framework And  Distinct  Methodology

7-    دورة حياة تحليلات البيانات الكبيرة Big  Data  Analytics  Lifecycle

هناك العديد من الاعتبارات التي يجب وضعها في الحسبان عند التفكير في التحول الى البيانات الضخمة فيمكن من الشركة ان تكون في حاجة الى تطوير الموظفين وتدريبهم على كيفية التعامل مع البيانات الضخمة او ان تلجا الى تعيين موظفين جدد لديهم الخبرة في التعامل مع تلك البيانات  وذلك في حالة ان متطلبات الشركة اصبحت في حاجة الى التعامل مع البيانات الضخمة 

 =======================

جميع حقوق نقل المعلومات مسموح بها لوجه الله.

ولكن يرجى الإشارة لأسم الموقع فقط.

ولا تنسونا من صالح الدعاء بظهر الغيب

الدرس التاسع عشر : المتطلبات الواجب توفرها من قبل الشركة  Organization  Prerequisites

اي بيانات قديمة او تالفة او غير قيمة ستؤدي الى مخرجات عديمة القيمة لذا يجب اولا تحسين مصادر البيانات المستخدمة قبل التوجه الى تطبيق مناهج البيانات الضخمة .

كذلك يتطلب التخطيط الجيد قبل التطبيق من اجل ان يستمر التطبيق مده طويلة كما يجب في التخطيط ان يغطي كذلك اساليب التوسع وكيفية التحكم في الحجم الضخم من البيانات وتحليلها .

كيفية الوصول للبيانات  Data  Procurement

قد نستطيع توفير تكاليف كثيرة وان نجعل مشروعنا ذو تكلفة اقتصادية وذلك لتعدد البرامج مفتوحة المصدر وبيئات العمل المجانية وكذلك انخفاذ اسعار مكونات الحاسب الالي ووسائط التخزين وعلى الرغم من ذلك مازالت المشروعات في حاجة الى ميزانية لادارة تلك العمليات ومن اهم الميزانيات التي يجب وضعها هي مصادر البيانات وكيفية الحصول عليها وثمنها نظرا لتعدد مصادر البيانات مثل :

أ‌-       مصادر حكومية : معظمها متاح بصفة مجانية

ب‌-  مصادر خاصة : غالبا مايكون غير مجاني

وقد يكون الثمن المدفوع للحصول على هذه البيانات ثمن مستمر الدفع مثل الاشتراكات الخاصة بامازون او المواقع الاجتماعية من اجل ضمان الحصول على احدث البيانات .

1-    حديثة Current

2-    صحيحة Correct

3-     متناسقة Consistent

4-    كاملة Complete

5-    متصلة Connected

6-     يمكن التحكم بها Control

7-    قانونية Compliance

 =======================

جميع حقوق نقل المعلومات مسموح بها لوجه الله.

ولكن يرجى الإشارة لأسم الموقع فقط.

ولا تنسونا من صالح الدعاء بظهر الغيب

الدرس العشرون : الامان والسرية  Privacy  &  Security

قد يحدث اثناء معالجة البيانات ان يتم الكشف عن بعض البيانات الشخصية او البيانات العامة السرية سواء كان متعمد او غير متعمد ولكي يتم الحفاظ على سرية وامن البيانات يجب اولا فهم طبيعة البيانات المطلوب معالجتها واذا كانت تحتوي على بيانات سرية فيجب ان نأمن طرق تحليلها بحيث نحافظ على سريتها وذلك عن طريق خطوتين :

أ‌-       Authentication  

التاكد من امان الشبكة وانها مؤمنة جيدا من جميع الاطراف وتصلح لانتقال البيانات فيما بينها والتاكد من ان المستخدمين مصرح لهم بدخول الشبكة

ب‌-  Authorization

صلاحية كل مستخدم وما هو المسموح له من عمليات الخاصة بالبيانات وكيفية متابعة الحركات التي يؤديها كل مستخدم على قواعد البيانات .

قواعد البيانات العلائقية العادية عند مقارنتها مع قواعد بيانات NoSQL سنجد ان النوع الخير ضعيف جدا على الرغم من انه المستخدم مع البيانات الضخمة ولذا فهي تتطلب مجهود اكبر لتامين البيانات 

 =======================

جميع حقوق نقل المعلومات مسموح بها لوجه الله.

ولكن يرجى الإشارة لأسم الموقع فقط.

ولا تنسونا من صالح الدعاء بظهر الغيب