Big Step 2 Big Data الخطوة الضحمة نحو البيانات الضخمة


الإثنين, 08 مارس 2021

شكر خاص للأستاذ محمد النجار فهو من فرغ المحاضرات الخاصة بالدورة من الفيديو الى دروس مكتوبة. جزاه الله خيرا.


الدرس الاول  : مقدمة  Introduction

 

البيج داتا في الاساس عبارة عن مجال يهتم بعملة تحليل ومعالجة وتخزين البيانات في المجاميع الكبيرة للبيانات حتى نصل الى النتائج .

تاتي البيانات الضخمة من مصادر بيانات مختلفة وتتكون من مجموعة كبيرة جدا من البيانات الكبيرة بشكل غير معتاد تكون لدينا مشكلة في تخزينها ومعالجتها وتحليلها لذا قام هذا المجال بتحليل ومعالجة تلك البينات الضخمة

فنحن نلجا للحلول والعمليات الخاصة بالبيج داتا عندما لا تستطيع الحلول العادية على انجاز المهمة المطلوبة لذا ننتقل الى الحلول الخاصة بالبيج داتا

على سبيل المثال :

اي فرد لديه قاعدة بيانات ( DATA Base ) عادية تم انشائها بواسطة لغة معينة ( ايا كانت تلك اللغة ) وعند تحليل وتخزين البنات داخل تلك القاعدة لم تستطع الطرق التقليدية القيام بحل المشاكل التي قابلتها بشكل فعال وفي الوقت المطلوب هنا نلجا للحل الجديد والبيج داتا.

حيث تقوم البيج داتا بدراسة متطلبات بارزة او واضحة مثل دمج مجموعة جامعات او موظفين او فروع كل هذا يتطلب الدمج لتنتج كمية ضخمة من البيانات الغير مهيكلة .

تحليل مجموعة بيانات من البينات الضخمة  the analysis of big data dataset   

هي خليط من المهارات الرياضية والاحصائية مع بعض علوم الحاسب الآلي وبعض الخبرات الخاص بالمجال الذي تعمل عليه .

هذا الخليط الناتج من الخبرات والمهارات يمكن ان يجعل في استطاعتك تصنيف الموضوع من وجه نظرك كان تقوم مثلا بعمل التحليلات اللازمة من خلال الطرق الرياضية او الطرق الاحصائية او من خلال دمج علوم الحاسب

والبينات اللازمة للتحليل غالبا ما تجمع من برامج او من خلال حساسات ( مثل مقاييس الحرارة ) او من مصادر بيانات خارجية مختلفة مثل الانترنت او المواقع الاخرى.

اذن هذا الموضوع يمكن ان يعطينا نتائج مهمة جدا او يساعدنا في مجالات كثيرة جدا ولها فوائد كبيرة

 وعلى سبيل المثال :

1-    ذكاء الاعمال او متخذي القرار

2-    ايجاد اسواق جديدة وناجحة

3-    الوصول لدقة كبيرة في التوقع

4-    كشف الغش في العمليات المحاسبية

5-    تحسين عملية اتخاذ القرار

6-    الوصول لمستوى اداء عال جدا جدا في المنظمات

7-    الاستكشافات العلمية 



 =======================

جميع حقوق نقل المعلومات مسموح بها لوجه الله.

ولكن يرجى الإشارة لأسم الموقع فقط.

ولا تنسونا من صالح الدعاء بظهر الغيب


الثلاثاء, 09 مارس 2021

الدرس الثاني : Datasets

 هي عبارة عن مجموعة من البيانات لها علاقة ببعضها وكل مجموعة تكون متفقة مع المجاميع الاخرى التي حولها من حيث الخصائص ولكن تظهر المشكلة عند اختلاف هذه الخصائص بين المجاميع.

امثلة على dataset  :

-         تخزين مجموعة من التويتات في ملف

-         سجلات كبيرة جدا من قاعدة بينات وتم تخزينها في ملف ( csv )

-         بينات درجات الحرارة خلال فترة معينة من الزمن تم تخزينها في ملف xml

ومن هنا يمكننا استنتاج ان مجاميع البيانات يمكن لها ان تاخذ اكثر من صيغة 


جميع حقوق نقل المعلومات مسموح بها لوجه الله.

ولكن يرجى الإشارة لأسم الموقع فقط.

ولا تنسونا من صالح الدعاء بظهر الغيب

الثلاثاء, 09 مارس 2021

الدرس الثالث : تحليل البيانات

الغرض من تحليل البيانات هو اختبار هذه البيانات للوصول الى الحقائق او العلاقات او الانماط او الإحصائيات او نرى توجه عام.

وذلك من اجل الوصول لقرار افضل وتحسين عملية دعم القرارات

مثال بسيط جدا

اذا قام احد المحال بربط كمية المبيعات الخاصة به من الايس كريم  بدرجات الحرارة خلال تلك الايام كي يصل الى اتخاذ القرار الصحيح بعدد قطع الايس كريم التي يمكن توقع بيعها بناء على درجة الحرارة خلال هذا اليوم 


 =======================

جميع حقوق نقل المعلومات مسموح بها لوجه الله.

ولكن يرجى الإشارة لأسم الموقع فقط.

ولا تنسونا من صالح الدعاء بظهر الغيب


الثلاثاء, 09 مارس 2021

الدرس الرابع : الاحصائيات  Data Analytics

 هي طريقة لادارة كامل البيانات بما تتضمنه من عملية التجميع لتلك البيانات وتطهيرها من المشاكل المصاحبة لها وتقسيمها وتنظيمها وتخزينها وتحليلها

وفي البيانات الضخمة هناك طرق تسمح لنا بعمل تحليل لاي شيء حدث من خلال استخدامنا لتكنولوجيا قابلة للتطور والزيادة والنقصان والقدرة على تحليل حجم البينات الضخمة واتمام العمليات الاساسية كلها

في دورة حياة البيانات نستطيع تحديد البيانات من الاساس وجلب البيانات وتجهيزها وتحليل القواعد الضخمة سواء كانت منظمة او غير منظمة واستخراج معلومات مفيدة يمكن استخدامها في اطار اخر كتحسين دخل المؤسسة او تحسين مستوى البيانات كي نعمل بدون مشاكل ونستطيع بالتالي الوصول الى معلومات اكثر دقة من خلال معالجة بينات ضخمة جدا .

وهناك اربع انواع اساسية لاحصائيات البيانات :

1-    descriptive  ومهمتها وصف ما حدث

2-    diagnostic  تفصيل الاحداث وما ادى للوصول الى هذا المستوى

3-    predictive توقع اي شيء ممكن ان يحدث في المستقبل

4-    prescriptive ترجيح حدث معين بناء على توقعاتك السابقة 


 =======================

جميع حقوق نقل المعلومات مسموح بها لوجه الله.

ولكن يرجى الإشارة لأسم الموقع فقط.

ولا تنسونا من صالح الدعاء بظهر الغيب



الثلاثاء, 09 مارس 2021

الدرس الحادي عشر  :

ما هي الدوافع التي تجعل اي عمل يتحول لاستخدام ادوات البيج داتا

Business using technology

الاعمال التي تعتمد على التكنولوجيا تاخذ الاطر نفسها التي تاخذها التكنولوجيا المستخدمة عند تطورها وتحديثها . وفي اغلب الاحيان تكون التكنولوجيا مستخدمة في كافة نواحي العمل كما ان البيانات تاخذ مسارات محددة حسب التدرج الوظيفي من الموظف للمدير او بالعكس ولكن في المنظمات الكبري قد تاتي البينات من مصادر خارجية وتلك المصادر لا يمكن التحكم بها وبدرجة التقدم التكنولجي الخاص بها مما يجعلها سبب اساسي في التحول لمنهجية ادوات البيج داتا.



Market place dynamics

اخر 18 عام كان هناك نقلتان مهمتان في سوق الاوراق المالية اولهما في عام 2000 حيث حدثت انطلاقة في سوق الاوراق المالية وثانيهما في عام 2008 حيث الانخفاض الكبير الذي حدث في سوق الاوراق المالية والبترول وهاذان الحدثان ادي الى اهتمام الشركات بالتحسين في الكفائة والفاعلية للوصول الى ارباح جيدة مع تقليل التكلفة . حيث ان الحذر في المصروفات الذي كان سائدا من قبل العلاء في تلك الفترة ادي الى جعل الشركات تتبنى نهج تقليل المصروفات والبحث عن عملاء جدد مع المحافظة على العملاء الحاليين مما اضطر الشركات الى تقديم سلع وخدمات جديدة منخفضة التكاليف مع العمل على مراقبة النتائج وتحليلها وتحديد المنافسين وكيفية التعامل معهم.

 =======================

جميع حقوق نقل المعلومات مسموح بها لوجه الله.

ولكن يرجى الإشارة لأسم الموقع فقط.

ولا تنسونا من صالح الدعاء بظهر الغيب



الثلاثاء, 09 مارس 2021

الدرس الثاني عشر :

DIKW ( Data – Information – Knowledge – Wisdom ) pyramid

البناء الهرمي للبيانات والمعلومات والمعرفة والحكمة

البيانات عبارة عن مجموعة من الحقائق التي تسجل عن احداث موجودة ، لتنتقل بعد ذلك الى معلومة جديدة مفيدة ، وعند تحسين المعلومة وتزويدها بالخبرات والاحصائات تتحول الى معرفة ، وعند وجود مجموعة من الخبرات ذات الجودة المرتفعة والتي تؤدي الى الوصول الى القرار السليم نصل بالمعلومة الى درجة الحكمة . اذن الحكمة هي القدرة على الوصول الى القرار السليم وبالشكل السليم واستثمار المعلومة بشكل صحيح . مثال على ذلك العمليات التشغيلية والتي تستخدم مجموعة من القياسات للوصول الى معرفة كيفية حدوث شيء معين في مجال عملك يلي ذلك معرفة الطرق الممكنة المتبعة  لحدوث ذلك الحدث  مما يؤدي بدوره لمساعدتنا في وضع استراتيجيات عمل من اجل تصحيح او تحسين النتيجة وبالتلي يتبقى المرحلة الاخيرة وهي مرحلة اتخاذ القرار وتنفيذ افضل تلك الاستراتيجيات المتاحة واكثرا ملائمة ومناسبة لظروف العمل .


 =======================

جميع حقوق نقل المعلومات مسموح بها لوجه الله.

ولكن يرجى الإشارة لأسم الموقع فقط.

ولا تنسونا من صالح الدعاء بظهر الغيب

الثلاثاء, 09 مارس 2021

الدرس الثالث عشر

Business process management

هي ادارة عمليات النشاط حسب خطة معينة نسير عليها كي نصل الى الاهداف المطلوبة وهو عبارة عن وصف لكيفية اداء الاعمال داخل الشركة . وتبدا دورة هذه الخطة من مرحلة التحليل حيث نقوم بتحليل التقارير الواردة وتحسين عمليات العمل يلي ذلك ايجاد تصميم للعمليات ثم يلي ذلك تنفيذ خطة العمل ويلي ذلك عمخلية التنظيم والترتيب وتوزيع المهام وبالتلي ستصدر مجموعة من التقارير والتي سيجري لها عملية تحليل مرة اخرى وتعاد الدورة مرة ثانية وهكذا. 


تطور نظم المعلومات

ادى التطور السريع في نظم المعلومات الى تسريع الانتقال الى مفاهيم البيج داتا في الانشطة المختلفة وذلك عن طريق اتباع سبعة خطوات 

Data  analytics and data  science

حيث ياتي دور الدراسات والاحصائات الجديدة في المساعدة والتاثير على رفع مستوى اداء العمل وكفائته وفاعليته والذي يؤثر بدوره في العمليات المتعلقة بالإدارة وكيفية الوصول الى القرارات التي من شانها رفع مستوى الشركة في السوق