contents
- methods of data collection
- common data sources
طرق جمع البيانات
يتم جمع البيانات يدويًا من خلال الاستطلاعات، المقابلات، أو الملاحظة المباشرة، وهو شائع في الأبحاث وتحليل تعليقات العملاء، كما يتم جمع البيانات تلقائيًا من خلال تقنيات مثل استخلاص البيانات من الويب حيث يتم استخراج البيانات من المواقع باستخدام مكتبات مثل BeautifulSoup أو Scrapy في بايثون. كما تجمع أجهزة إنترنت الأشياء بيانات في الوقت الفعلي، مثل مستشعرات الحرارة أو أجهزة تتبع اللياقة. كما يمكننا الحصول على بيانات من أنظمة التجارة الإلكترونية، المعاملات المالية، وأنظمة نقاط البيع.
مصادر البيانات الشائعة
قواعد البيانات حيث تشمل قواعد البيانات العلائقية (SQL) وغير العلائقية (NoSQL)، مثل MySQL و MongoDB. والحصول على البيانات من واجهات برمجة التطبيقات مثل OpenWeatherMap و Twitter API للحصول على بيانات جاهزة للاستخدام. كما يتم استخلاص البيانات من الويب حيث نستخراج المعلومات من المواقع الإلكترونية والمصادر المتاحة عبر الإنترنت. ومن قواعد البيانات العامة حيث تتوفر العديد من قواعد البيانات الحكومية والأكاديمية للاستخدام العام. أيضا نحص على بيانات من ملفات السجلات مثل سجلات الخادم وسجلات الأنظمة والتطبيقات التي تحتوي على بيانات تاريخية قيمة ولاننسى الاستطلاعات والاستبيانات التي توفر مدخلات مباشرة من المستخدمين أو العملاء عبر الإنترنت.
