ברוך הבא, אורח
שם משתמש: סיסמא: זכור אותי

דיון: BIG DATA IS IN FACT SMALL

BIG DATA IS IN FACT SMALL 6 years 1 month ago #8214

  • Edith Ohri
  • Edith Ohri's Avatar
  • Offline
  • Moderator
  • הודעות: 352
  • קרמה: 0
ביג דטה מציג למנתח הנתונים אתגר שונה לגמרי ממה שנהוג לחשוב. זה לא כמות הנתונים הגדולה בפני עצמה, אלא הצורך לנתח תערובת דינאמית של נתונים לא מפוקחים ממקורות שונים. בתנאים כאלה זה לא מעשי לשפר את הנתונים ולא ניתן להכין מדגם מיצג. אפילו חוק המספרים הגדולים לא מסיע בביג דטה, בכמויות גדולות של נתונים מהירים ומגוונים אין לצפות להתכנסות משמעותית של הנתונים לשום תוצאה שתחדש משהו. מכאן מתחילה הבעיה של כל הכלים המקובלים; גם מי שמתגבר על הכמות הגדולה, עדיין צריך להתמודד עם מגוון גדול מאד של מצבים לא מוגדרים, ולכך אין בהם פתרון.
מנתח הנתונים שפועל לפי הספר, ומנקה את הנתונים, נשאר בסוף עם מעט מדי קלט שלא מוביל למסקנות. לדוגמא, בניתוח קניות מחנות ברשת, צריך לנקות תקופות קודמות של תכנות שירות אחרות, להוריד את תקופת ההסתגלות לתכנה הנוכחית, לסלק את החריגים, מבצעים מיוחדים, כניסות שגויות, תהליכי קנייה קטועים, תקלות עקב קשיי נגישות, תקלות בתכנות תשתית, וכו'. מה שנשאר ביד לאחר כל הניקוי, הוא מועט מגוון ולא מיצג. אפילו אם יוצאת מסקנה ממדגם לא אותנטי כזה שאחרי ניקוי, ספק אם ניתן להתבסס עליה. סביבה אינטגרטיבית כמו של ה-IT היא דינאמית. עד שמישמים את המסקנות, בינתיים הכל זז.

אדית
Home of GT data mining

בברכה
אדית
עריכה אחרונה: 6 years 1 month ago  ע''י Edith Ohri. סיבה: תיקון
הנהלת האתר ביטלה גישת כתיבה ציבורית.
מנהלים: Edith Ohri
זמן יצירת העמוד: 0.166 שניות

הדף שלנו בפייסבוק

מעניין? שתפו דף זה באמצעות הטלפון הנייד

אירועים קרובים

מאמרים

מגמות של ביג דאטה בעולם הביטוח
CA Technologies
SSIS - Buffer Size Optimization
קטגוריה ראשית
בדיקות BI ו-DWH לעומת הבדיקות בתחומים אחרים
קטגוריה ראשית
איסוף דרישות לפרויקטי BI
קטגוריה ראשית
כח המידע במיקוד
קטגוריה ראשית
0

Microsoft

Oracle

IBM

Informatica

Sap

SAS

Qlikview

Cloudera

Machine Learning