Forum
  • Register
תנו לנו לייק וקבלו עדכונים ישירות לפיד
ברוך הבא, אורח
שם משתמש: סיסמא: זכור אותי

דיון: מפתח ההצלחה בביג דטה אנליטיקס נמצא בדפוסי ההתנהגות

מפתח ההצלחה בביג דטה אנליטיקס נמצא בדפוסי ההתנהגות 7 months 9 hours ago #8383

  • Edith Ohri
  • Edith Ohri's Avatar
  • מחובר
  • Moderator
  • הודעות: 286
  • תודות שהתקבלו 1
  • קרמה: 0
מענין לבדוק את המקרים שבהם ביג דטה אנליטיקס מצליח.
להצלחה הזאת יש שם, קוראים לה זיהוי דפוסי התנהגות, בעיקר סמויים וחריגים.
תשאלו למה החריגים חשובים, הרי בד"כ מומלץ לזרוק אותם החוצה? ובכן, לסיגנל היוצא דופן יש משמעות רבה, כי כל היתר כבר ידוע, ואין במה שידוע ערך מוסף למנתח הנתונים מעבר לאישור לכך שהכל מתנהל כצפוי ואין צורך בדבר מעבר למה שנעשה ונלקח בחשבון מראש.

הפתרון והעקרון, מובאים כאן לראשונה. ככל שבדקתי, אין על זה חומר ברשת.

התועלת בהשגת ידע או תבנה חדשים, היא אדירה. אפשר ליצר ערך עצום מחומרי מידע קיימים. מנסיוני, בערך מחצית המסקנות מאנאליטיקס ניתנות למימוש מיידי. רוב המימוש הוא על התשתית הקימת. ומעל הכל, המחיר של נתונים קימים הוא אפסי. הדבר מיצר שיעור כדאיות חסר תקדים. לאור זה, שווה לבדוק שוב, מה מפריע ליישום של ביג דטה אנליטיקס?
בדיון הקודם הזכרתי את הכשל של הכלים המשמשים לאנליטיקס, שלא יודעים להתעסק עם נתונים לא-מפוקחים. כל מי שניתח ביג דטה, ודאי מכיר מקרוב את בעיות איכות הנתונים, הדגימה, האחדת הגדרות, חריגים, קשרים פנימיים, תופעות סמויות, ועוד אתגרים הנובעים מאי שליטה בנתונים. אנסה להסביר כאן בעקרון, איך זיהוי דפוסי התנהגות בביג דטה עונים על כל אלה ויותר.

הגדרת דפוס התנהגות:
דפוס התנהגות זה אוסף של תופעות משולבות.
הגורמים להתקבצות תופעות לדפוס אחד אינם ידועים מראש, הם גם לא דטרמיניסטיים (מה שמקשה על חשיפתם). לדוגמא, דפוסים של "נדודי שינה". גורמי נדודי שינה עשויים להיות שונים מאד בין דפוס אחד לשני. אינני מומחית בתחום, אך לשם דיון, נניח שהגורמים שבאים בחשבון הם מצב בריאותי, מצב נפשי, ענין רגשי חולף, או הפרעה בסביבת השינה. לכל אחד מהגורמים הללו יהיו ביטויים טיפוסיים משלו שעליהם נאספו נתונים רפואיים, התנהגותיים, ונתונים עקיפים כגון - מספר המסרים ברשת ששלחנו בשעות שלפני השינה, כמות ההליכה, הרגלי תזונה, ומין כבר אמרנו? בקיצור, הגורמים המסבירים כוללים תערובת של סימנים ישירים ועקיפים, אוביקטיביים וסוביקטיביים, גורמים שהם סיבות, כאלה שהם תוצאות, ואפילו כאלה שהם סיבות ותוצאות ביחד (זה קורה הרבה במערכות שנמצאות בשיווי משקל). לכל דפוס עשויות להיות תרופות/המלצות אחרות ובלבול ביניהם איו נדיר. הפתרון היחיד המוצע למנתחי הנתונים "מעל המדף", הוא לנקות את הנתונים. זה לא מעשי.

העקרון של דפוסי התנהגות (כולל חריגים וסמויים) בביג דטה:

דפוסים מצמצמים את מרחב הפתרון (עקב ה"ניוון" של מימדים שהם מאפיני דפוסים).
מרחב פתרון מוקטן, מפשט את האבחון והניתוח, אך יש לו עוד משמעות שהיא דרמטית לגבי ביג דטה. דפוסי התנהגות מקזזים תופעות אקראיות ורעשים, ומאפשרים בכך לראות את היער דרך ג'ונגל העצים ולהתמקד בעיקר אפילו אם לא יודעים להגדיר מראש מהו!
הפתרון של ההקבצה לדפוסים, מהווה קפיצת דרך בטיפול בנתונים לא מפוקחים. הדפוסים או הקבוצות בעיקר אם הן היררכיות, מיצרים סדר, מגדירים את הישויות, גורמי מפתח, והיחסים ביניהם...

הפתרון של GT, שבמסגרתו פותח עקרון הדפוסים הוא לא-סטטיסטי. חשוב להבין, הוא לא יכול להיות סטטיסטי ולו רק בשל הטיעון הטכני (שניתן להוכיחו בקלות), שמספר הנעלמים בביג דטה גדול תמיד ממספר הרשומות שלו.
עוד על המהפיכה במודל של ביג דטה אנליטיקס והמודל המדעי שמאחוריו באתר
www.researchgate.net/project/Philosophy-...r-big-data-analytics


* Home of GT data mining

בברכה
אדית
הנהלת האתר ביטלה גישת כתיבה ציבורית.
מנהלים: Edith Ohri
זמן יצירת העמוד: 0.180 שניות

Sap

Oracle

Informatica

SAS

Microstrategy

IBM

Microsoft

Qlikview

Teradata

Webfocus

קליק אחד ואתם מחוברים. מהיר .קל .מאובטח.

מעניין? שתפו דף זה באמצעות הטלפון הנייד

DWH :: דיון: מפתח ההצלחה בביג דטה אנליטיקס נמצא בדפוסי ההתנהגות (1/1) - QR Code Friendly
Powered by QR Code Friendly

מאמרים

מגמות של ביג דאטה בעולם הביטוח
CA Technologies
SSIS - Buffer Size Optimization
קטגוריה ראשית
בדיקות BI ו-DWH לעומת הבדיקות בתחומים אחרים
קטגוריה ראשית
איסוף דרישות לפרויקטי BI
קטגוריה ראשית
כח המידע במיקוד
קטגוריה ראשית
0

הדף שלנו בפייסבוק

התחברות

כניסות למאמרים
6442715