bi analyst

ברוך הבא, אורח
שם משתמש: סיסמא: זכור אותי

דיון: חוק מס' 20 במדע הנתונים החדש – מתמקד בחריגים

חוק מס' 20 במדע הנתונים החדש – מתמקד בחריגים 1 year 3 months ago #8503

  • Edith Ohri
  • Edith Ohri's Avatar
  • Offline
  • Moderator
  • הודעות: 358
  • קרמה: 0
(בהמשך לדיון "אבחון דפוסים חריגים לפי New Data Science")

החריגים מענינים לא פחות מאירועים רגילים. חשיבות החריגים גדולה בהרבה ממספרם היחסי בנתונים, ונובעת מכך שביכולתם להפריך השערות ולתקן אותן.

ניתוח חריגים הוא הענין העיקרי בתחומים כגון: בקרה, אחזקה, חיזוי, תחקור כשלים, Fraud Detection, Cyber Attacks ועוד.
אפיון דפוסי התנהגות בכלל וגם של דפוסים חריגים, לפי מדע הנתונים החדש, מזהה את התנאים להיוצרות כל דפוס ואת גורמי המפתח שלו, ומאפשר במקרים רבים להשפיע עליהם באופן שיטתי.

הגדרה:
חריג הוא אירוע בלתי צפוי וחסר הסבר, או אירוע שקורה בתנאים שמחוץ למחקר הנדון. הגדרת חריגים תלויה, לפיכך, בתיאוריה שבידי החוקרים.
הערה: ככל שמגדילים את הרזולוציה כך יש לצפות לגידול בכמות החריגים.

דוגמא: ניתוח אירועים של מצלמות אבטחה שמכילות אנליטיקה.
האם אפשר ללמוד משהו מלוג האירועים?
האירועים כוללים אזעקות אמת, אזעקות שוא, מקרים שמצלמה לא זיהתה, וכן אירועים של אחזקה ותפעול שוטף כגון הדלקה וכיבוי.
ייתכן שיש קשר בין מקרים שלא זוהו ואירועי אחזקה זמן קצר אחר כך, שכללו ניקוי המצלמה וסביבתה, ומכאן ניתן להמליץ להגדיל את תדירות ניקוי המערכת וסילוק עצמים שמפריעים לה. ייתכן שיש קשר בין אזעקות שוא למקרים לא מזוהים שבאו אחריהם, כנראה בגלל הורדת רגישות המצלמה – במקרה זה ניתן להמליץ על הצלבת התראות עם מצלמה סמוכה לפני הפעלת האזעקה. ייתכן שאירועים רבים קורים בזמנים מסוימים שמספקים הסבר אפשרי. ייתכן שהוראות ההפעלה אינן ברורות ולכן התקלות, וכו'.
לסיכום, ניתוח האירועים מוסיף לאנליטיקה עוד דרגה של אבטחה ע"י שגרת שימוש נכון.

בברכה
אדית
הנהלת האתר ביטלה גישת כתיבה ציבורית.

חוק מס' 20 במדע הנתונים החדש – מתמקד בחריגים 1 year 1 day ago #8512

  • Edith Ohri
  • Edith Ohri's Avatar
  • Offline
  • Moderator
  • הודעות: 358
  • קרמה: 0
כל תופעה חדשה מתחילה כחריג.
זו סיבה טובה להבין חריגים ולקבל התראה מוקדמת, והשערות לגבי הכיוון שאליו הענינים הולכים.
בנושא אבטחה לדוגמא, זה עשוי להקדים את הפורצים בזמן שהם עוד מתעסקים בלימוד וניסויים, ולהקדים או להיות צעד אחד לפניהם, שלא לדבר על הכנת מענה הולם עבורם :)
אדית

בברכה
אדית
עריכה אחרונה: 1 year 1 day ago  ע''י Edith Ohri.
הנהלת האתר ביטלה גישת כתיבה ציבורית.

חוק מס' 20 - החריגים כמבחן השערה 2 months 22 hours ago #8522

  • Edith Ohri
  • Edith Ohri's Avatar
  • Offline
  • Moderator
  • הודעות: 358
  • קרמה: 0
חריגים מהווים מבחן השערה. זה עקרון מספר 1 במדע הנתונים החדש.
העקרון נדון בהרחבה בכתבי הפילוסופים של המדע - קארל פופר, ואחריו פרופ' יוסף אגסי ייבדל לחיים ארוכים.
מבחן ההשערה במדע הנתונים החדש אוסר, בניגוד למודל הסטטיסטי, על ניקוי רשומות חריגות, ומחיב לכלול אותן בניתוח הנתונים.
הכללת חריגים בקלט מתאפשרת במדע הנתונים החדש, בזכות ההבדלה בין קבוצות בעלות דפוסי התנהגות שונים, והאפשרות להוציא חריגים ולשיכם לתופעות שמנותחות בנפרד.

דוגמא:
בניתוח של תנובת פרות שהשתמש במודל GT המבטא את מדע הנתונים החדש, התברר שכמחצית הרשומות שיכות לדפוס ייחודי של פרות שמאפין אותן הפר האב שהיה בעל גנטיקה שונה מאד. קבוצת הרשומות האלה נותחה בנפרד.
עוד קבוצה של רשומות בעלות ערכים חריגים התבררה כתוצאות שגויות של מעבדה שתוצאותיה נפסלו. קבוצת התוצאות השגויות הופרדה גם היא, וכצפוי - לא נמצא בה אף גורם משפיע.
יתר הרשומות התגבשו לקבוצות עקביות עם גורמי איכות חלב ברורים, שלא היה ניתן להבחין בהם לפני הפרדת נתוני הפר החריג.

בברכה
אדית
הנהלת האתר ביטלה גישת כתיבה ציבורית.
מנהלים: Edith Ohri
זמן יצירת העמוד: 0.416 שניות

מאמרים

מגמות של ביג דאטה בעולם הביטוח
CA Technologies
SSIS - Buffer Size Optimization
קטגוריה ראשית
בדיקות BI ו-DWH לעומת הבדיקות בתחומים אחרים
קטגוריה ראשית
איסוף דרישות לפרויקטי BI
קטגוריה ראשית
כח המידע במיקוד
קטגוריה ראשית
0

מעניין? שתפו דף זה באמצעות הטלפון הנייד

הדף שלנו בפייסבוק

Microsoft

Oracle

IBM

Informatica

Sap

SAS

Qlikview

Cloudera

Machine Learning