חוק מס' 20 - התמקדות בחריגים

כל תופעה חדשה מתחילה כחריג.
זו סיבה טובה להבין חריגים ולקבל התראה מוקדמת, והשערות לגבי הכיוון שאליו הענינים הולכים.
בנושא אבטחה לדוגמא, זה עשוי להקדים את הפורצים בזמן שהם עוד מתעסקים בלימוד וניסויים, ולהקדים או להיות צעד אחד לפניהם, שלא לדבר על הכנת מענה הולם עבורם
אדית

האם התמקדות בחריגים מחלישה או מחזקת את המסקנות?

---

מקובל לחשוב שחריגים מפריעים לאבחון התופעות המשמעותיות ולכן יש לנקות אותם לפני שניגשים לניתוח הנתונים. בספרות המקצועית של ניתוח נתונים ומבחן השערות, מקובלים שני שלבים התחלתיים - הכנת מדגם וניקוי נתונים. שני שלבים אלה מתקצרים במודל GT שבנוי על עקרונות מדע הנתונים החדש. GT משתמש בקלט זמין ללא סינון (מלבד סילוק רשומות ושדות כפולים).

היתרונות של ביטול הצורך בהכנת מדגם וניקוי נתונים:
1. חסכון עבודה.
2. קלט אותנטי.
3. תוצאות אוביקטיביות יותר.
4. מסקנות משופרות בזכות גילוי תופעות בלתי צפויות. לציין שבמדעי הטבע, גילוי תופעה חדשה עשוי לשנות תיאוריה שלמה שהיתה קימת עד לאותו רגע.

השאלה, כיצד ניתן להגיע ליתרונות אלה, כשמשתמשים בקלט לא-מפוקח (unsupervised) שמכיל בהכרח מידע רב שאינו רלוונטי שמפריע להתכנסות למסקנות?

המפתח לפתרון טמון בעקרון ה-clustering של GT, הפרדת הנתונים לדפוסי התנהגות במבנה היררכי, שבראשו דפוסי-על ובתחתיתו "מוטציות". במקום לנקות מראש מידע עודף, GT מנפה החוצה בשלמותם דפוסים שאינם נוגעים למטרת הפרויקט. זה יכול להיות דפוסים שמאפיניהם זרים למטרה, שגויים, דפוסים ידועים שכבר נחקרו, וכו'.

יתרונות ה-clustering:
1. אפשרות לצפות בכל דפוס בפני עצמו.
2. חידוד הגדרת התופעות עקב הפרדתן.
3. הצפת דפוסים סמויים.
4. חשיפת קשרים רב מימדיים.
5. יכולת לבצע פעולות לוגיות בין דפוסים, כגון השוואה ואנלוגיה.
6. תמיכה בהגדרת סיבה-תוצאה וייצור תובנות.

לסיכום השאלה, האם התעסקות עם חריגים עוזרת או מפריעה, התשובה היא חיובית, בהחלט עוזרת. חשיפת מבנים חריגים שופכת אור על הידע הקים וגבולותיו. יתר על כן, חריגים הם לעתים התחלה של תופעות, וגילוים נותן איתות מוקדם. זה "הגביע הקדוש" של ניתוח נתונים. הדפוסים החריגים מדייקים את הדפוסים הרגילים ומאפשרים למנתח הנתונים לחדור למכניזם של התפתחות תופעות ולהציע דרכים לשיפור שליטה.

ככל שהוודאות גבוהה יותר, כך החריגים משמעותיים יותר!

ככל שבטוחים יותר בחוקיות כך, בניגוד למקובל, גדלה חשיבות החריגים.


לדוגמא, עד ראשית המאה ה-20 נחשבה האנרגיה לתופעה פיזיקלית חסרת מסה. כאשר אלברט איינשטיין רצה להוכיח שלאור יש מסה, הזדקק לניסוי אחד בלבד להוכיח זאת - הניסוי המפורסם שנערך באי פירנסיפה שבמפרץ גיניאה אפריקה, בעת ליקוי חמה 29-05-1919, ע"י הפיזיקאי הבריטי ארתור אדינגטון, שבו נראה מסלול קרן אור מתעקם ליד השמש ומוטה לעברה בשיעור שצפה איינשטיין לפי הנוסחא E=mc².

לכן, יש לשים לב בכל פעם ששומעים "אין דבר כזה", ייתכן שלא רק שיש דבר כזה, אלא שמכלול שלם של תופעות נעלמו מהמפה, ולא במקרה. תחקור החריג עשוי לגלות את הסיבה להעלמותן.