bi analyst

ברוך הבא, אורח
שם משתמש: סיסמא: זכור אותי

דיון: מדוע מתעלמים מהפיל שבחדר

מדוע מתעלמים מהפיל שבחדר 1 year 1 week ago #8510

  • Edith Ohri
  • Edith Ohri's Avatar
  • Offline
  • Moderator
  • הודעות: 358
  • קרמה: 0
מדוע מתעלמים מהפיל שבחדר?
זו שאלה שיכולה להביא את המתבונן לכדי יאוש. איך יכול להיות שהמומחים לא מתיחסים לדבר המונח לפניהם באופן כל כך ברור. האם הם בכלל מומחים? האם נפלנו למלכודת פתאים שבה עושי-שוק מסבירים דבר אחד ועושים דבר אחר?
ובכן, לכשל הגדול מסתבר יש, בין היתר, שני מנגנונים פרוזאים לגמרי. האחד הוא, שעובדות חזקות ובולטות כמו פיל בחדר, הן לא חדשה תקשורתית, ואין כביכול מה לחפש בהן דבר מעבר למה שכבר גלוי לעין כל. המנגנון השני, הוא המהומה המפחידה שמעורר פיל בחדר - מהומה שגורמת לנוכחים לברוח בפאניקה בלי לחשוב.

דיון זה הוא פתיח לסדרה על המשבר הכלכלי העולמי שאנחנו בתוכו, ושאלת החיזוי וגם היכולת האישית להתכונן ולפעול נכון ולפעמים נגד הזרם.
אם כריית נתונים יכולה להאיר מקומות חשוכים שאנחנו לא מכירים, מענין יהיה להשתמש בה להנחיה בימים אלה.


הערה: הדיון ממשיך במידה מסוימת את הדיון על "ה-BI של Lehman Brothers, Merrill Lynch, AIG" - הענקיות שנפלו בהפתעה במשבר 2008
www.dwh.co.il/forum/4-DataMining/2814-%D...,-merrill-lynch,-aig.

בברכה
אדית
עריכה אחרונה: 7 months 3 weeks ago  ע''י Edith Ohri. סיבה: ניסוח
הנהלת האתר ביטלה גישת כתיבה ציבורית.

מדוע מתעלמים מהפיל שבחדר 11 months 3 weeks ago #8513

  • Edith Ohri
  • Edith Ohri's Avatar
  • Offline
  • Moderator
  • הודעות: 358
  • קרמה: 0
ניתוח הנתונים אדיש למשתנים שהם קבועים בכל הרשומות (אינווריאנטים).
משתנים קבועים נחשבים לנתוני רקע בלתי מתערבים, היות ובתור קבועים אינם יכולים להסביר שינויים במערכת.
לדוגמא: במחקר התאידות מיים ממאגר שבוצע בעונה שבה הטמפרטורה כמעט ללא שינוי, הטמפרטורה האחידה לא תהיה יכולה להסביר את השינויים בכמות המיים שמתאידת.

במשתנים שהם דומיננטיים (כמו "פיל בחדר") קשה להפיק מסקנות לגבי השפעתם על המטרה, מאחר והשפעתם נרחבת, וכמעט אין תחומים שנקיים מהם ויוכלו לשמש להשוואה.

במודל המקובל, ייתכן שמישהו יזהיר על פיל בחדר, וישיבו לו בספקנות, שיש הסברים אחרים או שמומחים סבורים שזה בכלל תופעה מחזורית ואין מה לעשות נגדה.

*מדע הנתונים החדש נבדל מסטטיסטיקה במטרה שלו שהיא ליצר השערות. ראה עקרונות מדע הנתונים סעיף 6. מטרה זו משחררת משחררת מחובת הנחות המודל הסטטיסטי ומאפשרת בכך להפיק מסקנות גם ממשתנים דומיננטים.

© כל הזכויות שמורות Edith Ohri

בברכה
אדית
עריכה אחרונה: 7 months 3 weeks ago  ע''י Edith Ohri. סיבה: ניסוח
הנהלת האתר ביטלה גישת כתיבה ציבורית.

מדוע מתעלמים מהפיל שבחדר 7 months 3 weeks ago #8518

  • Edith Ohri
  • Edith Ohri's Avatar
  • Offline
  • Moderator
  • הודעות: 358
  • קרמה: 0
המשך –

מדוע לא נאמין לתיאוריה שהיא תקינה מבחינה סטטיסטית, שטענת שהגשם מכבה את מדורת השמש ומקשה על האלים להדליקה מחדש בגלל הקרשים הרטובים ולכן קר בחורף?
- לא נאמין לתיאוריה כזאת כי יש לנו הסבר כללי יותר, כזה שאינו תלוי בירידת גשם, וחוזה בדיוק רב לא רק קור וחום אלא מזג אויר בכלל.

הטענה היא שאנו רגילים לפסול תוצאות שלא מתישבות עם הנסיון וההגיון, אפילו שעברו מבחן סטטיסטי. יתרה מזאת - יודעים מראש לא לצפות להצלחה בחזוי של חריגים, או של תופעות חדשות או נדירות, או כאלה שמסיבה טכנית לא צברו מספיק נתונים.
כזה הוא המקרה של התחממות כדור הארץ, שהוא תהליך באמצע התרחשות ולכן דל בנתונים וקשה להוכחה סטטיסטית. הבעיה, שהגולם קם על יוצרו. דורות של בני אדם שחונכו לסמוך על סטטיסטיקה, לא יודעים מה לעשות עכשיו באין נתונים. חלקם מכחישים את התופעות, חלקם מכחישים את המדע, חלקם מקבלים תיאוריות קונספירציה וכו'. באין הוכחה סטטיסטית כאילו הכל בא בחשבון.

מדובר בכשל קבוע במודל הסטטיסטי ורעיון "האינדוקציה" שבבסיסו, לפיו הופעה חוזרת ונשנית של צירופי משתנים מעידה על קשר מהותי ביניהם.
צריך לתקן את הכשל. דרוש מנגנון הוכחה שעומד על רגליים חזקות יותר, של לוגיקה!

מדע הנתונים החדש מציג פתרון לוגי. הצעד הראשון שלו הוא הפרדת תערובת הנתונים לקבוצות דמיון (ראה עקרון 4). הקבוצות מספקות את הרכיבים הדרושים לבניית השערות ולמבחן הלוגי שלהן.
לסטטיסטיקה נשמר מקום בפתרון החדש, רק בקבוצות שעברו את המבחן הלוגי ומקימות את התנאים הסטטיסטיים למדגם אקראי, מפוזר שווה (IDD), וגדול מספיק שהמשתנים שלו בלתי תלויים.

בברכה
אדית
עריכה אחרונה: 7 months 3 weeks ago  ע''י Edith Ohri. סיבה: ניסוח
הנהלת האתר ביטלה גישת כתיבה ציבורית.

על פיל הקריפטו 3 months 2 weeks ago #8520

  • Edith Ohri
  • Edith Ohri's Avatar
  • Offline
  • Moderator
  • הודעות: 358
  • קרמה: 0
הפיל של המטבעות הדיגיטליים - הקריפטו, הביא אותי לעיין שוב במאמר מאמצע ינואר השנה ב marketbeat, אשר בזמנו הנחתי בצד למעקב.
לאחר שעברו כשמונה חודשים בקריאה חוזרת ובדיקת התחזיות שבו, התברר שהמאמר מדגים יפה את תופעת הפיל שבחדר. האנליסט שכתב אותו אמנם מבחין בפיל הקריפטו ואף מסביר וחוזה אותו נכון, אבל בהמלצותיו לשמירת ערך הכסף הוא מתעלם מהמסקנה המתבקשת, ממליץ במקום על השקעה במטבעות הדיגיטליים המובילים, להשקיע ב-7 מניות של חברות למסחר בזהב ומתכות יקרות ...ונכשל בכולן!

המלצות מארקטביט:
View the "7 Precious Metals Stocks That Will Keep Your Portfolio On Trend".
בשחור מחיר המניה $ ב 14-01-2021 ובאדום מודגש המחיר ב 21-08 2021:
Barrick Gold 23.68 19.84
Newmont Corporation 63.33 58.05
Kinross Gold Corporation 7.19 5.90
Wheaton Precious Metals [Gold, Silver, Palladium, Cobalt, and Other] 41.12 42.63
Endeavour Silver Corp 4.60 4.40
Platinum Group Metals [platinum and palladium gold and a other metals] 4.76 3.05
Coeur Mining [silver and gold mined in the USA] 8.96 6.71

* לציין שבאותו פרק זמן, ביטקוין ואתריום (שני המטבעות הדיגיטליים המובילים) עלו במידה ניכרת.

השאלה היא איך אפשר לחזות אחרת, טוב יותר?
אנסה להציג דרך בת מספר צעדים, לפי מדע הנתונים החדש, ולהמחיש ע"י דוגמא.

1. מאפינים את ה"פיל", שהוא בדוגמא זו מהפיכת הקריפטו. יש לשאול מה מבדיל אותה מהתפתחויות טכנולוגיות אחרות ואיזה שילוב מיוחד של תנאים הצמיח אותה?
נניח שהמאפין הבולט ביותר בקריפטו הוא התשתית הפיננסית המבוזרת שמצליחה בזכות היעילות שלה להתחרות בבנקים; ועוד נניח שהתנאים שהצמיחו אותו קשורים למשבר הכלכלי של 2008.

2. מחפשים סימנים מוקדמים לתופעה הנבדקת. בדוגמא שכאן, סימנים להתקדמות מהפיכת הקריפטו יהיו נניח, התגברות ההשקעה של בנקים בתחום זה, וכניסת חברות גדולות לפיתוח יישומים חדשים. סימנים לכשלונה עשויים להיות התארכות זמני השירות של מטבעות דיגיטליים, עד כדי הפסקת השימוש בהם כאמצעי תשלום, או הסתלקות של חברות מובילות מהשקעתן בנושא.

3. מנתחים נתונים היסטוריים של מצבים דומים בעבר במטרה למצוא גורמים משפיעים ולנסח אותם כמותית.
אפשר לדוגמא, ללמוד משהו מהשוואה בין מהפיכת הקריפטו למהפיכת האינטרנט ומשבר הדוט-קום. מענין לראות את קצב אימוץ טכנולוגית האינטרנט, ולנסות להבין את השפעותיה על ענפי תעשייה אחרים, וכן גם על החברה, הכלכלה, והתרבות.

4. מסננים את תוצאות ניתוח הנתונים, ומשאירים רק את אלה שתואמות למאפינים ולסימנים שהוגדרו קודם.
אחת התוצאות אשר בודאי תעבור את הסינון היא המסקנה, שהשקעות ענק בטכנולוגיה חדשה (כמו אלה שקורות כעת בקריפטו) מבשרות את הצלחתה.


כאשר מסקנה בולטת עד כדי כך שכל אחד יכול להבחין בה, מוטב לישם אותה במודל החיזוי בלי לחכות להצטברות נתונים. כשהנתונים יגיעו זה כבר יהיה מאוחר מדי.

בברכה
אדית
עריכה אחרונה: 3 months 5 days ago  ע''י Edith Ohri. סיבה: תיקון
הנהלת האתר ביטלה גישת כתיבה ציבורית.

הנסיבות או התנאים שהביאו את הפיל לחדר 2 months 1 day ago #8521

  • Edith Ohri
  • Edith Ohri's Avatar
  • Offline
  • Moderator
  • הודעות: 358
  • קרמה: 0
לחזור להתחלה – ישנו עוד מנגנון ... הסחת תשומת הלב לנושאים דחופים אחרים!
הפיל שבחדר לא סתם נחת משמיים, פעמים רבות הוא מגיע עם "קרקס" שלם, כלומר אירועים חריגים שמסיחים את הדעת. הקריפטו שהוזכר לעיל, לדוגמא, עטוף במשבר הקורונה ואירועים כלכליים דרמטיים שמושכים את תשומת הלב.
ברגע אחד רואים את הפיל, ברגע שני מתמקדים בנושא אחר (שמאפיל על הפיל), ברגע שלישי אמנם חוזרים לחדשות הקודמות אודות הפיל אך הן מתחילות להתישן ומתרגלים לזה...

במדע הנתונים החדש (שמתבטא ב-GT) אין סכנה להסחת דעת כזו. המודל מתיחס לנתוני רקע ומטה-דטה, והמשימה שלו מוגדרת בעקרון, ליצר באופן עצמאי השערות, בלי תלות באבחנות של מומחה אנושי. יש לצפות לפיכך שיבחין בפיל והנסיבות המיוחדות שלו, ויגיע לתבנה ואף למסקנה לגבי סמנים מוקדמים הקשורים לקרקס.

בברכה
אדית
עריכה אחרונה: 22 hours 59 minutes ago  ע''י Edith Ohri.
הנהלת האתר ביטלה גישת כתיבה ציבורית.

מדוע מתעלמים מעדר פילים בחדר? 22 hours 14 minutes ago #8529

  • Edith Ohri
  • Edith Ohri's Avatar
  • Offline
  • Moderator
  • הודעות: 358
  • קרמה: 0
מדוע מתעלמים מעדר פילים בחדר?

הסיבה היא שקהילת המקצוענים לא אוהבת בעיות שאין להן פתרון, ועדר בחדר הוא מהגדרתו בעיה כזאת.
עדיף, יגידו לך, להטות את המשאבים לבעיות שיודעים לפתור.
אלא אם כן...

אנליסטים מחפשים קשרים סיבתיים לצורך בקרה. הנקודה היא, שמודל הבקרה מתאים רק למערכות יציבות. המערכות האחרות, שאינן יציבות, נותרות למעשה ללא מענה. מספר המשתנים בהן גדול ואיתו עולה הצורך בנתונים רבים. כאשר זה אינו אפשרי, נוצר כשל בניתוח מערכות, והכשל קורה דווקא בזמן של שינויים גדולים כשזקוקים לתחזית אמינה.
לפי מדע הנתונים החדש, במקום קשרים סיבתיים, ניתן לאתר במקרים כאלה, דפוסי התנהגות ובהם אינדיקטורים - סמנים מוקדמים.

גם לדפוסים נדירים יש מאפינים ייחודיים. למשל הפילים, סוג העדר שלהם עשוי להיות שונה מאחרים, ייתכן שקדם לאירוע מצב חריג, וייתכן שיש מאפין התנהגותי של פילים שמסביר מדוע כניסתם לחדר נחשבת כמועילה להישרדות.


איך להתארגן לעולם חדש של קריפטו? ובמה יכולה לעזור כריית נתונים?
עברה כשנה מהתחלת הדיון זה. הקריפטו משגשג, ורוב הסימנים להמשך שלו חיוביים: השקעות פינטק, שירותים פיננסיים חדשים, היקפים, התמסדות, כניסת חברות גדולות, התרחבות השימושים וסוגי המשתמשים, התיעלות זמני שירות... עברנו את נקודת האל חזור.
יחד עם זאת, נהיה קשה יותר לעקוב אחר זרם השינויים הגדל ולחזות את העתיד. האירועים נהיים דראמטיים, משבר כלכלי מאים על העולם בעקבות התפוצצות בועת הנדל"ן בסין, וכל אלה בהחלט מהווים עדר פילים משתולל. השאלה, להסתגר או להסתגל?

בברכה
אדית
הנהלת האתר ביטלה גישת כתיבה ציבורית.
מנהלים: Edith Ohri
זמן יצירת העמוד: 0.175 שניות

מאמרים

מגמות של ביג דאטה בעולם הביטוח
CA Technologies
SSIS - Buffer Size Optimization
קטגוריה ראשית
בדיקות BI ו-DWH לעומת הבדיקות בתחומים אחרים
קטגוריה ראשית
איסוף דרישות לפרויקטי BI
קטגוריה ראשית
כח המידע במיקוד
קטגוריה ראשית
0

מעניין? שתפו דף זה באמצעות הטלפון הנייד

הדף שלנו בפייסבוק

Microsoft

Oracle

IBM

Informatica

Sap

SAS

Qlikview

Cloudera

Machine Learning