Forum
  • Register
תנו לנו לייק וקבלו עדכונים ישירות לפיד
ברוך הבא, אורח
שם משתמש: סיסמא: זכור אותי

דיון: חוק המספרים הגדולים לא פועל בביג דטה

חוק המספרים הגדולים לא פועל בביג דטה 1 year 3 months ago #8341

  • Edith Ohri
  • Edith Ohri's Avatar
  • מנותק
  • Moderator
  • הודעות: 290
  • תודות שהתקבלו 1
  • קרמה: 0
חוק המספרים הגדולים נחשב למעין חוק טבע סטטיסטי. אנחנו מצפים שחזרה מפסר פעמים רב על ניסוי, לדוגמא, תביא לתוצאה מתכנסת סביב הממוצע, והממוצע יהיה התוצאה השכיחה ביותר. אבל לא תמיד זה קורה. בביג דטה. לדוגמא, סביר להניח שהמספרים לא יתכנסו למספר יציב.
למה? - בגלל שתי תופעות טיפוסיות שגורמות לדינאמיות ולשינוי לאורך הזמן של ערכי הממוצע והשכיח. התופעות הן:-
(1) קשרים פנימיים רבים בין משתנים ובין רשומות;
(2) תערובת של תופעות, בחלקן סמויות.

אי ההתכנסות לערכים יציבים מעמידה בסיכון את תוצאות האלגוריתמים ללימוד-מכונה (machine learning) שמסתמכים על ומניחים את קיומה של סביבה ידועה ומבוקרת, אשר בה אחרי מספר רב של ניסויים ניתן להגיע לאפיון יציב, האפיון "האמיתי" של המערכת, ולא כמתואר לעיל - אפיון דינאמי ובלתי יציב...

היעלמות חוק המספרים הגדולים מנוף הביג דטה, אינו מפתיע מבחינת פתרון האנליטיקס של GT-data-mining. לפי GT זו רק אחד מהמוזרויות שניתן לצפות להם בנתונים לא מפוקחים כאלה, והדבר קורה לא רק בגלל שלושת ה-וי המפורסמים (Volume, Velocity and Variability). זהו חלק משינוי מהותי מקיף שעבר עולם הנתונים הישן עקב טכנולוגיות המידע, שינוי מעולם שבו כדי ליצר מידע היה צריך להשקיע מאמצים ותכנון, לעולם חדש שבו הנתונים זורמים בשפע ממקורות שונים ומשונים שחלקם ההולך וגדל הינו לא-מפוקח.

בברכה
אדית
הנהלת האתר ביטלה גישת כתיבה ציבורית.

חוק המספרים הגדולים לא פועל בביג דטה 1 year 1 week ago #8344

  • Edith Ohri
  • Edith Ohri's Avatar
  • מנותק
  • Moderator
  • הודעות: 290
  • תודות שהתקבלו 1
  • קרמה: 0
זה שחוק המספרים הגדולים לא עובד בביג דטה אומר בין היתר, שהתוצאות של ניתוח ביג דטה רגיל (שאינו מתבסס על קבוצות) אינן נכונות אפילו לא בקירוב .
החיזוי היחיד שאפשר לקוות לו בניתוח נתונים רגיל הוא, לטווח קצר סביב נקודת החישוב. הערה: זה שהחיזוי מצליח בשוליים, אינו מעיד על נכונות חוקים ששמשו לו, אלא נובע פשוט מהעובדה שבטווח קצר רוב המשתנים נשארים קבועים במצבים נמשכים = במצבים שאינם משבריים או בלתי-רציפים.

בברכה
אדית
הנהלת האתר ביטלה גישת כתיבה ציבורית.

חוק המספרים הגדולים לא פועל בביג דטה 1 year 10 hours ago #8346

  • Edith Ohri
  • Edith Ohri's Avatar
  • מנותק
  • Moderator
  • הודעות: 290
  • תודות שהתקבלו 1
  • קרמה: 0
קצת הרחבתי עקב תגובה על כך שאי אפשר בלי חוק המספרים הגדולים לעשות סטטיסטיקה וmachine learning, אשמח לשאלות נוספות
gtdatamining.blogspot.co.il/2016/09/the-...rs-fails-in-big.html

בברכה
אדית
הנהלת האתר ביטלה גישת כתיבה ציבורית.

חוק המספרים הגדולים לא פועל בביג דטה 11 months 1 week ago #8350

  • Edith Ohri
  • Edith Ohri's Avatar
  • מנותק
  • Moderator
  • הודעות: 290
  • תודות שהתקבלו 1
  • קרמה: 0
להלן תגובה לפרסום הנושא ב- ResearchGate (שמתאימה לתגובה קודמת על הפרסום ב Linkedin):
חוק המספרים הגדולים מסתמך על ההנחה שערכי המשתנים מפוזרים שווה על פני המדגם (IDD - identically distributed). ההנחה לא מתקימת בביג דטה, להיפך אנחנו מחפשים דפוסי התנהגות נבדלים, ובהם "כיסי" התנהגות שונים ואפילו חריגים.
להבנתי, פיזור לא שווה משמעו שהנתונים תלויים במשתנה כלשהו (כרונולוגי או משתנה אחר שלפיו מסודר הקלט), אשר עשוי להיות הגורם האמיתי, מבחינה טכנית, ברגע שהמשתנים לא מפוזרים שווה, הקריטריון להתכנסות יהיה לא עקבי ולא בהכרח רציף, ויעמיד את יכולות החיזוי והאימות בכלל בסימן שאלה.
הערה: חוק המספרים הגדולים כן מתקים בתוך הקבוצות על פי תפיסת GT (כי הן הומוגניות) ובין קבוצות (מאחר והן בלתי תלויות). הומוגניות ואי תלות הן שתי תכונות של "רנדומליות" אשר לפי פרופ' יוסף אגסי היא התנאי ההכרחי לכל ניתוח נתונים.

בברכה
אדית
הנהלת האתר ביטלה גישת כתיבה ציבורית.
מנהלים: Edith Ohri
זמן יצירת העמוד: 0.187 שניות

Sap

Oracle

Informatica

SAS

Microstrategy

IBM

Microsoft

Qlikview

Teradata

Webfocus

קליק אחד ואתם מחוברים. מהיר .קל .מאובטח.

מעניין? שתפו דף זה באמצעות הטלפון הנייד

DWH :: דיון: חוק המספרים הגדולים לא פועל בביג דטה (1/1) - QR Code Friendly
Powered by QR Code Friendly

מאמרים

מגמות של ביג דאטה בעולם הביטוח
CA Technologies
SSIS - Buffer Size Optimization
קטגוריה ראשית
בדיקות BI ו-DWH לעומת הבדיקות בתחומים אחרים
קטגוריה ראשית
איסוף דרישות לפרויקטי BI
קטגוריה ראשית
כח המידע במיקוד
קטגוריה ראשית
0

הדף שלנו בפייסבוק

התחברות

כניסות למאמרים
6571305