Forum
  • Register
תנו לנו לייק וקבלו עדכונים ישירות לפיד
ברוך הבא, אורח
שם משתמש: סיסמא: זכור אותי

דיון: גם חוקי האופטימיזציה לא פועלים בביג דטה

גם חוקי האופטימיזציה לא פועלים בביג דטה 11 months 4 days ago #8351

  • Edith Ohri
  • Edith Ohri's Avatar
  • מנותק
  • Moderator
  • הודעות: 290
  • תודות שהתקבלו 1
  • קרמה: 0
אופטימיזציה זה דבר בסיסי כל כך שלא שמים לב למה ואיך זה קורה. בביג דטה (ואנסה להסביר עוד רגע) זה לא פועל. כדי לדעת אם ניתן לבצע אופטימיזציה על מדגם נתונים מסוים, אפשר לשאול אחרת, לדוגמא, האם התוצאה שנקבל היא הטובה ביותר, האם התוצאה מתכנסת כך שבמידה ונגדיל את המדגם היא תהיה יותר ויותר מדויקת, והאם בכלל יש בידינו פונקצית מטרה שמיצגת את כל השיקולים המענינים? כי דרוש ניסוח ברור של מטרה לצורכי פתרון מתמטי, ובאופטימיזציה תמיד יש שתי מטרות נוגדות, אחרת זה היה מקסמיזציה או מינימיזציה... המילה אופטימיזציה מצביעה על כך שהמצב הטוב ביותר נמצא לא בנקודות הקיצון אלא באמצע, מעין פשרה שניסחנו מראש את המשקל של כל אחד משיקוליה כדי לדעת בדיוק עד כמה מוכנים להקריב כל שיקול לטובת שיקולים אחרים למען השגת הטוב ביותר. גם אם אין פתרון מתמטי מתאים, עדיין פתוחה הדרך לאלגורתים של חיפוש. אלגוריתם כזה מצריך (למיטב זכרוני) שני דברים: קריטריון שמודד את המרחק מהמטרה או לפחות את השיפור בתוצאה, ותנאי מוקדם שההתקדמות תהיה מונוטונית, כלומר - שבכל צעד התוצאה תשתפר במשהו, ללא עליות וירידות מבלבלות, שהקריטריון ידע לבחור בכל נקודה את הצעד הבא בהתאם לאילוצים עד השגת פסגת המטרה.
ובכן, בביג דטה אין לנו אף אחד מהתנאים הדרושים. אפילו הגדרה מטרה עלולה להיות מבצע בסדר גודל של דןקטוראט. זאת משום שבביג דטה אי אפשר להניח כלום לגבי התנהגות הנתונים. יותר מזה, התנהגות הנתונים היא בכלל אחד הדברים שמעונינים ללמוד על הנתונים, ז"א לקבל בפלט ולא להכניס בקלט.
מה עושים אם כך? יש בכלל פתרון לניתוח ביג דטה?
לדעתי כן, והכיוון שלה הוא הפשטה ופישוט ובעיקר התפשטות מהמודל הישן. כמו שאמר ג'ון ברבידג' (הפרופסור מאונ' קרנפילד שקיבל תואר סיר ממלכת אנגליה על פועלו בכריית נתונים) "אם המצב מסובך מאד ונהיה יותר ויותר מורכב ומסובך, אין ברירה, צריך לעשות אותו ...פשוט". אגב, הוא ייחס את האמרה לפילוסוף קארל פופר, אך לא מצאתי לכך סימוכין.
מאחורי האלגוריתם החדש יש לא מעט התכתשויות תיאורטיות. הרחבתי קצת בדף הפרויקט "Philosophy of Data Science review for big-data analytics", למי שמתענין ואולי רוצה לתרום את דעתו, זה ב:
www.researchgate.net/project/Philosophy-...r-big-data-analytics

בברכה
אדית
הנהלת האתר ביטלה גישת כתיבה ציבורית.
מנהלים: Edith Ohri
זמן יצירת העמוד: 0.196 שניות

Sap

Oracle

Informatica

SAS

Microstrategy

IBM

Microsoft

Qlikview

Teradata

Webfocus

קליק אחד ואתם מחוברים. מהיר .קל .מאובטח.

מעניין? שתפו דף זה באמצעות הטלפון הנייד

DWH :: דיון: גם חוקי האופטימיזציה לא פועלים בביג דטה (1/1) - QR Code Friendly
Powered by QR Code Friendly

מאמרים

מגמות של ביג דאטה בעולם הביטוח
CA Technologies
SSIS - Buffer Size Optimization
קטגוריה ראשית
בדיקות BI ו-DWH לעומת הבדיקות בתחומים אחרים
קטגוריה ראשית
איסוף דרישות לפרויקטי BI
קטגוריה ראשית
כח המידע במיקוד
קטגוריה ראשית
0

הדף שלנו בפייסבוק

התחברות

כניסות למאמרים
6571305