התחברות

התחברות
x
או
x
הרשמה
x

או

קליק אחד ואתם מחוברים. מהיר .קל .מאובטח.

מעניין? שתפו דף זה באמצעות הטלפון הנייד

אירועים קרובים

מאמרים

מגמות של ביג דאטה בעולם הביטוח
CA Technologies
SSIS - Buffer Size Optimization
קטגוריה ראשית
בדיקות BI ו-DWH לעומת הבדיקות בתחומים אחרים
קטגוריה ראשית
איסוף דרישות לפרויקטי BI
קטגוריה ראשית
כח המידע במיקוד
קטגוריה ראשית
0

הדף שלנו בפייסבוק

ברוך הבא, אורח
שם משתמש: סיסמא: זכור אותי

דיון: הבעיה, שרוב הביג דטה לא במחסן הנתונים - והפתרון?

הבעיה, שרוב הביג דטה לא במחסן הנתונים - והפתרון? 6 years 2 months ago #8079

  • Edith Ohri
  • Edith Ohri's Avatar
  • Offline
  • Moderator
  • הודעות: 322
  • קרמה: 0
בקצב גידול מהיר שמכפיל כל שנה את כמויות המידע, ובמצב שבו כשלושת רבעי מנתוני הארגון נמצאים מחוץ למחסני הנתונים הרגילים, BIG DATA הופך לבעיה שמחיבת פתרון. למעשה יש כאן מספר בעיות: הנתונים לא מאורגנים, המבנה שלם לא אחיד, הגישה אליהם קשה, וכתוצאה קשה להפיק מהם מידע. להוסיף שמן למדורה, גם הדרישות של המשתמשים הולכות וגדלות. הרגלי השימוש במידע משתנים במהירות, כמו שכל אחד חש מנסיונו, ודברים שנראו פנטאסטיים לפני מספר שנים הם היום כמעט מובן מאליו - די להזכיר את הטלפון הסלולארי והיישומים שלו. המגמה של down-scaling במערכות הפכה את משמשי הקצה לצרכנים מחוזרים שדרישותיהם נלקחות ברצינות. המצב הזה עוד הולך ומחריף. אז מה עושים?

הפתרונות בנושא הם בעיקר טכנולוגיים, ומדברים על כח מחשוב, זכרון, מהירות, ויעילות. אך קצב הקליטה שלהם בארגון קטן מקצב הגידול במידע, נראה שצריך משהו מסוג אחר. המשהו האחר יכול להיות משני סוגים:
(א) תכנות מופלאות שידעו להכנס לדטה לא מאורגן ולהפיק ממנו ביעילות כל דרישה למידע;
(ב) שיטות לתעל את דרישות המשתמשים כך שיהיו צפויות ויניחו זמן להתארגן לקראתן.

סוג הפתרונות השני קוסם לנפש מהנדס הייצור שבקרבי, כי הוא אומר שאולי אפשר להחזיר את הגלגל אחורה ולעשות שהמשתמשים יזמינו רק מה שבמלאי ובלוח הזמנים שמתאים ליצרני המידע, כמו בימים הטובים (ליצרנים) כאשר הלקוח חיכה בסבלנות לקבל את מה שהיו מוכנים ליצר בשבילו.
אז יש לי חדשות. זה נשמע אולי כמו פאנטזיה, אבל אציג להלן מספר נקודות, שעונות לצורכי המשתמשים וגם אלה של ספקי המידע.
  1. למה המשתמש רוצה כל כך הרבה מידע? תשובה, כי לא ברור לו היכן נמצא המידע שהוא מחפש.
  2. איך לעשות שידע היכן למצוא את המידע? תשובה, להציע לו הגדרות, אפיונים, קשרים, לסיוע.
  3. האם אפשר לתיג את כל המידע? תשובה, כן.
  4. איך? לבנות אפיונים כשכבת META-DATA מעל הנתונים.
  5. אבל איך אפשר, הרי הכמויות הן אינסופיות? תשובה, ובזה אסים, אפשר לאפין קבוצה חלקית של נתונים, ואחר כך להרחיב את ההגדרות על פי חוקיות האפיון.
אתן דוגמא מספר הטלפונים... נניח שיש ספרי טלפונים לקוויים, סלולאריים, אינטרנטיים, ושל מכשירים יעודיים. ונניח שרק הקוויים נמצאים בבסיס הנתונים והיתר לא. ונניח עוד שחקרנו ומצאנו שאפיון מקום המשתמש חוזר על עצמו ומתקשר לכתובת בקוויים, למיקום הרשום באמצעי התשלום בסלולאריים, ולמיקום GPS באחרים. עכשיו לא יהיה קשה לאתר במהירות את הנתון של מיקום המשתמש בכל יתר הרשומות שלא נבדקו על ידינו, ולהשתמש בפרט הזה להפקת פלט (המקור לדוגמת הטלפונים נמצא ב -http://www.dwh.co.il/component/kunena/4-DataMining/5818-%D7%94%D7%A2%D7%A8%D7%9A-%D7%A9%D7%9C-%D7%9E%D7%99%D7%93%D7%A2-%D7%9E%D7%A6%D7%98%D7%91%D7%A8)

אדית
הבית של GT data mining

בברכה
אדית
הנהלת האתר ביטלה גישת כתיבה ציבורית.
מנהלים: Edith Ohri
זמן יצירת העמוד: 0.167 שניות

Microsoft

Oracle

IBM

Informatica

Sap

SAS

Qlikview

Cloudera

Machine Learning