תחילתו של Dark Data:
טבעתי את המושג DARK DATA במצגת(*) שכותרתה The world of Data dark matter. זה היה לפני כ-4 שנים, כש Big Data היה בקושי מוכר אך התופעה של שטפון נתונים מעורבים ממקורות לא מפוקחים כבר הורגשה היטב.
האקדמיה למדעים, בקבוצה הנקראת Codata, הקדישה לכך תשומת לב רבה, בכינוס שערכה בארץ בפברואר 2013. בכינוס נדונו אפשרויות ניצול נתונים חיישנים פיזיולוגיים לצורכי מעקב בריאות, מניעה והשגחה רפואית על קשישים (וחולים בכלל), בעיקר כאלה הנמצאים בביתם.
במסגרת זו הצגתי את פירותיו של מחקר משותף עם פרופ' יצהל ברנר, על גורמי נפילות קשישים. המחקר התמקד בתפיסה חלופית לאנליטיקס המקובל, בשם GT data mining, שעיקרה הוא איתור תופעות סמויות וגורמי מפתח בתוכן.
הגדרה של Dark Data: נתונים חשוכים הם נתונים לא מפוקחים (unsupervised), שמכילים תופעות סמויות, עליהן ניתן להסיק בעקיפין בלבד ואי אפשר להבחין בהן אחרת.
את המונח Dark Data שאלתי לשם המחשה מ "Dark Matter" של פיזיקה. נתונים כאלה מצויים בחושך בגלל מגבלות הכלים האקטיביים והפאסיביים כולל החושים שלנו - המגבלות של הפנסים, הראדאר, המצלמות, המיקרסקופים והטלסקופים - כל מה שהיה אמור לגלות את התופעות הסמויות ("חומר"), אך לא מחזיר שום אות ולכן סבורים שאין שם כלום.
הערה: בפתרון של GT כל הנתונים מוגדרים כ"חשוכים" כתור נקודת מוצא לאנליטיקס.
התיאוריה של נתונים חשוכים ותופעות סמויות עוסקת לפי GT בשני אתגרים מרכזיים: (א) הסקה עקיפה לגבי קיומם של תופעות וקשרים סמויים, ו(ב) אישוש היפותזות דלעיל.
