המשך לחוק מס' 4 במדע הנתונים -הקמת השערות ע"י AI

דיון בשאלה שהועלתה לפני מספר ימים באתר ResearchGate -
מה (אם בכלל) יעודי בינה מלאכותית מעבר ללימוד ביג דטה?
זו שאלה מענינת. Machine-Learning זה אתגר מרכזי היום והמושגים שלו מתפתחים ולא תמיד ברורים – ראה ML AI ל'משנה איך תקרא לזה הכל אותו דבר .


אפשר לראות בשני הנושאים הבאים יעודי AI שמעבר ל-ML:
- איתור ססטמטי של דפוסים סמויים,
- והסבר סיבות השורש שלהם (הקמת השערות).

הרצון לגלות תופעות בצורה אוטומטית (אוביקטיבית וניתנת לשחזור) הוא אידאל נשאף של פילוסופים מראשית המהפיכה המדעית ועד ימינו. אך נושא הקמת השערות נשאר עד היום בחוץ. הסיבה נעוצה בפרדיגמה הסטטיסטית-אינדוקטיבית השלטת. אפשר להבין מדוע שימוש בסטטיסטיקה-אינדוקציה כבסיס ל-AI, אינו עוזר ואפילו מפריע בכך שמאשר או דוחה השערות ללא הצדקה.לדוגמא: בגילוי תופעות חריגות (כגון פריצות סייבר) מנגנון סטטיסטי אינו יכול לאשר תופעות נדירות. אותו הדבר לגבי התחלה של תופעות, שינויי מגמות וכן גם כל התנהגות בלתי צפוייה שבגלל היותה חסרת הגדרות אין לה ייצוג במונחי הקלט. אינדוקציה זה בעקרון פתרון טכני פשוט ולא-מדעי בבסיסו, שבגללו (וכתבתי על כך לא פעם בפורום DWH), ניתוח ביג דטה כפתרון כללי תקוע על שרטון שנים רבות.
אגב, מספרים שגלילאו בן זמנו של פרנסיס בייקון (שהכניס את החשיבה האינדוקטיבית לפנתאון), קטל את רעיון האינדוקציה כבר בתחילתו וכינה אותו "שטויות"...
חשוב להדגיש, שאת בעית הפרדיגמה האינדוקטיבית לא ניתן לישר באמצעות כח מחשוב! אלא רק על ידי תיקון עקרונות המדע, כך שקודם כל יהיו מתאימים למציאות כמו .שהיא, ולא רק לקטע שמודל מתמטי כזה או אחר יודע לטפל בו, ושנית – שיבדקו הנחות המעורבות במסקנות. על שני תיקונים אלה נסוב מדע הנתונים החדש.

בהקשר לשאלה על מקומו של ML ביחס ל-AI, מענינת תשובתו של Arturo Geigel .
ארתורו, שהוא להערכתי אחד היסודיים והמעמיקים בתחום אנליטיקס, אינו מסכים להגדרה של ML כתת-תחום של AI. לדבריו תכנות ML מנתחות די הרבה מידע שנמצא מחוץ לדפוסי התנהגות ש-AI מטפל בהם, כגון: תכנות NLP, ראייה, קול, chatterbot, ורשתות.

איך להקים מערכת AI מתוך מערכת שכבר קימת?

אפשר וגם עדיף להסתכל על המערכת הקימת כפלטפורמה לחדשה.
איך? פשוט
ע"י הוספת שלב offline שמשלים את שתי הפונקציות דלעיל: - איתור דפוסים סמויים והסבר סיבותיהם.
לעתים מספיק למצוא דפוס אחד שאינו בהכרח חשוב, כדי לפתור בעיות. זה מזכיר את הוספת ה-"0" למספרים, עצם הכללת גורם חדש בניתוח נתונים, הוא משמעותי לכל השיטה. לגופו של ענין, הוספת דפוס סמוי מעבירה אליו מקרים שאחרת מסתובבים חופשי ועושים "רעש". הסיווג המורחב מעלה את הדיוק והבהירות, ועוזר בכך להבין את הדפוסים הנחקרים.

דוגמא: תקלות בייצור שבאו על פתרונן אחרי הרחקת תופעה סמוייה.
התופעה הסמוייה היתה בדיקות איכות שהתגלה בהן חוסר עקביות. חלקמהן נערכו תוך כדי ייצור והתוצאות שלהן היו טובות, והיתר נערכו לפני שילוח ללקוחות ותוצאותיהן היו גרועות. התברר שהגורם להבדל הגדול ביניהן הוא טמפרטורות בדיקה שונות. ברגע שאחדו את הממצאים ו"ישרו"את הטמפרטורות, נעלם הרעש בנתונים ואפשר היה להתמקד ברכיב קטן אחד שבו לבסוף נמצא כשל טכני שהוא סיבת השורש. הכשל תוקן במחלקת הנדסה, והתובנה שלו (גורם הטמפרטורה) שולבה ככל הידוע לי במעקב השוטף על איכות המוצר. זה היה צעד נכון עוד לפני AI, ובטח נכון לעשות כעת, כשהדפוסים הם בסיס ללמידה אוטומטית ולההחלטות במאסות גדולות.
היתרון הגדול בגישה "רזה" הוא באפקטיביות של ה-AI, כולל שיפור, יעול והקטנת עלויות בשוטף ולטווח ארוך.