המשך לחוק מס' 4 במדע הנתונים -הקמת השערות ע"י AI

Edith Ohri
Topic Author
Offline
Moderator

5 years 9 months ago - 5 years 9 months ago #8514 by Edith Ohri

המשך לחוק מס' 4 במדע הנתונים -הקמת השערות ע"י AI was created by Edith Ohri

דיון בשאלה שהועלתה לפני מספר ימים באתר ResearchGate -
מה (אם בכלל) יעודי בינה מלאכותית מעבר ללימוד ביג דטה?
זו שאלה מענינת. Machine-Learning זה אתגר מרכזי היום והמושגים שלו מתפתחים ולא תמיד ברורים – ראה ML AI ל'משנה איך תקרא לזה הכל אותו דבר .

אפשר לראות בשני הנושאים הבאים יעודי AI שמעבר ל-ML:
- איתור ססטמטי של דפוסים סמויים,
- והסבר סיבות השורש שלהם (הקמת השערות).

הרצון לגלות תופעות בצורה אוטומטית (אוביקטיבית וניתנת לשחזור) הוא אידאל נשאף של פילוסופים מראשית המהפיכה המדעית ועד ימינו. אך נושא הקמת השערות נשאר עד היום בחוץ. הסיבה נעוצה בפרדיגמה הסטטיסטית-אינדוקטיבית השלטת. אפשר להבין מדוע שימוש בסטטיסטיקה-אינדוקציה כבסיס ל-AI, אינו עוזר ואפילו מפריע בכך שמאשר או דוחה השערות ללא הצדקה.לדוגמא: בגילוי תופעות חריגות (כגון פריצות סייבר) מנגנון סטטיסטי אינו יכול לאשר תופעות נדירות. אותו הדבר לגבי התחלה של תופעות, שינויי מגמות וכן גם כל התנהגות בלתי צפוייה שבגלל היותה חסרת הגדרות אין לה ייצוג במונחי הקלט. אינדוקציה זה בעקרון פתרון טכני פשוט ולא-מדעי בבסיסו, שבגללו (וכתבתי על כך לא פעם בפורום DWH), ניתוח ביג דטה כפתרון כללי תקוע על שרטון שנים רבות.
אגב, מספרים שגלילאו בן זמנו של פרנסיס בייקון (שהכניס את החשיבה האינדוקטיבית לפנתאון), קטל את רעיון האינדוקציה כבר בתחילתו וכינה אותו "שטויות"...
חשוב להדגיש, שאת בעית הפרדיגמה האינדוקטיבית לא ניתן לישר באמצעות כח מחשוב! אלא רק על ידי תיקון עקרונות המדע, כך שקודם כל יהיו מתאימים למציאות כמו .שהיא, ולא רק לקטע שמודל מתמטי כזה או אחר יודע לטפל בו, ושנית – שיבדקו הנחות המעורבות במסקנות. על שני תיקונים אלה נסוב מדע הנתונים החדש.

בהקשר לשאלה על מקומו של ML ביחס ל-AI, מענינת תשובתו של Arturo Geigel .
ארתורו, שהוא להערכתי אחד היסודיים והמעמיקים בתחום אנליטיקס, אינו מסכים להגדרה של ML כתת-תחום של AI. לדבריו תכנות ML מנתחות די הרבה מידע שנמצא מחוץ לדפוסי התנהגות ש-AI מטפל בהם, כגון: תכנות NLP, ראייה, קול, chatterbot, ורשתות.

בברכה
אדית

Last edit: 5 years 9 months ago by Edith Ohri. Reason: ניסוח

Please התחברות to join the conversation.

Edith Ohri
Topic Author
Offline
Moderator

5 years 9 months ago #8515 by Edith Ohri

Replied by Edith Ohri on topic המשך לחוק מס' 4 במדע הנתונים -הקמת השערות ע"י AI

איך להקים מערכת AI מתוך מערכת שכבר קימת?

אפשר וגם עדיף להסתכל על המערכת הקימת כפלטפורמה לחדשה.
איך? פשוט
ע"י הוספת שלב offline שמשלים את שתי הפונקציות דלעיל: - איתור דפוסים סמויים והסבר סיבותיהם.
לעתים מספיק למצוא דפוס אחד שאינו בהכרח חשוב, כדי לפתור בעיות. זה מזכיר את הוספת ה-"0" למספרים, עצם הכללת גורם חדש בניתוח נתונים, הוא משמעותי לכל השיטה. לגופו של ענין, הוספת דפוס סמוי מעבירה אליו מקרים שאחרת מסתובבים חופשי ועושים "רעש". הסיווג המורחב מעלה את הדיוק והבהירות, ועוזר בכך להבין את הדפוסים הנחקרים.

דוגמא: תקלות בייצור שבאו על פתרונן אחרי הרחקת תופעה סמוייה.
התופעה הסמוייה היתה בדיקות איכות שהתגלה בהן חוסר עקביות. חלקמהן נערכו תוך כדי ייצור והתוצאות שלהן היו טובות, והיתר נערכו לפני שילוח ללקוחות ותוצאותיהן היו גרועות. התברר שהגורם להבדל הגדול ביניהן הוא טמפרטורות בדיקה שונות. ברגע שאחדו את הממצאים ו"ישרו"את הטמפרטורות, נעלם הרעש בנתונים ואפשר היה להתמקד ברכיב קטן אחד שבו לבסוף נמצא כשל טכני שהוא סיבת השורש. הכשל תוקן במחלקת הנדסה, והתובנה שלו (גורם הטמפרטורה) שולבה ככל הידוע לי במעקב השוטף על איכות המוצר. זה היה צעד נכון עוד לפני AI, ובטח נכון לעשות כעת, כשהדפוסים הם בסיס ללמידה אוטומטית ולההחלטות במאסות גדולות.
היתרון הגדול בגישה "רזה" הוא באפקטיביות של ה-AI, כולל שיפור, יעול והקטנת עלויות בשוטף ולטווח ארוך.

בברכה
אדית

Please התחברות to join the conversation.

Edith Ohri
Topic Author
Offline
Moderator

3 days 7 hours ago #8567 by Edith Ohri

Replied by Edith Ohri on topic המשך לחוק מס' 4 במדע הנתונים -הקמת השערות ע"י AI

קלסטרינג לעזרת הקמת השערות ב-AI

חוזרים ליוריסטיקה
יוריסטיקה נחשבה עד לא מזמן לדרגה נמוכה של ניתוח נתונים, לא יותר מכללי אצבע אינטואיטיביים ומהירים שאין עליהם אחריות. מי שרצה ניתוח נתונים מדויק ואמין, שניתן להצדקה אובייקטיבית ונשאר תקף לאורך זמן, הלך לכלים האנליטיים הכבדים. וזה השתלם, למרות מחירם הגבוה. כלים מכילים בתוכם ידע רב, הם בנויים לעבודת צוות, עקביים, מנהלים יכולים להסתמך עליהם במעקב ופיקוח על ביצוע מדיניות, וחשוב לא פחות - עומדות מאחוריהם חברות שדואגות במקרה של אי-הצלחה לגיבוי ולהסבר תיאורטי על אקראיות, Variance, זנב התפלגות, איכות קלט וכו'. ובכן, המעמד הירוד של היוריסטיקה השתנה לגמרי עם הופעת ה-Big Data ואחריו ה-AI, ואיתפ – נתונים לא-מפוקחים.
ה-Big Data אילץ את מנתחי הנתונים להשתמש בנתוני שטח מעורבים, מרובי משתנים, ממקורות שונים ובכמויות גדולות, שאינם מתאימים לנוסחאות אופטימיזציה (חקר ביצועים, אם מישהו עוד זוכר). בלית ברירה עברו האנליסטים משימוש בנוסחאות לאלגוריתמים יוריסטיים פרטיים, שמסתמכים על טכניקות כמו קיטום נתונים, "הנחות עבודה", חכמת המונים וידע מומחה, ובהמשך – למידת מכונה (Machine Learning – ML). את הוכחת הנכונות החישובית החליף שכנוע על סמך עדות לקוחות והדגמות, והגבולות שחצצו פעם בין כללים אינטואיטיביים וכללים מתמטיים הטשטשו. מצב זה החזיק איכשהו מעמד עד להופעת ה-AI, שטרף את מגדל הטלאי-על-טלאי שניסו להקים.
ה-AI הוכיח את הפלא הלוגי לפיו אפשר לייצר ידע ותובנות מ-Big Data על ידי מכונה שכוחה הוא בח מחשב אדיר, ולהגיע לתוצאות העולות על אלה של הבינה האנושית. שנים דנו מומחים בעולם בשאלה האם ניתן לייצר מכונה אינטליגנטית שלא רק תתחזה בשלמות לאדם (מבחן טורינג), אלא תהיה חכמה ממנו. בא ה-AI, הדגים שאפשר, וכאילו שם סוף לוויכוח.

התפקיד החדש של היוריסטיקה

ראשית כל, שיפור ביצועים של הבינה המלאכותית, על ידי צמצום "מרחב החיפוש", ניקוי ה-Big Data הגולמי וזיהוי אנומליות ראשוניות. לדוגמה, במחשב שחמט המערכת לא תחשב את כל מיליארדי המהלכים האפשריים עד סוף המשחק, אלא תתמקד במספר מהלכים שנראים מראש מבטיחים.
תכנון תהליכי אבחון אירועים סבוכים, ניתוח סיבות, חיזוי והמלצות. לדוגמה, בזמן נפילת שרת הוא יבדוק קודם כול שינויים אחרונים בקוד או "עומס תעבורה חריג", ולא את כל אלפי המשתנים שבאים בחשבון כגורמי כשל. ה-AI, כמו קודמו "מערכות מומחה", בונה את עצי ההחלטה שלו (חוקי If-Then) על פי ניסיון אנושי של מומחים. בצורה זו מגדירים, לדוגמה באבחון רפואי או באיתור תקלות במכונות, את הקשרים בין תסמינים לסיבות שורש.
איתור וסילוק אפשרויות פחות סבירות, במודלים לחיזוי (כמו מזג אוויר, מגמות שוק או מהלכים במשחקי אסטרטגיה).
הצעת קירוב "טוב דיו" (ומהיר יותר לאין שיעור), בבעיות שאי אפשר לבצע בהן אופטימיזציה מושלמת, מסיבות חישוביות. כגון: בעיות לוגיסטיות, ניהול סיכונים או תמחור..
בלמידת מכונה, שימוש ביוריסטיקות מובנות לגבי "התנהגות העולם", כגון ההנחה שאירועים קרובים יותר בזמן או במרחב משפיעים יותר. זאת במטרה לאפשר לאלגוריתמים להתגבר על אי-ודאות בחיזוי.
המשתמש עצמו נעזר ביוריסטיקה לדיאלוג בשפה טבעית עם ה-AI.
ה-AI מנצל כללים יוריסטיים גם להגדלת שביעות הרצון המשתמשים – לפעמים על חשבון איכות ההמלצות. לדוגמה: בהמלצות צפייה, רכישה או טיפול רפואי, הוא יתעדף המלצות שהמשתמש הגיב עליהן חיובית לאחרונה, וישלב אלמנטים רגשיים כדי לגוון, למנוע שיעמום, למשוך ולהגדיל את השימוש.

מה עדיף: אנליטיקה או יוריסטיקה?
האנליטיקה מוגבלת מאוד בסביבת Big Data, כמתואר לעיל. הנוסחאות הסטטיסטיות אינן יכולות לתפקד בתנאים לא-מפוקחים; באשר ליוריסטיקה, היא מסוגלת להשלים במקצת את צרכי ניתוח הנתונים ברמה של עזרה ראשונה וקביעת נקודת מוצא מקורבת לצורכי לימוד. תועלתה הגדולה היא במשימות החדשות של ה-AI: היא עוזרת לסקור במהירות כמויות עתק של מידע ולהשיב לשאלות בשפה חופשית דרך ממשק משתמש אוניברסלי, וכבר מוטמעת במודל הלמידה של ה-AI. אך מתודולוגיית החיזוי נשארה מאחור ואינה מספקת פתרון.
חיזוי הוא אתגר תיאורטי קשה שאינו מטופל כראוי. גם ML,, הנחשבת ל"מדעית", טועה בחיזוי שינויי מגמות, ולא יודעת להיחלץ מהמלכוד של חומר שגוי או מוטה שמוגש לה ללימוד. הכשל העיקרי של שיטות החיזוי נעוץ ברעיון האינדוקציה, לפיו יש לחשב את החיזוי על ידי השלכת (projection) הקורלציות (מתאמים סטטיסטיים) שהתגלו בעבר, בקו ישר לעתיד. הבעיה היא שקורלציות אינן בהכרח קשר סיבתי, וההנחיה להשתמש בהן לחיזוי מהווה סתירה פנימית ומשגה בסיסי של המודל הסטטיסטי, שמוביל באופן בלתי נמנע לטעות דווקא כשהחיזוי נעשה קריטי, בזמנים של שינוי.

להפוך את היוריסטיקה לכלי עבודה אנליטי
מהפכת ה-AI, בדומה למהפכת הדפוס באמצע המאה ה-15, פרצה דרך בהנגשת ידע להמונים. אך כדי שהיא תהפוך ליצרנית מידע אמין באמת, עלינו למסד את היוריסטיקה המוטמעת בה: לבטא במפורש את כלליה, להגדיר את תנאי הסף להתקיימותם, ולדרוש שיהיה להם הסבר הגיוני וסיבתי. כאן טמונה המלכודת של רוב מודלי החיזוי כיום.
הסופר מאיר שלו נהג להתלוצץ ש"מי שרוצה להיות גבוה – כדאי שישחק כדורסל", ברומזו לכך שחוקרים ופוליטיקאים מבלבלים לפעמים בין קורלציה אסוציאטיבית לבין סיבתיות ומגיעים למסקנות אבסורדיות.
הנקודה היא, שלא מדובר בבלבול משעשע וזה לא קורה רק לפעמים. זו התוצאה של הנחיה מטעה, כאמור, לבצע חיזוי על סמך קורלציות כאילו היו גורמים סיבתיים בלי להתיחס לתנאי הסף. והאוטומציה מחמירה את הטעות.
הפתרון האמיתי דורש בניית קבוצות דמיון היררכיות (המאפשרות ניתוח סיבות ותוצאות) – משימה שרק אלגוריתם קלסטרינג מתקדם, כדוגמת GT, מסוגל לבצע במלואה. עם זאת, ניתן להתנסות בתפיסה האנליטית הזו גם באמצעים יוריסטייםשאני מביאה כאן לראשונה. זהו פתרון חלקי, אמנם זהו פתרון חלקי, שיניב תוצאות מעטות יחסית לאלו של ה-GT, אך הוא מספק מסגרת לתרגול חשיבה מבוססת-סיבתיות, ולעתים מצליח להעלות תובנות מפתיעות.

להלן מתודולוגיה בת 6 שלבים לתרגול תפיסה זו:

לחלק את מאגר הנתונים לסט לימוד וסט מבחן (Training and Test sets).
לחלק את סט הלימוד לקבוצות שמייצגות, ככל האפשר, דפוסי התנהגות שונים. עבור כל קבוצה, יש לזהות ולהגדיר את המאפיינים הבולטים שלה (במתודולוגיה המלאה, שלב זה מבוצע אוטומטית על ידי אלגוריתם GT).
לאחר מכן - לסווג את נתוני סט המבחן לקבוצות על בסיס המאפיינים שהוגדרו לעיל.
למצוא קורלציות בתוך כל קבוצה בנפרד, (בעזרת הכלים שברשותך, כמו - רגרסיה לינארית של אקסל). בשלב זה יש להקפיד ולסנן החוצה כל קורלציה שאינה משקפת קשר סיבתי הגיוני.
לבצע אקסטרפולציה – חיזוי התוצאות בסט המבחן, על ידי החלת הקורלציות הסיבתיות (ששרדו את הסינון) על הקבוצות המקבילות בסט המבחן.
לתקן שגיאות בצורה איטרטיבית:

במקרה של כשל בחיזוי – יש לסלק את המשתנה בעל התרומה השולית הנמוכה ביותר באותה הקבוצה, ולחזור לשלב 3.
אם מוצה מאגר המשתנים והחיזוי עדיין נכשל – יש להחזיר משתנה שנופה בשלב 3 ולחזור אליו לבחינה מחודשת.
אם התהליך שוב נכשל – יש להשתמש בממוצע הקבוצה מסט הלימוד, במקום אקסטרפולציה, כעוגן לחיזוי קבוצות סט המבחן.
אם גם חיזוי זה נכשל – יש לבודד את הקבוצות הספציפיות הגורמות לכשל. במידה ומתברר שהן אינן רלוונטיות או מציגות התנהגות חריגה (Outliers), יש להסירן מקלט הנתונים ולחזור לשלב 2 ולהגדיר את הקבוצות מחדש.

6. להפיק ערך: לתרגם את הקורלציות שעמדו בהצלחה במבחן החיזוי להשערות עבודה ותובנות חדשות.

בברכה
אדית

Please התחברות to join the conversation.

Moderators: Edith Ohri

Time to create page: 0.239 seconds