כריית נתונים בזמן אמת באתר אינטרנט

שלום כולם,

אני מחפש פתרון טכנולוגי/אלגוריתמי שניתן לשלב בקלות יחסית באתר אינטרנט שיודע לנתח התנהגות גולש/צרכן ולהציע לו מוצרים שמתאימים לצרכיו בהתאם למידע שנאסף על גולשים אחרים.

לצורך העניין ואם להשתמש בדוגמא מפושטת, הבא נניח כי אתר אינטרנט מכיל 100,000 מתכונים ו-100,000 גולשים רשומים.
הגולשים מטיילים באתר, מגיעים לעמודים שונים ויכולים לתת לכל מתכון ציון חיובי או שלילי, כאשר כל המידע נאסף ונשמר במסד נתונים.

הפתרון שאני מחפש צריך לדעת להתמודד עם כל הנתונים שנאספים (מליוני עד עשרות מליוני רשומות) ולהציע לגולש בזמן אמת מתכונים שעשויים למצוא חן בעיניו בהתאם לאלגוריתם שבודק איזה מתכונים אהבו גולשים בעלי העדפות קולינאריות דומות לאלו של הגולש שכרגע צופה באתר.

אשמח להכוונה.

ישי, שלום

בשביל הצורך שאתה מתאר Association rules נראה לי הפתרון המתאים. זה ייתן לך את הצעד הבא המסתבר ביותר של משתמש חדש, לפי נסיון העבר.

חסרונות:
1. החוקים מתיחסים לכל האוכלוסייה כלדפוס התנהגות אחד.
2. מגמות חדשות לא יראו בחוקים האלה.
3. העדפות מורכבות לא יכולות להיכלל פה, כי מבנה החוקים הוא שטוח, בלי היררכיה (ככל שידיעתי מגעת).

יתרונות:
1. Association rules הוא רעיון וותיק, ויש סיכוי טוב למצוא פתרון לא-יקר ואפילו חינמי ברשת.
2. זהו פתרון אולי שטחי אבל מהיר, ותוצאותיו ברורות וניתנות לפרשנות זריזה.
3. אם התוצאות שלו טובות, אפשר לשלב אותו בהחלטה אוטומטית של ניתוב תהליכים באתר שלך.


אם לא קלעתי לדעתך בטעות,  אנא חזור להמשך.

כללית, נתונים פרטניים על מבקרים באתר, ההעדפות שלהם, ואולי גם סטטיסטיקה נוספת על פעולותיהם באתר - אלה הם נתונים מצוינים. אפשר להפיק מזה עם GT מסקנות רבות ערך. אם מענין אותך, פנה אלי.

אדית

edit@actcom.co.il

שלום ישי,

ביימים אלה אני (כחלק מבחרת מוביוס פתרונות) מיישם פתרון, הדומה לזה שאתה מתאר, באתר אינטרט ישראלי מוביל.

אשמח לשמוע קצת יותר על הדרישות שלך, ואולי אוכל לתת עצה.

אפשר ליצור עמי קשר במייל (shahar_c@mobius-solutions.org) או בטלפון (054-6565660).

בהצלחה,
שחר 

אדית, שחר, תודה על התגובה המהירה.

לגבי Association rules, אני נאלץ להודות בצער שאני לא מכיר מספיק את התחום, לכן נראה לי שאני צריך להכין קצת "שיעורי בית" וללמוד את הנושא יותר לעומק.

האם יש מקום בו מומלץ להתחיל (מעבר לחיפוש פשוט בגוגל)?

ישי,

1. ייתכן שמקרה דומה למה שתיארת שמישם חוקים אסוציאטיביים, נמצא בכתובת: www.codeprof.com/dev-archive/56/19-81-563486.shtm

2. לפני שבוע ניתנה הרצאה טובה בנושא מטעם מיקרוסופט ע"י  Rafal Lukawiecki.
חפש במיקרוסופט בהורדות, ייתכן שקימת גרסת נסיון שתתאים למערכת שלך.

3. אולי תמצא גם ענין בפורום Microsoft בנושא Association Rules.


צר לי שאין אפשרות לתת לך קישורים מדויקים, יש חומר רב מאד בנושא, והתשובות תלויות בהעדפות האישיות.
אם לא תמצא פתרון מתאים, חזור אלי. מהתיאור שנתת, אני סבורה שאפשר להוציא מהנתונים מידע בעל ערך.

אדית

ישי, שלום

לגבי שאלתך, על כלי לכריית מסד-נתונים של אתר ברשת, לצורך הצעת מוצרים מתאימים לפי התנהגות המבקרים באתר.

יש בידי פתרון חדש, שמוצא דפוסי התנהגות לכל כמות של נתונים.
צור קשר. או אם בינתיים הגעת לפתרון מעשי, אשמח לשמוע/לקרוא על זה.

אדית
edit@actcom.co.il

האינטרנט, ורשתות טלקומוניקציה בכלל, הם ללא ספק מקורות המידע הגדולים והאתגר לכל DM שמכבד את עצמו. DM באינטרנט שונה מניתוח מידע אחר ברמת הסיבוך שלו. האינטרנט הוא לא בשליטה, יש בו דינאמיקה ותערובת לא ידועה של תופעות לא מזוהות, והכמויות שלו הן בד"כ גדולות יותר (כל אלה מקשים על הלימוד שמנתחי נתונים עושים, בשביל להבין במה מדובר, ו"מי נגד מי").
הסיבוך מצריך שה-DM ידע לנתח נתונים כאלה שאינם מזוהים,  אינם מפוקחים, וכו'.

יש שמאמינים שאפשר להתגבר על הסיבוך בעזרת כח מחשוב רב. לכאורה זה נשמע הגיוני, נניח, "להריץ מיליוני נתונים והשערות, ולבחור מהם את החוקיות הקרובה ביותר לאמת".
המסתיגים משימוש ב- brut force אומרים שהכל תלוי אם הפתרון הוא מתכנס: אם הפתרון לא מתכנס, ובשלבים שונים הוא מצביע על תוצאות אחרות, לעולם לא נדע היכן אנחנו עומדים, ואי אפשר לסמוך על זה. הסתיגות נוספת היא, שהניתוח האוטומטי המאסיבי, עלול להתקע בסופו בתוצאות טריוויאליות (כגון: "גורם הסיכון העיקרי לגירושין הוא נישואים, כי נמצא מתאם מלא בין המתגרשים להיותם נשואים קודם").
ההסתיגות שלי מ brut force היא בגלל שהתשובות שלו הן לא אינטליגנטיות, כלומר - החישובים המתמטיים שלו לא מספקים הסבר ואין אפשרות לבדוק אותם.



המודל והצעדים שאני ממליצה ל-DM באינטרנט הם:
(א) אבחון טוב של התופעות והגורמים שלהן, והגדרת חוקים;
(ב) קביעת סמנים לזיהוי אירוע חדש, ז"א שיוך שלו לתופעה;
(ג) טיפול שוטף (במערכת התפעול) באירועים בהתאם לשיוך שלהם לתופעות ולחוקים דלעיל.

דוגמאות: הצעת חבילות נופש לתירים על פי נסיון העבר, תחזית הפעילות בהתאם לתנאים הנוכחיים, מתן הנחיות לפתרון תקלות, תכנון מרכז שירות אופטימליים בהתאם למאפיני עומס, ועוד.

אדית
users.actcom.co.il/~edit#GT