לימוד SAS

שלום לחברי הפורום,

בהמשך לכנס ה-BI בו נכחתי היום שהשאיר אותי עם טעם של עוד, החלטתי לנסות ולהעמיק את הידע שלי בתחום (שנכון להיום אינו רב לצערי), כאשר חשבתי שמקום טוב להתחיל בו יהיה לימוד מעמיק של SAS Enterprise Miner (אגב, אם למישהו יש המלצה על נקודת התחלה שונה אשמח לשמוע).

בהתאם לכך מספר שאלות:
1. האם ניתן להשיג או לרכוש במחיר מוזל רישיון זמני למטרת התנסות ולימוד?
2. ואם כבר מדברים כמה עולה רישיון אמיתי לשימוש מסחרי בתוכנה?
3. האם יש ספר או קורס עליו הייתם ממליצים (יש לי רקע טוב בתכנות וב-DB כך שאני מחפש משהו שיגיע ישר לתכלס)?

תודה,
ישי

ישי, שלום
גם אני נכחתי בכנס המענין ל-BI של 'סטטוס'.
האם הענין שלך הוא למצוא כלים בשביל שירותי אינטרנט?

ברר אצל נציגי SAS בארץ, נראה לי שהם הכתובת לחומר וערכות הלימוד שציינת. אשמח לשמוע מה העלית בחכתך אצלם.  כל תכנה היא טובה להתחלה בתור נקודת התיחסות.
בשוק מסתובבים אלפי פתרונות כריית נתונים, חלקם בעלי גרסא חינמית להתנסות. הצרה היא, שהאפקטיביות שלהם נמוכה וסף הדרישות שלהם לאיכות נתונים הוא גבוה. הם משתמשים בסטטיסטיקה או רשתות עצביות, ולא עוזרים הרבה בנתונים מורכבים ומסובכים כמו אלה שבאינטרנט.

מדי פעם יוצא לי לקרוא ספרות כריית נתונים, וממש לא מתלהבת  ??? (זה האיקון הקרוב ביותר לשערות סומרות). האנטיתזה לנירת, וזו ההמלצה שלי, היא לקחת מספר דוגמאות קטנות של נתונים אמיתיים, 'לשחק' איתם במחשב הפרטי, ולבדוק מיד ראשונה מה קורה.
הפורום הזה מיוחד בכך שהוא מציע פתרון hands on: להציג פה נתח נתונים להדגמה והתיעצות. (אם תרצה בזה, התקשר אלי edit@actcom.co.il).

צריך להגיד מראש, מטעמי גילוי נאות,  יש לי כלי אחר לכריית נתונים שנקרא GT. הוא מה שנקרא SAAS כלומר, Software Application as Service.  אך זה לא משנה, אם תציג פה את הנתונים, תהיה יכול לקבל מושג ולהשוות בעצמך. 

בברכה,
אדית

הי ישי,

לגבי רשיונות וגרסת נסיון - פנה למיה מחשבים, נציגי SAS בארץ, שמעתי שבמקרים מסוימים הם מעניקים גרסאות נסיון. הם גם יתנו לך מידע מדויק בנוגע למחיר הרשיון (יש כמה סוגי רשיונות, אני לא יודע עד כמה אני מעודכן, אבל רשיון בסיסי אחד זה סביב 30 אלף דולר).

אני הייתי מתייחס ל- Enterprise Miner כאל "ארגז כלים" לבעל המקצוע בתחום כריית הנתונים. יש עוד כמה ארגזי כלים: Clementine של חברת SPSS, Insightful Miner של חברת Insightful, Weka (בעצם Open Source של אלגוריתמים לכריית נתונים), R (תוכנה שפה ליישומים סטטיסטיים - חינמית), ויש עוד די הרבה. לדעתי, אם אתה רוצה להיכנס לתחום, כדאי להתחיל עם קצת רקע תיאורטי על מהן סוגי הניתוחים שאפשר לבצע, מהם השלבים בפרויקט כריית נתונים, איזה אלגוריתמים קיימים, כיצד הם פועלים ומה המאפיינים שלהם, וכדומה. התנסות עם כלי הייתי יוזם כשלב שני (או אולי במקביל לחלק התיאורטי).

כך או כך, בהצלחה,
שחר

שחר: שכחת את Sql Server שגם שם הם התקדמו מאד בתחום (ככה נראה לי-אני לא מומחה לDM )

ישי: תפנה למיה מחשבים ואם הדברים יתעכבו תודיע לי ואראה מה אני יכול לעשות.

תמיר

תודה לעונים.
אני אברר מול מיה מחשבים את הנושא הכספי.

אדית,
העניין שלי הוא קודם כל להכיר יותר טוב את התחום תוך התנסות מעשית באחד הכלים, כאשר בהמשך אני מאמין שהידע הזה ינוצל ללא מעט תחומים, לרבות מציאת כלים עבור שירותי אינטרנט.
בכל מקרה, אשמח להסבר נוסף מדוע רוב הכלים לא מתאימים לאינטרנט, האם את בעצם מתייחסת למידע המופיע בתוך עמודי HTML שמצריך ניתוח טקסטואלי מסויים על מנת לחלץ ממנו נתונים בפורמט אחיד?

שחר,
האם יש ספר/קורס/אתר כלשהו עליו אתה ממליץ בשביל לקבל את הידע התיאורטי הנחוץ לגבי סוגי ניתוחים, שלבים בכריית נתונים וסוגי אלגוריתמים?

מדוע "רוב הכלים לא מתאימים לאינטרנט"?

כידוע, מידע שמופק מהאינטרנט מכיל נתונים דינאמיים לא מפוקחים, מגוונים, ולא מוכרים. זאת בעיה.

המודלים מבוססי הסטטיסטיקה מחייבים מידגם מיצג, ופונקציית מטרה מוגדרת, כלומר הכרת התנהגות המישתנים. תנאי זה לא מתקים בנתוני אינטרנט והמודלים לא מספקים את הסחורה.

נשארו המודלים מסוג רשתות עצביות. אלה מחייבים כמות גדולה של נתונים בתנאים חיצוניים קבועים (אחרת תתקבל תמונה מטושטשת). שוב, התנאי לא מתקים בסביבה של אינטרנט, וכתוצאה לא מוציאים בדרך זו תוספת ידע ממשית מהנתונים.

יש כאלה שמאמינים שעדיף להתבסס על נסיון וידע אישי. גם לגבי זה יש ספק גדול: בני אדם לא יכולים לראות קשרים רבי מישתנים, ו'משטיחים' בגלל זה את ייצוג הידע. בנוסף, גישת ה'סמוך על המומחה' היא לא שקופה לגבי הצדקת המסקנות, ומקשה על הלימוד.

מומחי כריית נתונים שערים לבעיות דלעיל מציעים לשלב את הפתרונות, בתקווה שמה שאחד מחמיץ השני אולי יתפוס. השילוב מומלץ למזוכיסטים, בתור עונש וגם טיפול גמילה.


- אדית

[size=10pt]האם את בעצם מתייחסת למידע המופיע בתוך עמודי HTML שמצריך ניתוח טקסטואלי מסויים על מנת לחלץ ממנו נתונים בפורמט אחיד?

בהתיחסות הקודמת חשבתי על טבלת נתונים, לא על טקסט חופשי. המודל שלי (GT) מיועד לעיבוד נתונים טבלאיים, בעקרון אך כשאין ברירה מוצאים דרכים...
בעבר, כשנדרשתי לתת פתרון כריית נתונים למסמכים של טקסט חופשי, השתמשתי בשדות המובנים שלהם. יצרתי מהשדות המובנים האלה טבלת קלט אלפא-נומרית.
זה עבד יפה, ולכן לא הלכתי רחוק יותר למיצוי המידע הטקסטואלי. כמו תמיד, הכל שאלה של cost effectiveness.


בברכה,
אדית

שחר: שכחת את Sql Server שגם שם הם התקדמו מאד בתחום (ככה נראה לי-אני לא מומחה לDM )

ישי: תפנה למיה מחשבים ואם הדברים יתעכבו תודיע לי ואראה מה אני יכול לעשות.

תמיר

הי תמיר,

מיקרוסופט אכן התקדמו מאוד עם Analysis Services של SQL Server. יחד עם זאת, בשונה מ Clementine של SPSS ו Enterprise Miner של SAS, אין מדובר בארגז כלים. אני לא חושב שמישהו משתמש ב SQL-Server אך ורק ככלי כריית נתונים. בד"כ השימוש ביכולות כריית הנתונים של SQL Server מתאימות למי שממילא משתמש במנוע בסיס הנתונים של הכלי.

שחר

שחר,
האם יש ספר/קורס/אתר כלשהו עליו אתה ממליץ בשביל לקבל את הידע התיאורטי הנחוץ לגבי סוגי ניתוחים, שלבים בכריית נתונים וסוגי אלגוריתמים?

הי ישי,

אינטרנט: האתר של KDnuggets (כתובת www.kdnuggets.com ) מכיל די הרבה לינקים למגוון מקורות (זה אתר רציני, ואפשר לסמוך על הלינקים שלו).

ספרים: Data Mining techniques: for marketing, sales and CRM, מאת Berry ו Lindoff (דגש על יישומים בתחום אנליזת לקוחות).
Machine Learning של Tom Mitchel (ספר ותיק, אבל חזק ביותר בחלק של האלגוריתמים).

שחר

שחר, תודה על ההפניות.
נראה שיש שם מספיק חומר בשביל למלא את כל הזמן הפנוי שלי בתקופה הקרובה

לגבי מחיר הרישיון של SAS, ביררתי והוא אכן עולה כמה עשרות אלפי דולר, מה שאומר שבינתיים אני אתחיל מלימוד של כלים פשוטים יותר.

ישי,

אם תתיאש מקריאת ספרות, חוזרת להצעה הראשונה: שלח לי נתונים לדוגמא ונפצח אותם כאן ביחד.

בהצלחה בכל מקרה!

אדית