bi analyst

דירוג משתמשים: 4 / 5

Star activeStar activeStar activeStar activeStar inactive
 
 מאמר

מאת:יגאל כהן המשמש כראש תחום בגילון ומנהל פתרון ה Data Quality Assurance בחברה

פיתוח של מערכת ארגונית המאגדת מידע ממקורות רבים דורשת מהארגון השקעה של מאמץ רב. בפיתוח של מערכות חוצת ארגון כמעט שאין גוף בארגון שאינו שותף לפיתוח המערכת, בהעברת ידע או בשותפות לתהליך הטכני המורכב הכרוך בהקמתו.
ככזה הארגון רואה את המערכת שפותחה כהשקעה וכנכס שיש לשמור עליו לאורך זמן.

אחת המערכות הארגוניות המורכבות הללו היא כמובן מערכת ה Data Warehouse.

המגמות הקיימות היום בשוק מגבירות את חשיבותה של מערכת זו, כאשר בין הגורמים המשפיעים על מגמות אלו ניתן למנות את הנקודות הבאות:

- תלות במערכות אלו לצורך קבלת החלטות

- תקנות ונהלים : SOX, Basel II, שקיפות דיווח

Mergers & Acquisitions -

- הגברת פעילויות יזומות מול לקוחות

- דרישת מידע בזמן אמת

- ריבוי משימות ופרויקטי אינטגרציה

- ריבוי פרויקטי הסבה

- מערכות ה - BI מהוות מקור למערכות תפעוליות

- דרישה לחסכון במשאבי תפעול

- יבוא נתונים חיצוניים

 

מתוך רצון להימנע מכישלון ואבדן ההשקעה במערכות אלו אנו מנסים להימנע מכל גורמי הכשל הידועים כגון פריצת התיחום המקורי של הפרויקט ולו"ז. מתוך ניסיונה של חברת גילון בפרויקטי BI קיימים גורמי כשל מהותיים נוספים:

- כישלון בהטמעה - היכולת של המשתמשים בארגון להשתמש בכלי הניתוח מעל אוסף הנתונים שמערכות ה BI יוצרות. מערכת ה BI היא מקור הנתונים לדיווחי המידע בארגון -  אמת ארגונית אחת

- חוסר אמינות בנתונים שהמערכת מציגה - בעיות אמינות בנתונים יגרמו למשתמשים להתרחק מהמערכת ולהבעה של אי אמון בה.

 

לחוסר האמינות בנתונים יכולות להיות השפעות שונות כגון:

- אובדן הכנסות

- חישובי כדאיות שגויים

- פגיעה באיכות הקשר עם הלקוחות

- הגברת אי הוודאות בקבלת החלטות

- אובדן האמון של המשתמשים במערכות המידע

- השקעת משאבים מיותרת

- ויכוחים על הנתונים במקום על המהות

- האשמות הדדיות

gilon05

 

 

השפעת איכות הנתונים

 

בעוד תהליך ההטמעה הוא תהליך ארגוני המבוצע לקראת סיום הפרויקט מול המשתמשים, תהליך הטיפול באמינות הנתונים מתבצע לאורך כל שלבי הפרויקט, על מנת לוודא את ביצועו הנכון ושמירת הנכס לאורך זמן הוא צריך להיות מבוסס על מתודולוגיה מובנת ומוכחת.

 

על פי הגישה שפותחה בגילון העקרונות המנחים של תהליך מסוג זה צריכים להיות עקרונות שתפקידם לזהות את הבעיות בנתונים ובתהליך ה ETL, קרוב ככל האפשר למועד התהוותם ובנקודות קריטיות מוגדרות המאפשרות קבלת החלטה. יחד איתם אנו רוצים שאיתור בעיות יהיה יסודי ולא ידרוש מאיתנו את שחזור הלוגיקה עסקית שנבנתה בתהליך ה ETL  או מעבר פרטני על הנתונים, תהליך הבקרה צריך להיות תהליך חיצוני המבקר את אופן יצירת הנתונים.

על מנת לתמוך בעקרונות אלו נגדיר תחילה מהם נתונים איכותיים, לאחר מכן נגדיר את השיטות האפשריות לטיפול בנתונים אלו, ולבסוף מהם השלבים אותם יש לבצע על מנת לקיים פרויקט מוצלח.

 

זיהוי של בעיות באחד מהמדדים המגדירים נתון איכותי מהו (דיוק, שלמות, עקביות, מהימנות וייחוד) משמעותו בעיה באיכות הנתונים. אנו צריכים להפעיל מערך בדיקות מובנה הסורק את הנתונים ובוחן אותם, להלן הסוגים הקיימים:

Parsing and Standardization - - פרוק הטקסט לחלקים, פירמוט התוצאה והשוואתה לערכים -מקבילים.

Cleansing - - בדיקת התאמה של הנתונים על סמך החוקים העסקיים

Matchin g - - פרוק ואיחוד נתונים בהסתמך על חוקים עסקיים

Profiling - - ניתוח סטטיסטי של הנתונים וזיהוי בעיות על פי מתאם סטטיסטי

Enrichment - - העשרה מתוך מקורות חיצוניים ועל סמך מאפיינים קיימים וחוקים מוגדרים.

Monitoring - - ביצוע סט בקרות שנבנה מתוך הלוגיקה העסקית

 

מערך הבקרה בנוי משתי גישות, הגישה האחת, מתערבת בתוכן מתקנת ומשנה אותו. הגישה השנייה רואה את האחריות לטיפול בנתון השגוי במערכת המקור, אינה מתקנת את הנתונים אלא מציפה את הבעיות לטיפול.
עבור איכות נתונים המתייחסת למערכת התפעולית הגישות משלימות, האחת מזהה בעיות והשנייה מתקנת. עבור איכות נתונים במערכות BI, טיפול במערכת המקור בלבד לא יפתור את בעיית אמינות הנתונים, ישנן בעיות שלא ניתנות לזיהוי וטיפול במסגרת המערכת התפעולית, כגון: בתהליך האינטגרציה מתגלה סתירה בין הנתונים של מערכות תפעוליות שונות. בעיות בתהליך ה ETL או שינוי בהגדרה העסקית לא יזוהו. מערכת ה BI צריכה לבצע מהלך בקרת נתונים שאינו קשור למערכת התפעולית באמצעות Monitoring, להתריע ובמקביל למנוע את חשיפת הנתונים השגויים. 

בהתייחס לגישה השנייה כדי להבטיח שהנתונים יזוהו ויטופלו בצורה יסודית ומהירה עלינו לעבוד על פי מתודה ברורה. בגילון פותחה מתודולוגיה שתפקידה לתת מענה לצורך זה.
תחילה נגדיר את האסטרטגיה הארגונית הנדרשת ולאחר מכן מהם השלבים הנדרשים ליישום המתודה

 

אסטרטגיית Data Quality

- רתימת ההנהלה הבכירה

- מינוי אחריות ניהולית לפי נושאים

- פניה להיבט התרבותי והטכנולוגי בארגון

- תיעדוף מתמיד

- איתור נקודות האיזון של השקעה הכוללת מול תוצאות

- תהליך איטרטיבי ורציף

- גמישות לדרישות משתנות

- יחסי ציבור בארגון

 

שלבי הביצוע

- זיהוי יחסי הגומלין בין הנתונים- וידוא סגירת מעגל בין הנתון הנוצר במערכת המקור לבין הנתון המגיע אל מערכת ה BI.

- מהן נקודות הבקרה - מהן הנקודות בהן אנו עוצרים, בודקים את איכות הנתונים ומקבלים החלטות.

- הגדרת סוגי הבקרות - הבקרות עוצרות בהן התהליך מופסק, בקרות התראה בהן התהליך מתריע וממשיך.

- הגדרה פרטנית של הבדיקות - הגדרת הבדיקה ומדדי החומרה שלה.

- דיווח - דיווח בדחיפה (SMS ואימייל) או במשיכה (דוח)

 

לסיכום, כאשר ברצוננו לשמור על הצגה אמינה של הנתונים מתוך נכסי הארגון בין אם הם המערכות התפעוליות ובין אם הם מערכת ה BI עלינו לטפל בראש ובראשונה באיכות הנתונים, תשומת לב, תהליך נכון ומתודה מובנית יבטיחו כי המשתמשים שלנו ימשיכו להפיק את המיטב מהמערכת שניתנה להם, לנו את הביטחון כי הנתונים תקינים ולארגון היא מבטיחה שהנכס שלו נשמר ומתוחזק לאורך זמן.

מאמרים

מגמות של ביג דאטה בעולם הביטוח
CA Technologies
SSIS - Buffer Size Optimization
קטגוריה ראשית
בדיקות BI ו-DWH לעומת הבדיקות בתחומים אחרים
קטגוריה ראשית
איסוף דרישות לפרויקטי BI
קטגוריה ראשית
כח המידע במיקוד
קטגוריה ראשית
0

מעניין? שתפו דף זה באמצעות הטלפון הנייד

הדף שלנו בפייסבוק

אירועים קרובים

Microsoft

Oracle

IBM

Informatica

Sap

SAS

Qlikview

Cloudera

Machine Learning