Star inactiveStar inactiveStar inactiveStar inactiveStar inactive
 

מאת:  מוטי סדובסקי, Data Integration Israel מקבוצת אמן מחשבים

תוכנת שילוב נתונים ( DI) אינה משמשת רק לבניית מחסני נתונים, היא גם מספקת יכולת אינטגרציה כללית. מערכת DI יכולה למשוך כמויות עצומות של נתונים שונים ממספר גדול של מקורות נבדלים; להעביר, לשנות ולנקות אותם במהירות, ולשלב אותם בצורה הומוגנית, כאילו הגיעו מאותו מקור.

 על פי דו"ח של גרטנר, "ארגונים גדולים צריכים ליצור מרכז שילוב נתונים (Integration Competency Center) שיפחית את העלויות והזמן הנדרשים לשילוב מערכות יישומים". יותר ויותר חברות פונות לתוכנות DI כבסיס, או כמרכז שילוב נתונים, שעליו שוכנות כל ארכיטקטורות הנתונים הארגוניות שלהם ויוצרות Enterprise Data HUB.

 

זה עלול להפתיע את מי שחושב על  DI במונחים של Data Warehousing בלבד, שכן DI מספק יכולות ויתרונות שפשוט לא ניתן להפיק מכל טכנולוגיית אינטגרציה בודדת אחרת. ובכלל זה יכולת לבצע טרנספורמציות מורכבות, להתמקד באיכות הנתונים ובאפיון שלהם, להעביר במהירות טרה-בייטים של נתונים על פי תזמון או אירועים שהוגדרו מראש, למנף ולקדם יכולות להעשרת המטה-דטה, להשתמש באינטגרציה שאינה דורשת קידוד, ולספק אינטגרציה אדפטיבית המאפשרת לארגון לעמוד בדרישות המשתנות של סביבות המידע והעבודה הדינמיות של ימינו.

 

יתר על כן, DI פועל היטב עם טכנולוגיות אינטגרציה אחרות, ובכלל זה אינטגרציה של יישומים עסקיים (EAI) ואינטגרציה של מידע ארגוני (EII). טכנולוגיות אלה יכולות למנף את היכולות הייחודיות של פתרון ה-DI ולהיפך. הן מאפשרות לשלב, לצפות ולעקוב אחר כל סוגי הנתונים, כל כמויות הנתונים, בדרכם אל ומ- כל פלטפורמה, על פי תזמון או אירוע שהוגדר מראש, במטרה למלא אחר כל דרישת נתונים ארגונית.

 

אם כן, מדוע צריכה דווקא תוכנת ה-DI להיות הפלטפורמה שעליה מורכבות הטכנולוגיות האחרות? התשובה נמצאת בעובדה שארכיטקטורות הנתונים הארגוניות של ימינו כוללות מגוון רחב של דרישות אינטגרציה, ובכך שטכנולוגיות DI נותנות את המענה הטוב ביותר לדרישות אלה, ומעניקות לעסקים כושר גמישות והסתגלות.

 

הכל קשור לנתונים

DI מתאים במיוחד לביצוע מטלות אינטגרציה בלב סביבות המידע המקוטעות (Fragmented) של ימינו. באמצעות DI ניתן למשוך כמויות עצומות של נתונים שונים ממספר רב של מקורות נבדלים, ולהפוך "איים של מידע" למערך אינטגרטיבי, הומוגני ושלם אחד.

 

במקום גבוה ברשימת היישומים הדורשים פונקציונליות זו עומדים יישומי הבינה העסקית, והם הסיבה לכך ש-DI מזוהה בצורה ברורה כל כך עם Data Warehousing. ללא DI לא ניתן לייצר תצוגות מאוחדות של נתונים ארגוניים הפרוסים על פני מספר מערכות, לא ניתן לייצר תצוגות משותפות של ספקים ולקוחות הדרושות למערכות הניהול של קשרי הלקוחות (CRM), ולא ניתן לייצר מקור אמין של נתונים נקיים ותקינים לצרכי בינה עסקית וליישומי ניהול ביצועים ארגוניים (CPM).

 

בסקר שנערך בכנס Informatica World 2003, וכלל מנהלי מערכות מידע בכירים, נמצא ש-87 אחוז מהם משתמשים בפתרונות DI לאינטגרציה כלל-ארגונית ולא רק לבניית מחסני נתונים. סקר שנערך לאחרונה על ידי חברת המחקר TDWI הגיע לאותה מסקנה, 80 אחוזים משתמשים בפתרונות DI למטרות החורגות אל מעבר לתחום אחסון הנתונים, למשל להסבת נתונים, אינטגרציה של יישומים ופרויקטים של נתוני אחזור (Reference Data).

 

DI חיוני לא פחות גם בפרויקטים של הסבת נתונים בין מערכות, שכפול וסנכרון כמויות גדולות של נתונים בין בסיסי נתונים, תאימות לדרישות רגולטוריות המחייבות חילופי נתונים, כדוגמת תקנות HIPAA בשירותי הבריאות ו-SWIFT בשירותים פיננסיים, או פרויקטים של מיזוג נתוני ERP ונתונים אחרים לפלטפורמה אחת משולבת בעקבות מיזוג או רכישה של חברות. היכולות הייחודיות של פיתרון DI להעביר במהירות נפחים גדולים של נתונים, תוך שינוי ושיפור איכות הנתונים, באות לידי ביטוי בדיוק בתרחישים אלה.

 

לאחרונה צצו ועלו תחומים טכנולוגיים חדשים יחסית הדורשים אף הם פונקציונליות של שילוב נתונים: ניטור הפעילות העסקית (BAM), ארגון של זמן-תגובה-אפס (Zero-Latency Enterprise, ZLE) ופרויקטים של רכזות מידע ארגוני ((Reference Data Hubs. יוזמות אלה דורשות איזשהו רכיב המספק יכולת של אינטגרציה בזמן אמת. DI נתפס פעמים רבות כטכנולוגיה של תוכניות אצווה (batch), היות והתמיכה במחסני הנתונים המסורתיים מתבצעת בדרך כלל על ידי תוכניות אצווה. אולם, כפי שנטען גם בהמשך, DI יכול לחלץ ולשלב נתונים טרנזקציונליים גם בזמן אמת.

 

אינטגרציית נתונים - יתרונות מבניים

DI מניב מספר יתרונות מבניים. ראשית, תוכנת DI מיועדת לחילוץ והעברה של כמויות נתונים גדולות. ככל שמתרבים מקורות הנתונים, גדלים נפחי הנתונים, והעברתם הופכת יותר ויותר מורכבת. סביבת DI מסוגלת להתרחב בהתאם.

 

לתוכנת DI כושר הרחבה ליניארי ויכולת למנף בשקיפות טכנולוגיות של עיבוד מקבילי לשיפור הביצועים, וטכנולוגיות של חלוקת עומסים על שרתי אפליקציה לאיזון דינמי של עומסי עבודה. בנוסף, יש לציין את קלות הפריסה והתחזוקה של פיתרון DI היות והוא אינו דורש קידוד ידני.

 

Web Services עלו וצמחו מתוך גישה של שילוב נתונים. סביבת DI מספקת תמיכה מובנית אוטומטית ב-  Web Services מבוססי SOA. תמיכה זו מאפשרת לפתרונות DI להסתגל במהירות לתהליכים הקיימים והחדשים ב- Web Services של החברה. לדוגמה, תוכנת הזמנות יכולה לקרא ל-DI דרך Web Services לצורך ביצוע טרנספורמציה ואינטגרציה של נתונים, ואילו פיתרון ה-DI בתורו, יכול לפנות ל- Web Services חיצוניים על מנת לקבל נתונים, או למנף מקורות של נתונים חיצוניים (פניה למנהל Workflow חיצוני, למשל).

ארגונים רבים מממשים את מערך ה- DI  ליצירת ממשקים רבים הנידרשים ממערכות ארגוניות מרכזיות דוגמת ה- ERP למערכות לויין פנימיות או חיצוניות.

 

מינוף ה- Metadata (מידע העל)

תפקיד נתוני ה- Metadata להוות מעין "מילון נתוני על" ארגוני, לשפר השימוש בנתונים ובאופן ניהולם, ולייעל את השימוש החוזר במידע.  השימוש ב- Metadata ארגוני מאפשר לקבל באופן אוטומטי תמונת מצב גרפית וקשרים של כל נתון לישומים השונים, ולבחון את השפעת כל  שינוי בנתון כלשהו על כלל ישומי הארגון.  השימוש ב- Metadata ארגוני מקצר ומיעל  ביצוע תחזוקה ושינויים, ומשפר את איכות המידע ותוצרי היישומים.

 

נתוני ה- Metadata חשובים גם בהקשר של ניתוח ובינה עסקית. על פי חברת המחקר Giga Information Group, שילוב של מערכת המבוססת על Metadata עם שיטות מתקדמות לניהול נתונים והבנה עסקית, מאפשר להניב תועלת ניכרת במונחים של שימוש חוזר בנתונים, שיפורים בפרודוקטיביות והפחתה בעלויות התיאום בין מערכות. 

 

ההכרח באינטגרציה כוללת

דיברנו קודם על דור חדש של מבנים ויישומים אסטרטגיים  -כדוגמת BAM, ZLE ורכזות של נתוני אחזור - שיש להם צורך בסיסי ב-DI.

 

יישומי BAM הם הדור החדש של הבינה העסקית. הם מסוגלים לספק למשתמש ממשקי חיווי (Dashboards) וגליונות ביצועים (scorecards) המאפשרים לו להתעדכן באופן שוטף בכל הנוגע לאירועים ארגוניים, כבר במהלך התרחשותם. על פי גרטנר, לקוח BAM צופה בנתוני הביצועים בדומה מאוד לאופן בו צופה נהג בנתונים של ביצועי הרכב המוצגים לפניו בלוח המחוונים של מכונית. כל מה שה-DI מביא לבינה עסקית - טרנספורמציה מהירה, איכות נתונים עקבית, תצוגות מאוחדות ויבוא ממספר מערכות - כל אלה דרושים גם למערכת BAM.

 

פיתרון DI יכול לשלב נתונים בזמן אמת ממערכות תפעוליות קריטיות תוך ביצוע המרה של הנתונים הנ"ל, ביטול נתונים כפולים, והכנסת הנתונים למאגר לאחר ביצוע פעולות הנובעות מהפעלת חוקים עיסקיים.  

 

מדוע להפוך את DI  לבסיס הארכיטקטורת המידע ?

השימוש במוצרי DI מאפשר לארגון לבנות "רכזות מידע" - Enterprise Data HUB, עליו ובאמצעותו מתקיימים כל  הקשרים והקישורים שבין יישומי ותהליכי הארגון.

ה- Enterprise Data HUB מחליף את קשרי "הספגטי"  הקייים בארגונים רבים להעברת מידע בין היישומים, תוך שהוא מבצע את הפעילות בצורה מקבילית ומאוד מהירה,  שומר על יתירות גבוהה, ומאפשר ניהול ובקרה אחידים על כל תהליכי אינטגרצית המידע מעמדת עבודה ארגונית אחת.

 

ל- Enterprise Data HUB ניתן לקשר ולשלב נתונים ממגוון רחב של מקורות ארגוניים - בסיסי נתונים, יחסיים ולא-יחסיים, של הארגון, מערכות מיינפריים, מערכות של הודעות זמן אמת, קבצים 'שטוחים' (flat files), מקורות נתונים רחוקים ועוד.

 

השימוש בפתרונות  DI בארגון מאפשר לארגון לייעל ולהוזיל את הטיפול והתחזוקה של המידע, לצד שיפור איכותו וזמינותו ויצירת ROI אמיתי.

 

שיפור איכות וזמינות המידע מסייע להשגת היעדים העיסקיים של הארגון.

 

 

 

 

 

 

 

 

 

 

הדף שלנו בפייסבוק

מעניין? שתפו דף זה באמצעות הטלפון הנייד

אירועים קרובים

מאמרים

מגמות של ביג דאטה בעולם הביטוח
CA Technologies
SSIS - Buffer Size Optimization
קטגוריה ראשית
בדיקות BI ו-DWH לעומת הבדיקות בתחומים אחרים
קטגוריה ראשית
איסוף דרישות לפרויקטי BI
קטגוריה ראשית
כח המידע במיקוד
קטגוריה ראשית
0

Microsoft

Oracle

IBM

Informatica

Sap

SAS

Qlikview

Cloudera

Machine Learning