חברת Hortonworks, אחת מהיצרניות המובילות של Hadoop, מכריזה על DATAFLOW 3.0.
להלן סרטון קצר המסביר Dataflow ולאחר מכן הסבר על התוספות בגרסא החדשה:
https://www.youtube.com/watch?v=RADq6YnJUcg
בגרסא החדשה:
--הוצגה תוספת חדשה בשם. STREAMING ANALYTICS MANAGER:.
באמצעות Streaming Analytics Manager, משתמשים יכולים לכתוב אפליקציות מורכבות לניתוח זרימת נתונים מבלי לכתוב שורת קוד אחת. ביטול הצורך של מיומנויות מיוחדות, Streaming Analytics Manager מספק פרדיגמה תכנות גרפי עם ממשק גרור ושחרר לבנות יישומים זורמים עבור מתאם האירוע, העשרה הקשר, התאמת דפוס מורכבת. בנוסף, התצורות האנליטיות עם התראות אוטומטיות הופכות לזמינות כאשר מתגלים תובנות.
באמצעות פתרון זה, לקוחות Hortonworks יקבלו חוויה עשירה דומה לבניית יישומי ניתוח זרימה שהם כבר נהנים בנייה וניהול יישומים. יתר על כן, Streaming Analytics Manager מביא יישומים אלה לשוק מהר יותר, במחיר נמוך יותר, כדי להאיץ את הזמן ואת ההשפעה האסטרטגית.
הוצגה תוספת חדשה בשם Schema Registry.
Schema Registry משפר את ניהול הנתונים מקצה לקצה ואת היעילות התפעולית על-ידי מתן ריכוז מרכזי, ניהול גרסאות תומכות ומאפשר אימות סכימה.
ישנם שלושה יתרונות עיקריים עבור מודול חדש זה:
רישום מרכזי - מאגר משותף של סכימות מבטל את הצורך לצרף סכימה לכל פיסת נתונים. יישומים יכולים לקיים אינטראקציה גמישה זה עם זה כדי לשמור או לאחזר סכימות עבור הנתונים הדרושים להם כדי לגשת. משולב במלואו עם רכיב ניהול זרימה של HDF, כולל Apache NiFi, Schema הרישום מאפשר סכימות שנוצרו באמצעות Apache NiFi להיות מנוהל בקלות לשימוש חוזר על ידי הפלטפורמה כולה.
ניהול גרסאות - הגדרת קשרים בין סכימות ומאפשרת שיתוף של סכימות בין רכיבי HDF ויישומים. Schema הרישום תומך האבולוציה סכימה, כך הצרכן ואת המפיק יכול להבין גרסאות סכימה שונים, אבל עדיין לקרוא את כל המידע המשותף ביניהם.
אימות Schema - הרישום Schema תומך אימות סכימה על ידי הפעלת פורמט גנרי המרה ניתוב גנרי כדי להבטיח את איכות הנתונים.
כדי לקרוא עוד, הכנסו ללינק הזה.