פרק 5 – ארכיטקטורות של מוצרים לניתוח רב-מימדי

מצגת בנושא: "פרק 5 – ארכיטקטורות של מוצרים לניתוח רב-מימדי"— תמליל מצגת:

1 פרק 5 – ארכיטקטורות של מוצרים לניתוח רב-מימדי

2 חלופות למימוש ארכיטקטורה למוצרי OLAP
במשך השנים התפתחו מספר ארכיטקטורות למימוש המבט הרב-מימדי ההבדל מתבטא ב- 2 פרמטרים: * היכן מנוהלים הנתונים * היכן מתבצעים העיבודים

3 מיקום הנתונים - בסיס נתונים רב-מימדי
הנתונים מאוחסנים בבסיס נתונים רב-מימדי ייעודי המנוהל במחשב השרת הנתונים: * נגזרים מבסיס נתונים טבלאי שבמחסן או * נגזרים ישירות ממערכות תפעוליות הנתונים הגזורים עוברים תהליך עיבוד: * סיכום נתונים לפי רמות ולפי חיתוכים * ביצוע חישובים מיוחדים במידה ונדרשים

4 מיקום הנתונים -בסיס נתונים רב-מימדי
בסיס הנתונים מבוסס על מבנה נתונים של מערכים (Array) ואינדקסים מיוחדים בסיס הנתונים מנוהל ב *דיסק המקומי * בזיכרון השרת לשיפור הביצועים

5 מיקום הנתונים – בסיס נתונים טבלאי
הנתונים מאוחסנים בבסיס נתונים טבלאי רגיל במחשב השרת עיצוב הנתונים הינו מיוחד – מבנה כוכב לא מנורמל הנתונים והסיכומים מנוהלים במסגרת טבלאות רגילות

6 מיקום הנתונים – מבנה נתונים מיוחד המחשב אישי
הנתונים מנוהלים במחשב אישי מקומי (תחנת עבודה) הנתונים נמצאים במבנה קבצים מיוחד הנתונים יכולים להיגזר מ- : * בסיס נתונים טבלאי המנוהל בשרת * מבסיס נתונים רב-מימדי המנוהל בשרת בסיס הנתונים מנוהל ב *דיסק המקומי * בזיכרון השרת לשיפור הביצועים

7 היכן יבוצעו העיבודים במנוע רב מימדי בשרת
עבור מערכות המנהלות את הנתונים בבסיס נתונים רב-מימדי ייעודי בשרת - החישובים יבוצעו באותו שרת ביצועים טובים יותר

8 היכן יבוצעו העיבודים במנוע בסיס נתונים טבלאי * בעיה: שפת SQL אינה אידיאלית תמיד לביצוע חישובים של ניתוח רב מימדי * מכיוון שאינה תומכת ישירות בחלק מהפעולות הנדרשות * ז"א לביצוע החישובים השפה מבצעת מספר רב של מעברים על הנתונים

9 היכן יבוצעו העיבודים במחשב מקומי (Desktop Multi Dimensional Engine)
המחשב האישי הינו רב עוצמה ניתן לבצע חלק מהחישובים במחשב האישי התנגשות עם המעבר למחשב לקוח רזה (Thin Client)

10 סוגי ארכיטקטורות של מוצרי OLAP

11 ארכיטקטורת MOLAP Multi Dimensional OLAP
הנתונים מנוהלים בבסיס נתונים ייעודי בשרת העיבודים מתבצעים באותו שרת מוצרים נפוצים: * Express Server של Oracle * Holos של Seagate בניה מראש של סיכומים בחתכים שונים מצטיינת בביצועים מעולים וכלי ניתוח מתקדמים, בעוצמה, עושר פונקציונלי, ומהירות תגובה

12 ארכיטקטורה עקרונית של מערכת MOLAP
הארכיטקטורה מבוססת על שתי שכבות

13 שילוב ארכיטקטורת MOLAP עם בסיס נתונים טבלאי
ביצוע שאילתות רב-מימדיות מול בסיס נתונים רב-מימדי לצורך תהליכי קידוח – הפעלה אוטומטית של שאילתות SQL מול בסיס נתונים טבלאי של המחסן

14 ארכיטקטורת DOLAP – Desktop OLAP
הנתונים והחישובים מנוהלים במחשב האישי מיועד לניתוח רב-מימדי פשוט יחסית מיועד לניתוח רב-מימדי בנפח נתונים קטן

15 ארכיטקטורת DOLAP לאחר בניית הקובייה בלקוח ניתן להתנתק מהשרת
לא יוצר עומס בשרת מגבלה: * מגבלת זיכרון במחשב הלקוח * זמן רב לבניית הקובייה בלקוח בפעם הראשונה מתאים למצב שכל מנתח מידע עובד על הקובייה שלו בלבד

16 ארכיטקטורת DOLAP כלים: * PowerPlay של Cognos * Business Objects של Business Objects

17 ארכיטקטורת ROLAP (Relational OLAP) עם מנוע ייעודי
מנוע רב מימדי ייעודי פועל בנפרד ממנוע בסיס נתונים טבלאי המנוע הרב-מימדי יכול לפעול בשרת נפרד או בשרת בסיס הנתונים מנוע ה- ROLAP מקבל בקשת המשתמש מתרגם לפניות SQL חכמות לבסיס נתונים מנהל את טבלאות הסיכום מבצע חישובים מיוחדים מחזיר התוצאה למשתמש

18 ארכיטקטורת ROLAP מאפשרת עבודה ישירה מול מחסן עם נפחי נתונים גדולים ללא גזירה ועם כושר גידול

19 ארכיטקטורת ROLAP

20 ארכיטקטורת SQL Cube הישענות טוטאלית על יכולת בסיס הנתונים הטבלאי
מנוע ה- ROLAP מיצר פקודות SQL מורכבות כדי לגשת אל טבלאות רגילות וטבלאות סיכומים בבסיס נתונים טבלאי ניתן לטפל בטבלאות גדולות ביצוע פעולות Join, סיכומים, וחישובים רב-מימדיים מתבצעים במנוע בסיס הנתונים הטבלאי תוך כדי התהליך בונה מנוע ה- ROLAP מספר רב של טבלאות ביניים לקבלת המבט הרב מימדי הקובייה נבנית כל פעם מחדש עם כל שאילתא

21 ארכיטקטורת SQL Cube חסרונות: * החישובים מוגבלים רק לאלה הנתמכים ישירות ע"י בסיס הנתונים * חישובים מורכבים יותר כגון ממוצע משוקלל מבוצעים ביעילות נמוכה *יכולת מוגבלת בתמיכה במספר משתמשים רב * זאת עקב התקורה הרבה מבניית טבלאות ביניים *כתוצאה – זמן תגובה גדול עם הוספת משתמשים

22 מבנה עקרוני של ארכיטקטורת SQL Cube

23 ארכיטקטורת Hyper Cube מנוע רב-מימדי ייעודי מייצר פקודות SQL פשוטות
מטרת הפקודות: טעינה בלבד של נתונים לזיכרון המנוע הרב-מימדי בניית הקובייה מתבצעת במנוע הרב-מימדי הקובייה משנבנתה בראשונה - נשמרת במנוע וכל גישה נוספת היא רק אל הקובייה חישובים רב-מימדים מבוצעים בזיכרון השרת הרב מימדי

24 ארכיטקטורת Hyper Cube - חסרונות
זמן תגובה רב עקב משך הזמן של בניית הקובייה הראשונית לאחר שהקובייה כבר מוכנה בזיכרון משתפרים זמני התגובה הקובייה נשמרת רק לאורח ה- Session עם המשתמש לאחר מכן היא נמחקת אינה מתאימה למספר משתמשים רב מכיוון שבשל מגבלת הזיכרון לא ניתן לבנות מספר גדול של קוביות בו-זמנית

25 מבנה עקרוני של ארכיטקטורת Hyper Cube

26 ארכיטקטורת Flash Cube שילוב בין SQL Cube המטילה את החישובים על בסיס הנתונים הטבלאי ובין Hyper Cube המטילה על מנוע רב-מימדי נפרד בהתבסס על חוקים הנשמרים במילון הנתונים מקבל המנוע הרב-מימדי החלטה היכן לבצע החישובים מאחר שחלק מהפעולות מתבצעות במערכת RDBMS ניתן לטפל גם בטבלאות גדולות תומכת במספר רב של משתמשים בו-זמנית

27 מבנה עקרוני של מערכת מבוססת Flash Cube

28 ארכיטקטורה רב-מימדית מעורבת Hybrid OLAP
שילוב בין ארכיטקטורות MOLAP ו- ROLAP מעשית, שתי התפישות משלימות ולא מתחרות ROLAP מאפשרת עבודה ישירה מול מחסן עם נפחי נתונים גדולים ללא גזירה ועם כושר גידול MOLAP מצטיינת בביצועים מעולים וכלי ניתוח מתקדמים, בעוצמה, עושר פונקציונלי, ומהירות תגובה רמות המידע הפרטניות מנוהלות בבסיס הנתונים הטבלאי הסיכומים מנוהלים בבסיס נתונים רב מימדי

29 שילוב בסיס נתונים רב-מימדי עם בסיס נתונים טבלאי

30 מה הארכיטקטורה המומלצת- קרטריונים להחלטה
גודל בסיס הנתונים: MOLAP תחום של ג'יגה בית סדר גודל של מחסן נתונים מודרני – מאות ג'יגה בית מסקנה: MOLAP מתאימה לניהול מרכול נתונים לנפח נתונים גדול יותר תתאים ארכיטקטורת ROLAP קצב השינויים: קצב שינוי נתונים גבוה יוצר בעיה בארכיטקטורת MOLAP ארכיטקטורה זו מבוססת על בסיס נתונים נפרד לכן יש לבצע את טעינתו מחדש בתדירות גבוההה גבוהה

31 מה הארכיטקטורה המומלצת
ביצועים: ארכיטקטורת MOLAP נהנית מביצועים טובים יותר הסיבה – חלק גדול מהחישובים והסיכומים מתבצע תוך כדי תהליך הטעינה פונקציונליות רב-מימדית ארכיטקטורת MOLAP מכילה עושר פונקציונלי רב יותר ניתוח רב מימדי דורש תמיכה באופרטורים מיוחדים לביצוע חישובים מורכבים מעין פעולות של גיליון אלקטרוני (נוסחאות מורכבות המבוססות על מספר גיליונות, אריתמטיקה של מטריצות, ביצוע תהליכי סכימה)

32 מה הארכיטקטורה המומלצת
רמת הסיכומים: ככל שרמת הסיכומים השונים גבוהה יותר ארכיטקטורת MOLAP מתאימה יותר זאת עקב ביצוע סיכומים תוך כדי הטעינה בסיס נתונים נפרד: מצריך הכרה של כלי הניהול של בסיס נתונים הרב-מימדי, כוונון, עדכון מעת לעת, גיבוי, שחזור

33 מה הארכיטקטורה המומלצת
שפת גישה קניינית: ארכיטקטורת MOLAP משתמשת בשפת גישה מיוחדת לנתונים השונה משפת SQL הדבר מחייב לימוד שפת גישה חדשה

34 כללי Codd להגדרת מוצרים רב-מימדיים
“Towards a paradigm shift in biology” Nature News and Views 349:99 1. מבט לוגי רב מימדי 2. שקיפות מירבית מצד המשתמש לגבי מקור הנתונים 3. נגישות – המוצר צריך להתבסס על מנוע OLAP הנמצא בתווך 4. ביצועי דיווחים אחידים – ביצועי המוצר צריכים להיות טובים גם אם מספר המימדים - גדל 5. תמיכה בארכיטקטורת שרת-לקוח

35 כללי Codd להגדרת מוצרים רב-מימדיים
6. התאמה אוטומטית של הרמה הפיסית – המוצר יעדכן את הסכימה ה פיסית שלו כתוצאה משינויים בנפח הנתונים. 7. תמיכה בריבוי משתמשים 8. פעולות חוצות מימדים ללא הגבלה – כל החישובים צריכים להיתמך בכל המימדים 9. טיפול אינטואיטיבי בנתונים - ממשק משתמש נוח וידידותי 10. דיווח גמיש – הצגת נתונים לפי מימדים במגוון גדול של אפשרויות 11. מספר מימדים ורמות סיכומיות בלתי מוגבל