אימון הרשת ע"י שימוש באלגוריתם Back Propagation

מצגת בנושא: "אימון הרשת ע"י שימוש באלגוריתם Back Propagation"— תמליל מצגת:

1 אימון הרשת ע"י שימוש באלגוריתם Back Propagation
הרעיון: *כל הצמתים מכילים בהתחלה משקלות אקראיים * בשלב הלימוד מציגים לרשת דוגמאות אימון * כל דוגמא מכילה פרמטר/ים של קלט ופלט המתאים לקלט זה * האלגוריתם משנה את המשקלות עד שהפלט המופק מהרשת שווה לפלט האמיתי * לאחר אימון סביר הרשת חוזה בצורה טובה מאד

2 דוגמא: איתור הונאות בתחום הטלקומוניקציה
שלב האימון: * ייבנו אוסף רשומות שיחות טלפון המייצגות מקרי הונאה * רשומות אלה מהוות את קבוצת האימון * מציינים מהם משתני הקלט ומהם משתני הפלט * למשל: משך שיחה (משתנה קלט) ארוכה ליעדים (קלט) מסוימים * למשל: מספר שיחות (קלט) רב ליעדים (קלט) מסוימים בין שעות (קלט) מסוימות

3 איתור הונאות בתחום הטלקומוניקציה
המשך שלב האימון * יצוין בכל רשומה כי מצבה (משנה פלט) – אינו תקין * במקביל באותה קבוצת אימון ייבנו אוסף רשומות שיחות טלפון המייצגות שימוש תקין * מזינים לרשת את משתני הקלט והפלט של כל הרשומות * מפעילים את האלגוריתם

4 איתור הונאות בתחום הטלקומוניקציה
לאחר האימון - הרשת מוצאת מהם הפרמטרים החשובים המסבירים מקרי הונאה ע"י מתן משקל מתאים לצמתים שלב השימוש: הרשת המאומנת מופעלת כעת על האוכלוסייה האמיתית כדי לאתר מקרי הונאה

5 דוגמא לאלגוריתם: “העברה לאחור” (Backward Propagation Algorithm)
Repeat For each e in example do O Neural Network Output for e T Target Output value from e Update the weights (Wj) in the network based on T - O End Until Stopping condition is reached

6 דוגמא לאלגוריתם: “העברה לאחור” (Backward Propagation Algorithm
עדכון המשקלות : Err = T - O (Wj = Wj + a * (Ij * Err) כאשר a הנו מקדם קצב הלמידה

7 דוגמא-חיזוי פשיטת רגל ע"פ גיל המנהל
הרשת חוזה ע"ס גיל המנכ"ל (25-0 צעיר, בוגר, זקן) האם תהיה פשיטת רגל (1) או לא (0) עבור משתנה הקלט "גיל" נקצה 3 נוירוני קלט - צעיר: 1 בנוירון העליון, בוגר: 1 בנוירון האמצעי, זקן: 1 בנוירון התחתון עבור משתנה הפלט נקצה נוירון אחד ויחיד שיקבל: ערך 0 (אין פשיטת רגל) או 1 (יש פשיטת רגל) נאמן את הרשת עם קבוצת אימון אחת מסוימת: קלט: מנהל בגיל 38 (בוגר) (0,1,0) כאשר הפלט: אין פשיטת רגל (0) מאחר והנוירון בשכבת הפלט "ירה" 1ולא 0 השגיאה הינה: Err=0-1=-1 כעת האלגוריתם משנה את המשקלות בהתאם לשגיאה

8 דוגמא להתאמת המשקלות בצמתים בחיזוי פשיטת רגל ע"פ גיל המנהל
Activation Power =0*1 + 1*2 + 0*1 = 2 W1=1 T=1.95 Activation Power =1* *0.5 = 1 Out=1 W7=0.5 T=0.5 W2=2 1 Out=1 1 W4=0.5 W8=0.5 W5=1 W3=1 Out=1 מצב שגיאה W6=0 Activation Power =0* *1 + 0*0 =1 T=0.5

9 התאמת משקלות בצמתים – קבוצת אימון אחת
(Wj = Wj + a * (Ij * Err) מקדם הלמידה: a = 0.1 W1=1+0.1*(0*(-1))=1 W2=2+0.1*(1*(-1))=1.9 W3=1+0.1*(0*(-1))=1 W4= *(0* (-1))=0.5 W5=1+0.1*(1*(-1))=0.9 W6=0+0.1*(0*(-1))=0 W7= *(1*(-1))=0.4 W8= *(1*(-1))=0.4

10 דוגמא להתאמת המשקלות בצמתים בחיזוי פשיטת רגל ע"פ גיל המנהל
Activation Power =0*1 + 1* *1 = 1.9 W1=1 T=1.95 Activation Power =0* *0.4 = 0.4 Out=0 W7=0.4 T=0.5 W2=1.9 1 Out=0 W4=0.5 W8=0.4 W5=0.9 W3=1 Out=1 מצב תקין W6=0 Activation Power =0* * *0 =0.9 T=0.5

11 רשת עצבית לסיווג רוכשי מכוניות

12 רשת עצבית לסיווג רוכשי מכוניות
מטרת הרשת: לסווג אילו לקוחות יקנו איזה סוג ש מכוניות הסיווג מתבסס על 4 פרמטרים: גיל (3 טווחים) , קיום מכונית, השכלה אקדמית (כן/לא), ורמת הכנסה (2 טווחים)

13 שקלול הקלטים בצומת

14 רשת עצבית במצב קידוד

15 שימושים המתאימים ביותר לרשת עצבית
לא ניתן לבטא את משתנה הפלט כפונקציה ליניארית של משתני הקלט לדוגמא: Y = aX1 + bX2 + cX3 … כאשר Y הינו משתנה בינרי המציין 1 – מקרה של הונאה 0 – מקרה של אי הונאה ו- Xi מציין פרמטר כגון "משך זמן שיחה", "יעד השיחה", "מספר שיחות ביום" בסיסי נתונים המכילים הרבה נתונים לא אמינים בסיסי נתונים המכילים הרבה נתונים חסרים משתנים אורדינליים (1-צעיר, 2-מבוגר, 3-זקן) משתנים נומינליים (1- זכר, 2-נקבה)

16 יתרונות וחסרונות בשימוש ברשת עצבית
יתרון: תוצאות חיזוי/סיווג טובות חסרונות: * תוצאות הסיווג המתקבלות – קשות להסבר * התייחסות לרשת כאל "קופסא שחורה" * תהליך האימון יכול להיות ארוך

17 יתרונות וחסרונות של טכניקות/מודלים

18 תהליך כריית הנתונים 80% מאמץ בהכנת הנתונים
20% מאמץ בתהליך כריית הנתונים עצמו

19 תהליך כריית הנתונים

20 שלבים בתהליך כריית נתונים
1. הגדרת מרחב הבעיה (Problem Formulation) * מהו הידע שברצוננו לקבל * דוגמא: אם בנק רוצה להבין טוב יותר את סוג לקוחותיו כדי לשלוח להם מכתבים אישיים אזי יש לשאול : "כמה אשכולות אנו רוצים למצוא ?" * תהליך כריית הנתונים הוא מורכב ויקר ולכן יש לשאול את השאלות הללו לפני המאמץ

21 שלבים בתהליך כריית נתונים
2. הכנת סביבת העבודה (Data Mining Environment Setup) * יש לוודא את מוכנות המרכיבים השונים בסביבת העבודה לתהליך כריית הנתונים * יש לוודא את זמינות החומרה, התוכנה, רשת התקשורת, כלי כריית הנתונים 3. איתור וגזירת הנתונים (Data Selection) * מיפוי הנתונים הקיימים (או במחסן או במערכות תפעוליות) * הערכת איכותם וזמינותם של הנתונים הקיימים * הכנת תוכניות הגזירה ממחסן הנתונים למחסן משנה (לפעמים קובץ שטוח) או מבסיסי נתונים תפעוליים למבנה נתונים הנדרש ע"י כלי כריית הנתונים

22 שלבים בתהליך כריית נתונים
4. ניקוי הנתונים (Data Cleaning) * לדוגמא הפיכה של תאריך לידה מלא לחודש ושנה בלבד * ההנחה הבסיסית היא שקיומו של מחסן הנתונים מאפשר להניח כי טיב הנתונים הינו גבוה 5. העשרת הנתונים (Data Enrichment) * למשל הוספה לכל רשומה נתונים דמוגרפיים ממאגר חיצוני * כמו: רמת הכנסה ממוצעת באזור מגורים

23 שלבים בתהליך כריית נתונים
6. קידוד הנתונים (Data Coding) * יש להחליט כיצד אנו רוצים לייצג את הנתונים לדוגמא: נתונים רציפים (כמו רמת הכנסה) ניתן לייצג ע"י טווחים * תהליך בניית הקודים תלוי בדרישות וביכולות הכלים לכריית הנתונים

24 שלבים בתהליך כריית נתונים
7. כריית הנתונים (Data Mining) * שלב זה הוא לב תהליך כריית הנתונים * בשלב זה מופעל תהליך הגילוי * יש להחליט באיזו טכניקה להשתמש, איזה אלגוריתם יופעל בהתבסס על הכלים שנרכשו או זמינים בארגון * תהליך הכרייה מתחיל בדרך כלל בהפקת מס' שאילתות או דו"חות על הנתונים 8. דיווח (Reporting) ניתוח ממצאי תהליך כריית הנתונים, סיכום תוצאות, גיבוש דרכי הצגה, הצגה למקבלי ההחלטות

25 אינטגרציה בין מחסן הנתונים לכריית הנתונים

26 בעיות עיקריות בכריית הנתונים
רגישות גבוהה לאיכות הנתונים – שימוש בנתונים לא אמינים, לא שלמים ולא איכותיים יגרום לתוצאות חסרות משמעות או שגויות העדר נתונים מספיקים – לעיתים השגתם ממערכות חיצוניות אינו אפשרי דוגמא: אם נתוני ספירת כדוריות דם אדומות אינה ידועה – אין אפשרות לחזות מי מלקוחות קופ"ח יסבול ממחלה מסוימת העדר היכולת להסביר את התוצאות – לעיתים קשה להסביר למשתמש כיצד הגיע האלגוריתם לתוצאה

27 בעיות עיקריות בכריית הנתונים
מבנה נתונים ייחודי – חלק מהכלים לא פועל ישירות על בסיסי הנתונים וזקוק למבני נתונים מיוחדים הצורך לגזור נתונים ממחסן הנתונים ולהמירם למבנה מיוחד גורם לסיבוך בתהליך כריית הנתונים ביצועים – חלק מהכלים מוגבל בגודל הקבצים שהם מסוגלים לקבל כקלט חלק מהיצרנים עוקפים את בעיית הביצועים על ידי המלצה לעבוד עם קובץ המכיל מדגם קטן המביא לאי דיוק קושי בהצדקת עלות הפרויקט – קיים קושי בבניית מודל עלות/תועלת של תהליך כריית הנתונים כי קיים קושי להתחייב מראש לגבי תוצאות התהליך

28 סוף דבר כריית נתונים תופס מקום של כבוד במערכות לתמיכה
בתהליכי קבלת החלטות ומחסני הנתונים כריית נתונים נמצא בפסגת התהליכים האנליטיים בעקבות ניתוח מתוחכם של הנתונים ככל שבסיס הנתונים יגדלו כך יגדל הצורך בכלים לכריית נתונים כריית הנתונים משלימה את הטכניקות האנליטיות האחרות (מחוללי שאילתות ומוצרי OLAP) כריית נתונים מוסיף מימד חדש ליכולת ניתוח המידע