4...Informed Search Strategies Partial Order Planning 29...Hierarchical Decomposition Reenforcement Learning 40...Unsupervised Learning

Transcription

1 מאת אורן שמיר, 2006 גרסא 10 AI סיכום קורס לגרסא האחרונה גש/י לאתר: orenshamirkicks-assnet ** חלק מהזכויות שמורות מבוסס על הרצאות קורס AI שהועברו בסימסטר א', 2006 עמוד 1

2 תוכן עניינים חיפוש 3 3Uninformed Search Strategies 4Informed Search Strategies נושאים מתקדמים בחיפוש 6 משחקים 11 ייצוג ידע ולוגיקה 13 תחשיב הפסוקים Logic 14Propositional לוגיקה מסדר ראשון תחשיב הפרדיקטים 15 לוגיקה לא מונוטונית 23 תיכנון 25 תכנון בעזרת STRIPS רעיונות מרכזיים 26 27Partial Order Planning 29Hierarchical Decomposition הסתברות ופעולות בעולם לא-ידוע 30 ביצוע החלטות באי-וודאות 31 פונקציות תועלת 31 ערך המידע 32 תהליכי החלטה מרקוביים - 32MDP תהליכי החלטה מרקוביים בסביבה לא נגישה - 36POMDP 38Reenforcement Learning 40Unsupervised Learning חזרה על חומר הקורס 44 עמוד 2

3 חיפוש סוגי הבעיות עבורן נרצה להשתמש בחיפוש הן, למשל, מציאת דרך פעולה בכדי להגיע למצב מסויים במקרה כזה, נבנה עץ )או גרף( של מצבים, נרצה לחפש מסלול לאחד הקודקודים, ולשמור את הדרך כך שנדע אילו פעולות יש לבצע מושגים בסיסיים כאשר נמצאים במצב ורוצים להמשיך ולחפש ממנו, צריך לחפש לאן ניתן להמשיך מהמצב פעולה זו נקראת - Expand פתיחת" המצבים אליהם ניתן להגיע מהמצב הנוכחי Search Strategy היא הצורה בה בוחרים לאיזה קודקוד לעבור בצד חיפוש כלשהו נפרמל בעיית חיפוש כחמישייה סדורה: < S, I, G, A, f >, כאשר S קב' המצבים, I ו- G מצבי ההתחלה והסיום, A פעולות אפשריות )כגון מעבר בין מצבים, ו- f פונקציה המעבירה ממצב ופעולה למצב נמדוד את איכות פתרון החיפוש במספר דרכים: Completeness האם תמיד נמצא פתרון, אם הוא קיים Time/Space complexity סיבוכיות הזמן והמקום Optimality האם נמצא פתרון איכותי, במקרה ויש מספר פתרונות אפשריים נחלק אסטרטגיות חיפוש לשני סוגים: Uninformed Search אין ידע לגבי איפה כדאי לחפש Informed Search או Heuristic Search יש ידע על העולם שנותן עדיפות לחיפוש במקומות מסויימים Uninformed Search Strategies נציג שש אסטרטגיות כאלו ההבדלים יהיו רק בסדר בו מבצעים Expand לקודקודים BFS חיפוש לרוחב בכל פעם שולפים קודקוד מהתור, בודקים אם הוא קודקוד מטרה, אם לא מבצעים לו Expand ומכניסים את הבנים שלו לסוף התור זהו פתרון עם Complexity של Ob d החיפוש הנדרש BFS הוא Complete כאשר b הוא ה-,Branching factor ו- d עומק node עם התחשבות במשקלות תמיד ממשיך מה- BFS כמו Uniform Cost Search שהמשקל אליו )מהשורש( הוא הקטן ביותר מבטיח, בתנאי שאין משקלות שליליים, שנמצא את הפתרון הטוב ביותר )בעל המשקל המינימלי( עמוד 3

4 DFS בוחר ענף וממשיך למטה ממשיך לעומק עד הסוף, ואז חוזר חזרה לרמה האחרונה בה לא ביצע Expand עד הסוף אבל היתרון הוא Ob m אם m הוא העומק המקסימלי של הגרף, זמן הריצה של DFS הוא כי דרישות הזכרון הן רק b*m יש לשים לב כי DFS אינו Complete ואינו Optimal Depth-limited Search ביצוע,DFS כאשר לא ממשיכים מעבר לרמה מסויימת למשל אם יודעים שמחפשים פתרון בעל עומק מסויים, ניתן להשתמש באסטרטגיה זו Iterative deepening Search מבצע בצורה איטרטיבית Depth limited search מתחיל מעומק 0, אח"כ 1 וכו', מגדיל את העומק בכל איטרציה בדומה ל- BFS הוא אופטימלי ו- DFS כמו אלו של, O b d - אך דרישות הזכרון שלו צנועות,Complete Bidirectional Search הרעיון הוא לחפש בו-זמנית מקודקוד המקור ומקודקוד היעד אם החיפוש נפגשים באמצע מצאנו דרך יש כמה בעיות בשיטה זו מה קורה אם יש מספר קודקודי יעד, האם קל לחפש "אחורה" למצוא מי מצביע על המקור, באילו שיטות חיפוש להשתמש וכו' אם למשל נשתמש ב- BFS משני הצדדים, נקבל סיבוכיות זכרון וזמן של O b d / 2 Informed Search Strategies כאן מדובר על חיפוש שנקרא גם Guided search יש דרך לקבוע היכן עדיף לחפש ה-,Active Set הקודקודים שמחקים לחיפוש, יכולים להיות מסודרים לפי סדר העדיפות לחיפוש כאשר מעדכנים היוריסטיקה ניתן יהיה לבצע Reset ל- active set אם נרצה להשתמש באלגוריתם חיפוש כללי,, הצורה היחידה בה הידע שלנו על העולם יוכל לבוא לידי ביטוי הוא דרך ה-,Queuing Function שמחליטה אילו קודקודים יבצעו Expand קודם נקבע evaluation best-first שיטות אלו ייקראו Expand לבצע Active set שתחליט לאיזה קודקוד מה-,function,search ננסה לבצע Expand לקודקוד הטוב ביותר מבחינתינו פונקציה היוריסטית function( )Heuristic פונקציה שמעריכה את העלות להגיע ליעד ההגבלה היחידה על פונקציה היוריסיטת היא שערכה יהיה 0 כאשר הגענו למטרה; אבל יש מספר קריטריונים נוספים לבחירה או הערכה של פונקציה היוריסטית: עיקביות אי-שוויון המשולש ההערכה הנוכחית )לעלות( היא אופטימית יחסית לביצוע צעד כלשהו והערכה ממנו והלאה קבילות )admissible( ההערכה אופטימית יחסית למחיר האמיתי עמוד 4

5 Dominance היוריסטיקה אחת יכולה לשלוט על אחרת, כלומר ההערכות שלה תמיד גבוהות\שוות מאלו של האחרת לצד הפונקציה ההיוריסטית תהיה לנו פונקצית עלות, שמחברת את עלות כל הצעדים עד לקודקוד מסויים, כאשר הגענו אליו בדרך מסויימת h c פונקציית היוריסטיקה שלמה, בכך שהיא מתחשבת גם בהערכה נכנה את ההיוריסטיקה =cvhv למרחק שנותר, וגם בעלות ההגעה למקום הנוכחי דרך טובה להמציא פונקציות היוריסטיות לבעיה היא לבצע רילקסציה לבעיה, בצורה שתאפשר פתרון מיידי, ולהשתמש בו כהיוריסטיקה סוגי חיפוש : Informed - Greedy Search חיפוש בו בכל פעם מבצעים Expand לקודקוד שההערכה ההיוריסטית שלו מינימלית פונקציה היוריסטית טובה לחיפוש כזה יכולה להיות למשל, מרחק אווירי למטרה חיפוש זה דומה ל- :DFS הוא אינו שלם ואינו אופטימלי, ובעל סיבוכיות זמן של Ob m אלגוריתם *A הרעיון הוא ללכת לקודקוד x, עבורו הערכתינו למרחק המינימלי מקודקוד המקור לקודקוד המטרה דרך x f v=cvhv היא הנמוכה ביותר כלומר הפונקציה ההיוריסטית שלנו היא: עבור,Tree trace אם הפונקציה שלנו היא Admissible )קבילה(, כלומר אופטימיסטית, אזי האלגוריתם הוא שלם ואופטימלי עבור,Graph Trace צריך לדרוש שהפונקציה תהיה גם Consistent כל זאת, עבור גרפים בהם אין מסלולים אינסופיים עם עלות סופית, ובתנאי שה- Branching factor הוא סופי הסיבוכיות של *A היא אקספוננציאלית אבל, אם הפונקציה ההיוריסטית שלנו טובה במקרה זה, אם h n h * n log h * n אקספוננציאלית למעשה *A הוא אופטימלי ביעילותו, כאשר *h המחיר האמיתי, אזי הסיבוכיות אינה אלגוריתם IDA* צורה איטרטיבית של *A, כאשר בכל שלב יש מגבלה על ערך הפונקציה f למעשה משתמשים ב-,DFS אשר נפסק )עבור כל ענף( כאשר f עברה ערך כלשהו בסוף כל איטרציה מגדילים את ערך הסף של f היתרון של האלגוריתם חסכון בזכרון, לוקח בערך האלגוריתם שלם ואופטימלי O b d זכרון בכל איטרציה RBFS Recursive best first search הרעיון הוא לחפש בכל פעם עד רמה מסויימת, עמוד 5

6 וכאשר הגענו לגבול, לסגור את הענף אבל לשמור את ההערכה ההיוריסטית הטובה ביותר בו דבר זה מקטין את גודל התור, אבל אם למשל נגיע לפתרון הגדול מההערכה ההיוריסטית, נוכל לחזור אל הענף שסגרנו למעשה אפשר לחפש בכל שלב את הפתרון בענף הכי טוב, עם מגבלה היוריסטית שהיא המינימום מבין limit וההערכה ההיוריסטית השניה הכי טובה שקיבלנו עד כה הוכחת האופטימליות של *A : נניח מקור S, שני קודקודי מטרה G 1, G 2, כאשר המחיר ל- G 1 הוא G 2 cc * נניח שברשימה של הקודקודים הפעילים יש את בשלילה שבחרנו את מהמחיר של G 2 וגם קודקוד n כלשהו בדרך ל- אופטימלי, *C, ואילו המחיר ל- נניח G 1 G 2 G 2 לכן לכל קודקוד n בדרך ל- G 1 מתוך הרשימה, אבל המחיר של n קטן מהמחיר האופטימלי, אשר קטן נבחר אותו לפני שנבחר את G נשאר להוכיח שהאלגוריתם יסתיים טענה: אם קיים מסלול בין S ל- G, אזי *A יעצור הוכחה: זהו עץ חיפוש, ולכן מעגלים צוברים מחיר קבוע ולכן קיים מספר סופי של מעברים על מעגל שניתן לבצע עד שנעבור את *C ההנחות היוריסטיות שלנו היו: S G h S =0 a A, f S,a=S ` C S,S `0 ההיוריסטיקה קבילה היוריסטיקה מונוטונית\עקבית )אי-שוויון המשולש( זוהי דרישה עבור חיפוש בגרף ולא בעץ נושאים מתקדמים בחיפוש מקרה מיוחד חיפוש CSP CSP Constraint Satisfaction Problem בבעיה זו המצבים הם ערכים של משתנים, ומצב היעד מכיל Constraints שהערכים צריכים להתאים להם פתרון לבעיית CSP היא הצבה למשתנים, שתואמת ל- Constraints ההגבלות )Constraints( יכולים להיות על משתנה יחיד, או על מספר משתנים )כגון על סכום מספר משתנים( בנוסף, יש סוג הגבלה שנקראת,Absolute כלומר חיונית לפתרון, או,preference שמתארת איזה פתרון עמוד 6

7 טוב יותר לכל משתנה D i Domain מוגדר V i דיסקרטי או לא-דיסקרטי שמגדיר את הערכים שניתן לייחס לו הדומיין יכול להיות דרך אחת לחפש מסלול הוא להגדיר מצבים שהם השמות של משתנה שלא הושם הפעולות הן השמה של משתנה יחיד כל הפתרונות הם בעומק n )מספר המשתנים(, ופתרון הוא מצב בו כל המשתנים מיושמים, והם עוברים את ה- Constraint Test,Constraint במקום להמשיך לבצע הצבות לאחר שכבר הפרנו Backtracking Search ניתן לבצע בדיקה האם כבר הפרנו הגבלה אם כן, חוזרים אחורה ומנסים משהו אחר ייתכן כי עדיין לא הפרנו הגבלות, אבל ביצענו הצבות שלא יאפשרו לסיים את כל ההצבות בעתיד בשיטת,Forward Checking בכל פעם שנותנים ערך למשתנה, מורידים מהדומיינים של כל המשתנים שעדיין לא נבדקו את הערכים שיפרו הגבלה אם לאחר הבדיקה יש דומיין ריק, מבצעים Backtracking בדיקות מסוג זה נקראות Arc consistency checking ניתן גם להשתמש בהיוריסטיקות בכדי להחליט לאילו משתנים להציב אילו ערכים היוריסטיקות לאיזה משתנה לתת ערך: Most constrained Variable היוריסטיקה שנוטה לתת ערך למשתנה, עבורו יש הכי מעט ערכים אפשריים דבר זה נוטה להקטין את עץ החיפוש Most constraining Variable היוריסטיקה שנותנת ערך למשתנה אשר משתייך להכי הרבה constraints על משתנים שעוד לא הושמו בנוסף ישנן היוריסטיקות להחלטה אילו ערכים לתת למשתנים: Least constraining Value נותן את הערך שמשאיר הכי הרבה אפשרויות למשתנים שמשתתפים ב- constraint עם המשתנה הנוכחי למעשה ניתן להשתמש באלגוריתם *A בכדי לחפש, כאשר הפונקציה ההיוריסטית לוקחת בחשבון איזה משתנה כאשר ליישם, ובאיזה ערך, בהתאם להיוריסטיקות הנ"ל Hyper-Graphs גרף בו צלע מחוברת למספר קודקודים, כלומר כל תת-קבוצה של קודקודים יכולה להיות צד של צלע ב- hyper graph למשל, הפרישה של שפה חסרת-הקשר היא היפר-גרף מכוון: הקודקודים הם המשתנים, והצלעות הן משני סוגים: AND ו- OR הפתרון יהיה לא מסלול כמו בגרפים רגילים, אלא עץ, או היפר-עץ Graphs :And-Or לכל צלע יש קודקוד מוצא יחיד עבור מאחד סוג ספציפי של היפר-גרף עמוד 7 Or יש קודקוד יעד יחיד, עבור And יש יותר

8 אלגוריתם AO* מוצא מסלול )עץ( בהיפר-גרף מעריכים את מחיר הצלעות ולא הקודקודים כאשר מעריכים מחיר של צלע,And המחיר הוא סכום מחירי קודקודי היעד, ועוד סכום )מספר( הצלעות האלגוריתם מבצע הערכה של המחיר של קודקוד ע"פ היוריסטיקות, מפתח קודקוד אחד כל פעם, ומעדכן את המחירים במעלה הגרף מקודקוד זה מעלה חיפוש online האלגוריתמים עד כה הם off-line ניתן לחזור, להתחרט וכו' הבחירות לא מחייבות נחפש,online search כלומר ברגע שהגענו לנקודה בחיפוש אנחנו כבר שם וממשיכים משם אלגוריתמים כאלו ינסו לשפר את המצב מהנקודה בה הם נמצאים Hill-Climbing אנלוגיה לנסיון להגיע לנקודה הגבוהה בשטח מחליטים בכל רגע מה הכי טוב מהי הנקודה הכי גבוהה אליה ניתן להגיע אם יש נקודות מקסימום מקומיות הדבר עלול להוות בעייה האלגוריתם סומך על כך ששיפור רגעי יוביל לפתרון Simulated Annealing מנסים, סטטיסטית, ללכת קצת גם למטה, בהתאם לפרמטרים שאומרים כמה להסתכן מעברים למצבים פחות טובים מתבצעים בהסתברות יותר קטנה Parallel Search ניתן לחפש בצורה פרללית ניתן לחלק עבודה, למשל לחלק את k האפשרויות הטובות ביותר ב- Active Set ל- k מכונות שונות דוגמא - בעיית הסודוקו דוגמא להיוריסטיקה להציב תחילה את המשתנים שמופיעים בהכי הרבה אילוצים, כך שיפתרו כמה שיותר בעיות משתמשים בתלויות בין המשתנים, ובערכי משתנים ידועים, בכדי לצמצם את מרחב האפשריות להצבות יש שתי אפשרויות אחת היא לאחר כל הצבה ללכת קדימה ולהביט במשמעויות, השניה היא ללכת אחורה ולבדוק את המשמעויות האפשרות הראשונה נקראת,Forward Checking מצמצמים את האפשרויות הלאה באפשרות השניה, מנסים להציב ב- E ובודקים האם יש אילוץ שמונע את ההצבה בשל הצבה קודמת טכניקות אלו מצמצמות את הבעיה כאשר הצלעות של ה- CSP Constraints הן בצורת עץ, הבעיה נפתרת בצורה יעילה, O N d 2, כאשר N כמות המשתנים, d הפיצול הגדול ביותר Back Jumping זהו נסיון לגבש מדיניות לגבי עד כמה לחזור אחורה, לאחר שהגענו ל- dead end עמוד 8 גישה ראשונה פשוט חוזרים צעד יחיד אחורה

9 גישה שניה ניסיון לחזור כרונולוגית עד לבעיה האחרונה שקרתה )ההצבה האחרונה שהיא בעייתית( כלומר למשל ב-,CSP כאשר Constraint מופר, חוזרים למקום האחרון בו בחרנו משתנה שמשתתף ב- constraint כאשר משתמשים ב- back jumping עבור סט קונפליקט של משתנה יחיד, הדבר חלש מ- forward forward checking שכן לא נגיע לבעיות האלו אם נשתמש ב-,checking כאשר משתמשים בסט קונפליקטים של יותר ממשתנה אחד, כלומר בודקים איזה קבוצת משתנים גרמה לבעיה, הדבר חזק יותר מגלים איזה אילוץ על אילו משתנים גרם לבעיה בהצבה הפתרון של CSP בעזרת עץ בוחרים שורש, מסדרים את שמות הקודקודים בשורה כך שכל צומת הוא אחרי אביו עוברים על הרשימה מהסוף להתחלה עבור כל קודקוד, מאלצים את אביו כלומר, משאירים רק את הערכים של אביו, עבורם לקודקוד עצמו יש ערך אפשרי לבסוף, עוברים מההתחלה לסוף, ומיישמים ערכים פתרון זה רץ בזמן O n d 2, שוב רק בתנאי שה- CSP המקורי היה בעל מבניות של עץ הפתרון עבור גרף Cutlist Cycle הרעיון הוא, להוריד מספר קודקודים כך שישאר לנו עץ יש בעיות בהן יש "גרעין קשה" של הבעיה שעושה אותה לגרף, ואם מורידים אותו מקבלים עץ S אם גודל ה-,cutlist אזי מנסים את כל ההצבות האפשריות ב- S ולכל אחת מבצעים את פתרון העץ )עם דומיינים של המשתנים שמתחשבים ב- Constraints מול אברי S( פתרון זה הוא בזמן אקספוננציאלי בגודל S הבעיה היא מציאת S בגודל המינימלי, זוהי בעיה NP קשה פירוק הגרף לעץ - Decomposition Tree ניתן לפרק את הגרף לתתי-בעיות, ולחבר את תתי-הבעיות בעזרת עץ לאחר מכן ניתן לפתור בזמן אקספוננציאלי בגודל תת-הבעיה הגדולה ביותר, אך הבעיה היא כי מציאת תתי- הבעיות זוהי בעיה NP -קשה יש היוריסטיקות למציאת תתי-הבעיות, אך הן לא תמיד עובדות התנאים לחלוקת גרף לתתי-עצים: כל משתנה מופיע לפחות בתת-בעיה אחת כל צלע בין שני משתנים מופיעה לפחות בתת-בעיה אחת )עם שני הקודקודים( עמוד 9

10 אם קודקוד מופיע בשתי תתי-בעיות, הוא מופיע גם בכל תתי-הבעיות שביניהן חיפוש במידע חסר search partial information להגיע לנקודה, בהנתן שאין ידע לגבי המיקום ממנו מתחילים למשל חיפוש במבוך מנקודה באמצעו אז, המעבר הוא לא בין מצבים אלא בין מצבי-אמונה, כאשר כל מצב-אמונה הוא תת-מרחב של מרחב המצבים כלומר עוברים בין קבוצות של מצבים, שאנו יכולים להיות באחד מהם למעשה אנחנו מחפשים ב- ;Hyper-Graph כמו שראינו זו עבודה ש- AO* יכול לבצע חשוב מאוד לדעת אם יש מישהו אחר המשנה את העולם אם לא יודעים שיש סוכן אחר, והוא קיים, קשה מאוד ללמוד עמוד 10

11 משחקים נביט למשל במשחק של שני שחקנים, כאשר התור מתחלף עם כל מהלך בעץ החיפוש כל צומת היא מצב של הלוח, ויש ערך לכל מצב סופי, למשל מי ניצח אנחנו נרצה להתקדם בענפים בעץ, כך שיביאו אותנו למקסימום רווח יש משחק שנקרא משחק סכום-אפס סכום הרווח של שני השחקנים הוא 0 ההנחה היא כי השחקנים רציונליים, יודעים כיצד השחקן השני ישחק יש ערך של רווח בכל עלה, לכל צומת ניתן לתת ערך למשל של הערך המקסימלי אליו ניתן להגיע משם, וכך ניתן מההתחלה לדעת )לחשב( מה יהיה מסלול ההתקדמות האופטימלי נבצע זאת ע"י מתן פונקציית רווח u a לשחקן a ובדומה לכל שחקן אחר למצבי הסיום יש ערכים בכל רמה, כל שחקן ישאף לבחור את הערך שיביא לו את מקסימום הרווח ניתן להחדיר גם קודקודי סיכוי )קוביות( ומכניסים אפשרויות הסתברותיות העץ הוא אקספוננציאלי, לפעמים ניתן לצמצם חלקים מהעץ תרגול נניח שיש לנו רובוט, שצריך לנקות שני חדרים הרובוט יכול להתחיל מכל אחת משני החדרים, ויש 4 אפשרויות לאיזה חדרים מלוכלכים- אף אחד, הימני, השמאלי או שניהם לכן יש 8 מצבי התחלה ניתן לצייר דיאגרמת מצבים, בה כל מצב מייצג את מצב הלכלוך של החדרים ואת מיקום הרובוט )באיזה חדר הוא נמצא( בדיאגרמה יהיו 8 מצבים, לפי המצבים הנ"ל נניח שהסנסורים של הרובוט לא עובדים, בצורה בה הרובוט לא יודע בהתחלה מהו מצב העולם בהתחלה נמצא הרובוט ב"מצב אמונה" שמכיל את כל המצבים האפשריים אם מבצעים, למשל, פעולה שמאלה, ניתן להיות רק במצבים בהם הרובוט נמצא בחדר השמאלי כך ניתן לצייר דיאגרמת מצבי אמונה, ולבסוף להגיע בוודאות למצב אמונה שמכיל מצב רגיל יחיד, שהוא המצב המסיים Mini-Max שכלול היעילות רלוונטי עבור משחקי סכום-אפס עקרון ה- :MiniMax לעלים יש ערך שנקבע ע"י פונקציית הרווח, u לכל צומת אחר, אם הוא צומת MAX ה- Utility שלו הוא מקסימום ה- Utility של בניו אם הוא,MIN המינימום מבין ה- Utilities של בניו עמוד 11

12 דוגמא לפתרון: מתחילים ב-,DFS כאשר כל קודקוד בדרך מקבל בתחילה את הערך המספרים שניתן להשיג מענף זה, שכן לא יודעים עליו דבר [, ] כאשר מגיעים לעלה מקבל התווך את ערך העלה, זה התחום של ברמה שמעליו, נרשום את הזוג שאומר מה התווך שיהיה, בהנחה שהשחקן שישחק יבצע את הבחירה הטובה ביותר עבורו למשל אם זוהי צומת של שחקן,Min הוא יבצע את הבחירה הקטנה ביותר, ולכן נקבל טווח של למשל הטווח [, 3] [ 3, ] כאשר עולים בעץ מתבצעת propagation של ההגבלה בענף שמעליו למשל יהיה, שכן השחקן ה- max לא יאפשר תוצאה קטנה מ- 3 כאשר נגיע לענף אחר, נחזור עם טווח אחר, למשל של מעליו הוא max עם טווח של כולו [, 2] [ 3, ] ברגע שהגענו לתוצאה כזו, והקודקוד, ברור כי כל הענף הזה לא יהיה בשימוש ולכן לא צריך לסרוק את Alpha-Beta Pruning הבעיה בפתרון הנאיבי הוא שהעץ גדול אקספוננציאלית הרעיון הוא, לקצץ ענפים שלא יכולים לתת תשובה טובה יותר מזו שיש לנו עבור צומת n כלשהי, אם לאיזשהו שחקן במסלול אל השורש כבר יש אפשרות טובה יותר מאשר לעבור דרך n, אזי לא נעבור דרך n ואז ניתן לזרוק את הענף האפקטיביות של הטכניקה תלוייה בסדר של הערכים בעלים אם ניתן תמיד לבחון את הערכים מהגרוע אל הטוב, אזי נוכל להגיע לסיבוכיות של O b d / 2, כאשר ב- MiniMax רגיל הסיבוכיות היתה O b d עמוד 12

13 ייצוג ידע ולוגיקה הרעיון כאן הוא לייצר סוכנים, שמסוגלים לייצג ידע לגבי העולם, ולהסיק מסקנות על העולם על-סמך הידע שכבר יש להם וחוקי גזירה דבר זה נותן להם כוח, בכך שהם יכולים להתמודד עם עולם משתנה, בו לא הכל ידוע, וגם מתוך המידע שיש לא הכל ידוע ברמה אקספליסיטית לסוכנים בעלי יכולת ייצוג ידע ו"הבנה מתוך הידע, יש שני מנגנונים ראשיים: KB Knowledge Base מבנה שמכיל את כל המידע שאנו יודעים על העולם מתעדכן מול העולם כל הזמן Inference Mechanism החלק שיכול להפיק ידע חדש מידע קיים, ולבדוק האם טענה מסויימת על העולם נכונה, שקרית או לא וודאית לגבי חלק זה נוכל לשאול מספר שאלות: האם הוא נאות )Sound( האם כל מה שנלמד ממנו, יהיה נכון, אם הנתונים היו נכונים? האם הוא שלם )Complete( האם ניתן ללמוד בעזרתו את כל מה שנובע מה-?KB האם המנגנון יעיל האם הסיבוכיות פולינומיאלית או אקספוננציאלית? לכל שיטה לייצוג ידע יש שני אלמנטים: סינטקטי כיצד להרכיב משפטים סמנטי המשמעות של משפט, האם הוא אמיתי או שקרי מקשר בין משפטים לבין מצב בעולם ידע סינטקטי בפני עצמו הוא סתם ביטים משפט יכול להיות נכון או לא נכון רק תחת אינטרפרטציה סמנטית של השפה כאשר נרצה ללמוד ידע ע"ס ידע קיים, נשתמש בחוקים סינטקטיים, אקסיומות שיתארו לנו יחסים בין סוגי משפטים שונים סימונים: - c נובע מ- KB כלומר סמנטית, כאשר KB אמיתי גם c אמיתי - c טאוטוליגיה תמיד אמיתי c ל- KB ניתן להגיע מ-,)Inference( כלומר ע"י שימוש בחוקי גזירה KB גזיר מ- c - KB =c =c KB - R c עמוד 13

14 תחשיב הפסוקים Logic Propositional זוהי לוגיקה בה משפט הוא מצב בעולם, משהו שלגביו ניתן לומר האם הוא שקרי או אמיתי אין הבדלה בין אובייקטים בעולם, אלא רק בין שאלות לגבי העולם להן יש ערך אמת או שקר הסינטקס של תחשיב הפסוקים מוגדר בפשטות: משפטים אטומיים, אמת ושקר הם משפטים, ניתן לתחום משפט בעזרת סוגריים, וניתן לאחד משפטים בעזרת מקשרים לוגיים: או, וגם, אם, אם"ם, שלילה הסמנטיקה של תחשיב הפסוקים ניתנת לחישוב רקורסיבי פשוט של תתי-המשפטים, עם טבלאות האמת של הקשרים שמופעלים כבר כאן, קל לראות כי בכדי לבדוק אמיתות משפט בעולם, מספיק להרכיב טבלאת אמת של הפסוק, Conditions Conclusion ע"י מילוי הטבלא מגיעים לערכים האפשריים של המשפט, כתלות בערכים של הפסוקים האוטמיים המסקנה נכונה מן ההנחות אם בכל השורות, הפסוק הנ ל יהיה אמיתי הבעיה היא, שגודל הטבלא יהיה אקספוננציאלי ב- n מספר הקשרים עם זאת, ישנם Patterns של משפטים שתמיד גוררים Patterns אחרים אלו ייקראו כללי גזירה, זוג תבניות של משפטים שתמיד גוררים זה את זה KB - R c KB =c ניתן להגיע תכונות של כללי גזירה: סט של כללי גזירה הוא שלם )complete( אם לכל c המקיים KB =c כלל גזירה הוא נאות )sound( אם לכל c שאפשר לגזור, c גם נובע אזי כלל גזירה הוא שלם בשלילה Complete( )Refutation אם לכל c המקיים לסתירה בגזירה: KB { c} - R כללי גזירה מרכזיים: מודוס פוננס: אם A גורר B ו- A נכון, אזי B שלילה כפולה אלימינציית,AND הוספת AND כל אלמנט בשרשור Andים הוא אמיתי, ניתן להוסיף סדרה של פסוקים אמיתיים ל- And אחד גדול רזולוציה למשל, a c, b c - a b עמוד 14

15 תהליך הגזירה המטרה של תהליך גזירה הוא למצוא הוכחה ע"י מציאת סדרה מתאימה של אפליקציות של חוקי גזירה מנוע ההיסק מקבל את בסיס הידע KB ופסוק c ומחזיר האם c נגזר מ- KB תוך כדי ההסקה מורחב ה- KB ככל שלומדים יותר יכולת ההסקה הזאת נובעת מהמונוטוניות של לוגיקת הפסוקים, כלומר אם KB =c KB KB 2 = c פותרים את השאלה לכל KB 2 KB - R c אזי ע"י חיפוש בעולם של מערכי-ידע המצבים הם קוניונקציה של משפטים מה-,KB הפעולות הן גזירות, פונקציית הבדיקה בודקת האם c נמצא בקודקוד עבור כללי גזירה שהם שלמים בשלילה, החיפוש מתחיל מ- הערות: KB { c} ומחפשים את בעיית הגזירה היא NP -קשה בכדי להפעיל רזולוציה צריך להביא את KB לצורה של דיסיונקציה,CNF כלומר AND של פסוקיות פסוקיות Horn P 1 P n פסוקיות Horn מהצורה Q הגדרה אחרת זהו Clause עם לכל היותר ליטרל חיובי יחיד, כאשר כל הליטרלים חיוביים כאשר KB מורכב מ- AND של פסוקיות,Horn חוקי הרזולוציה יוכלו להניב רק מספר פולינומיאלי של משפטים נגזרים, ולכן החיפוש יהיה בסיבוכיות פולינומיאלית משפטים: תחשיב הפסוקים ניתן להכרעה, בסיבוכיות NP רזולוציה ככלל גזירה הינה שלמה בשלילה ניתן בזמן ליניארי להכריע מערכות של פסוקיות הורן לוגיקה מסדר ראשון תחשיב הפרדיקטים זוהי לוגיקה חזקה מספיק בכדי לבנות סוכנים מבוססי-ידע לוגיקה מסדר ראשון מבדילה בין אובייקטים בעולם, ומתארת מאפיינים שלהם ויחסים ביניהם הסינטקס של תחשיב הפרדיקטים: קבועים אמת, שקר, אורן, כביש בגין וכד' עמוד 15

16 משתנים X,Y וכו', חופשיים פונקציות יש להן ערך בהתאם לקלט שלהן QV, Z, P X,,,, יחסים - כמתים - קשרים - זהות - = ביטויים מורכבים רקורסיבית בעזרת קשרים וכמתים נוסחא אטומית יכולה להיות משני סוגים: פונקציות מיוחדות, שממפות לערכי שקר\אמת יחס בין קבועים ו\או משתנים, הוא משפט אטומי, שיכול לקבל ערך אמת או שקר שוויון בין שני אובייקטים )או פונקציות, או פונקציית ואובייקט( הוא משפט אטומי Situation Calculus זהו סוג מיוחד של,FOL בו מתארים עולם שמשתנה עם הזמן הרעיון הוא שיש סדרה של Situations של העולם, בכל אחד העולם יכול להיות שונה עבור פרדיקטים שתוצאתם משתנה עבור סיטואציות שונות, נוסיף ארגומנט נוסף שם המצב עליו הפרדיקט עובד נגדיר פונקציית Result בעולם, אשר מקבלת כפרמטר פעולה ומצב עולם, וערך החזרה הוא מצב העולם )סיטואציה( החדש שימוש בלוגיקה מסדר ראשון הגדרות: משפט הוא נוסחא ללא משתנים חופשיים ליטרל הוא נוסחא אטומית או שלילתה Clause הוא דיסיונקציה )Or( של ליטרלים Ground Clause הוא חסר-משתנים =c ה- KB שלנו יהיה מורכב ממשפטים מודל העולם מגדיר נכונות של יחסים עבור הצבות למשתנים KB =c KB - R c - לכל הצבה במשתנים במערכת, c מתקיים מודוס פוננס - אם - לכל הצבה של,KB הפסוק c מתקיים - גזירה לפי כללים חדשים שב- R הטכניקה נקראת,Grounding, אזי P A Q A X, P X Q x מחפשים הצבה למשתנים ב-,KB שאחריה נוכל להפעיל MP רגיל קיימת הצבה U, עמוד 16

17 b [U ] אזי a[u ],a b[u ] כללי הגזירה: 1 2 ב- FOL נצטרך כמה חוקי גזירה חדשים, שיתמודדו עם השמת משתנים - Substitution החלפה של משתנים בקבועים ניתן לבצע,Variable assignments בעיקר כאשר יש כמת "לכל" a b a b 3 4 השמטת שלילה כפולה כלל דה-מורגן - x y z=x y x z כמובן, 5 ולהיפך x 1=1, x 0=x, x 0=0, x 1= x 6 כללי השלמה: x x=0, x x=1 ספיגה: 7 x x y= x, x x y= x x x y=x y, x x y= x y 8 חוק :propagation ניתן לומר כי and שקול לכפל, or לחיבור אזי, xy x z y z=xy x` z דוגמא בנק מחזיק כספת בעלת 5 מנעולים: v,w,x,y,z חמישה מפקחים מחזיקים מפתחות:,x,v מחזיק מפתחות ל- a,y,v מחזיק ל- b,w,y ל- c,x,z ל- d v,z ל- e השאלה היא, האם ניתן לפתוח את הכספת בלי כל האנשים? ואילו ה- constraints הם: f =v w y x z פתיחת הכספת היא הביטוי: מחליפים כ"א מהמנעולים בביטוי לאנשים, v=abe,w=c, x=ad, y=bc, z=d e כלומר צריכים לפחות 3 f =c adaebd de מפשטים ע"פ כללי הגזירה ומקבלים ביטוי כגון: אנשים, שאחד מהם הוא c דוגמא שימפנזה ברחה מבית משוגעים והשתלטה על מחשב של חברת שידוכים היא שינתה את הגדרות הזיווג המושלם: עמוד 17

18 לאחד מבני הזוג יש שפם ולאחר זקן 1 רק אחד מהם אוכל בננות 2 3 אחד, או שניהם, עולים במשקל אחד מבני הזוג מגדל שיער )שפם או זקן( והשני עולה במשקל ואוכל בננות 4 אם אחד מבני הזוג מגדל שיער )שפם או זקן( אזי השני עולה במשקל ואוכל בננות 5 השאלות שלנו הן: 1 לרשום את 1-5 בתחשיב הפסוקים האם 4,5 זהים? 2 האם 1,5 סותרים זה את זה? 3 נשתמש במשתנים הבאים: A אישה מגדלת שפם B גבר מגדל שפם C ו- D אישה \ גבר מגדל זקן E ו- F אישה \ גבר אוכל בננות G ו- H אישה \ גבר עולה במשקל נצרין את המשפטים: A D B C 1 E F F E 2 G H 3 AC F H BD E G 4 AC F H BD E G 5 בכדי למצוא את 1 סותר את 5, נרצה להכניס את כל הפסוקים )שנרצה לבדוק האם הם סותרים( ל- KB ולהפוך אותם לצורת CNF אם ניתן להסיק את הקבוצה הריקה )או הכל(, אזי יש סתירה היסק לוגיקה מסדר ראשון תזכורת: יש בסיס ידע הופכים את בסיס הידע לבסיס ידע בצורת פסוקיות בהנתן בסיס ידע בצורת פסוקיות, ניתן להפעיל רזולוציה עמוד 18

19 האחדה: מטרת ההאחדה היא לקחת שני משפטים, ולשנות את צורתם כך שייראו אותו דבר הגדרה: האחדה של שני ביטויים q,p )ללא כמתים( בלוגיקת סדר ראשון, היא תהליך של מציאת הצבה הצבה כזו נקראת המאחד נרצה את המאחד הקטן ביותר, שהוא גם המוכלל p= q כך שמתקיים, ביותר טענה: לשני ביטויים הניתנים להאחדה, קיים המאחד הכללי ביותר הוא MGU, most general unifier אם לכל הצבה מאחדת אחרת הגדרה: יהו p,q ניתנים להאחדה, אזי = כך שמתקיים: קיימת הצבה, רזולוציה הגדרה: - Resolution דוגמא: רזולוציה לביטוי,, כאשר, הצבה,, כאשר g,p,f פונקציות = p f X, ga, Y,g a,y p f X, Z,Z במקרה זה נרצה לאחד את הארגומנטים של שתי הפונקציות p נרצה להתאים את רשימות הארגומנטים: ההצבה תהיה כמובן Z= g a, Y { f X,g a,y, ga,y },{ f X, Z, Z } {X, ga,y },{X,Z} המרת פסוקיות לצורת CNF הגדרה: המרת ביטויים בלס"ר לצורת פסוקיות זהו תהליך מבני סינטקטי: 1 החלפת גרירה: מוחלף בביטוי 2 הפנמת שלילה לתוך ביטויים אוטמיים, כגון, כנ"ל לגבי שלילה לפני כמתים 3 הסדרת שמות משתנים כך שלשם מסויים תהיה משמעות יחידה: למשל x p x x q x יהפוך ל- x p x y q y 4 החלפת כמתים "יש"יים )סקולומיזציה נראה בנפרד( 5 משמיטים כמתים כוללים 6 פיתוח אסוציאטיבי עד כדי CNF למשל המרת ל- 7 פירוק CNF לפסוקיות 8 הסדרת משתנים )בדיקה שלא קיבלנו משתנים עם שמות זהים, ממשפטי CNF קודמים( עמוד 19

20 הגדרה תהליך סקולמיזצייה )skolemization( מורידים כמת "יש"י ואת המשתנה שלו ומחליפים אותו בפונקצייה חדשה, לה יש ארגומנטים שהם משתנים ככמתים כוללים המכילים את תחום ההגדרה של כמת, כאשר c קבוע ואילו: "יש"י דוגמאות:, כאן החלפנו את x בפונקציה של y, ביטוי זה יוחלף בביטוי: x אבל,x,y,z היה פונקציה של w x P x P c y x P x y P f y x y P x, y y P d, y y xq x P x, y z w Rw yq f y P f y, y z R g y, z ממילא פונקציה של y, ולכן הוא פשוט פונקציה של y,z בלבד דוגמא שלמה x[ px { y p y p f x, y} { y qx, y p y}] 1 החלפנו את הגרירות - x[ p x { y p y p f x, y} { y qx, y p y}] 2 הפנמת שלילה - x[ px { y p y p f x, y} { y q x, y p y}] 3 החלפת שמות משתנים, במקרה זה של y: x[ p x { y p y p f x, y} { w q x, w p w}] x[ p x { y p y p f x, y} { q x, g x p g x}] 4 5 פשוט מורידים את כל הכמתים הכוללים: p x { p y p f x, y} { q x, g x p g x} { p x p y p f x, y} { px q x, gx} { p x p g x} 6 7 מפצלים כ"א מהפסוקיות, ומחליפים את שמות המשתנים כך שלא יהיה אותו משתנה בשתי פסוקיות תת-נושא: אסטרטגיות לרזולוציה הגדרה: העדפת יחידים" הינה אסטרטגיה לרזולוציה, שמעדיפה מבחינת סדר חיפוש פסוקיות המורכבות מליטרל בודד רזולוציה המוגבלת ליחידים כאלה, נקראת רזולוציית יחידה הגדרה: רזולוציית קלט הינה אסטרטגיה בה לפחות ארגומנט אחד נמצא בבסיס ידע מקורי טענה: רזולוציית קלט היא שלמה ביחס לבסיסי-ידע בצורת הורן )שכל הפסוקיות שלהן הן בצורת הורן( הגדרה: רזולוציה ליניארית הינה אסטרטגיה בה עבור ארגומנטים,P,Q או ש- P היא מסקנה משלב קודם של גזירת Q או ש- P בא מבסיס נתונים מקורי )ולהיפך( עמוד 20

21 דוגמא: יהי בסיס ידע: p q} } p q, p q, הרזולוציה תבנה עץ הפוך: רזולוציה של שתי הפסוקיות הימניות יניבו q, רזולוציה של q עם הפסוקים השמאלית תניב p, אזי הגדרה: אסטרטגיית צמצום של KB לרזולוציה: 1 צמצום )הורדת( פסוקיות עם ליטרל יחודי, ששלילתו לא מופיעה באף פסוקית אחרת 2 צמצום טאוטולוגיות, הם לא יעזרו למצוא סתירה פנימית 3 צמצום של פסוקיות נשלטות כלומר, אם קיימים שני משפטים ויש הצבה המקיימת את ניתן להשמיט יישום ההאחדה: יישום ע"י שתי פונקציות רקורסיביות הדדית הפונקציה הראשונה מטפלת במקרים של הקלט: האם?X=Y תיכשל אם )כ"א בנפרד( משתנה, צריך לאחד אותם עבור שני ארגומנטים מורכבים רקורסיה עבור שתי רשימות משתנים רקורסיה Function Unify )X,Y, ( if ) = fail( return fail else if X Y return )השורה האחרונה משמשת להשוואת פעולות( else if ) isvar )X( ( unifyvar)x,y, ( else if ) isvar )Y( ( unifyvar)y,x, ( else if ) iscomplex)x( and iscomplex)y( ( return Unify) Arg[X], Arg[Y], Unify) Op)X(, Op)Y( ( ( )השורה האחרונה מאחדת בין האגרומנטים של הפעולות, ותחת קיומו של הארגומנטים( )ארגומנטים של הפונקציה החיצונית( עמוד 21

22 else if ) islist )X( & islist )Y( ( )השורה האחרונה בשימוש עבור רשימות ביטויים, כלומר [arg[x למשל( Unify) Tail)X(, Tail)Y(, Unify) Head)X(, Head)Y(, ( ( )הראש הוא האיבר הראשון, הזנב הוא כל השאר( else return fail כעת נביט בפונקציה השניה,,UnifyVar הדואגת להאחדה של משתנים UnifyVar)X,Y, ( if ) {X val} ( Unify)val, Y, ( else if ) {Y val } ( Unify)X, val, ( בדיקה האם יש אחד הארגומנטים מכיל את השני // ( ( X,Y else if ) occurrence check ) )יוצר רקורסיה אינסופית, לא ניתן לאחד ביטוי עם תת-ביטוי שלו( return fail; else return {X Y } חיפוש במרחב הפסוקיות 1 Forward חיפוש קדימה, מתחילים מ- KB ומחפשים 2 Backwards חיפוש אחורה בד"כ מחפשים בפסוקיות,Horn נרצה בד"כ בעלות איבר לא-שלילי יחיד בחיפוש אחורה עובדים על KB בצורת Horn כנ"ל לוקחים פסוקית q כלשהי, נרצה לבדוק האם ניתן KB הם ב- pים כאשר ה-, p 1 p n לבנות את q מתוך ה-,KB כלומר האם q ייתכן גם שיש מספר גרירות אלטרנטיביות כנ"ל נפתר ע"י גרף And-Or נחפש אחורה מ- q, עד שנגיע לאוסף pים הקיימים ב- KB כך עובדות שפות תכנות לוגיות, כגון Prolog עמוד 22

23 לוגיקה לא מונוטונית בעיות בלוגיקה מסדר ראשון: בסיס הידע לא שלם לעיתים לא ניתן להוכיח משפט וגם לא את שלילתו מתוך KB לעיתים צריך לנחש האם משפטים כאלו הם נכונים או לא לרוב הכללים יש יוצאי דופן למשל יש ציפורים שלא עפות נראה שניתן לפתור בעיות כאלו בעזרת הרחבה של כללי היסק: השלמת התורה הלוגית, החלטות ברירות מחדל, מתקיים KB Q = P לכל Q הגדרה: כלל היסק נקרא מונוטוני אם, לכל P כך ש- KB = P KB - R המקיים Q, מתקיים: KB - R הגדרה: כלל היסק R הינו עקבי אם לכל c המקיים c KB = KB {c} = כללי היסק ע"י השלמת תורה היינו רוצים לומר כי כאשר לא ניתן להסיק את p, למעשה מתקיים p הגדרה: תורה מהקבוצה כלול בתוכה הינה אוסף פסוקיות הסגור תחת גרירה לוגית, = תורה נקראת שלמה אם כל ליטרל בסיסי או שלילתו נמצאים ב-, כלומר כל הנובע לוגית הגדרה: בהנתן,KB הנחת העולם הסגור CWA( )Closed World Assumption של בסיס הידע, הינו השלמה לתורה השלמה של KB ע"י העקרון הבא: CWAKB=KB {P KB = P } { p KB = P, KB = P, P} ניתן להסיק משהו או שלילתו, נניח את שלילתו מבצעים את כל ההוספות ל- KB בבת-אחת הערה CWA לאו דווקא עקבית למשל, CWA{p a pb} משפט: CWA KB הינו עקבי אם"ם לכל פסוקית מהצורה חיובי בסיסי והפסוקית נובעת לוגית מ-,KB לפחות ל- i אחד מתקיים, אינו עקבי P 1 P n כלומר, אם לא P i,כאשר כל KB = P i מסקנה: CWAKB תמיד עקבי אם KB הינו HORN ועקבי הערה: לכן בשפת Prolog משתמשים ב- CWA הערה: ניתן גם להגביל את CWA או משלימים דומים בצורות הבאות: הגבלה לסדרה מסויימת של גזירות לוגיות ליטרל עמוד 23

24 מגבילים את תחום ההגדרה של משתנים לקבועים המופיעים ב- KB יתכן שקבועים חדשים יניבו סתירות, שכן לא יודעים דבר לגביהם כללי ברירת מחדל מדברים על משהו שבד"כ קורה הגדרה: כלל ברירת מחדל הוא שלשה: אם עבור, והמשמעות: x: x x x X מתקיים, וגם KB = x KB = x x הגדרה: כלל היסק בברירת מחדל D= : נקרא נורמלי עקבי עם,KB ניתן להסיק את הגדרה: צעד ההרחבה של KB ע"י אוסף כללי ברירת המחדל D, הוא הפעלה של כלל כלשהו ב- D והוספת המסקנה )אם יש( ל- KB הרחבה של KB ע"י D, E KB, D אשר ב- D דוגמא: bird x : fly x D= fly x, הינו אוסף פסוקיות הנוצר מ- KB ע"י הפעלת חוקי ההרחבה במקרה זה, כל ציפור שיכולה לעוף )אין דבר המונע ממנה לעוף( אכן עפה הדבר יעזור למקרה היען, אשר ספציפית עבורה אנו יודעים שאינה יכולה לעוף הערה: עם נוסיף כלל כגון : p x p x כלומר, אם לא נמנע, ניתן את הערך השלילי ל- p של משתנה הדבר דומה ל-,CWA אך יימנע מחוסר-עקביות, שכן לא כל ההרחבות מתבצעות בו-זמנית הערה: לעיתים יש כמה הרחבות E KB, D דוגמא:, לפעמים יש רק אחת dealer x:adult x adult x: employed x D 1 =, D adult x 2 = employed x dealer Joe מכך מסיקים גם כי adult Joe, employed Joe נניח כי יש כאן בעיה של משמעות, שכן הקשר "אם מישהו סוחר סמים, הוא מועסק" אינו טבעי במשמעותו ההגיונית נרצה למצוא כלל נורמלי, שיפרק את הטרנזיטיביות לשם כך נשנה את החוק השני: adult X dealerx:employed x adult x: dealer x D 2 =, D employed x 3 = dealerx הדבר הזה דורש הוכחה לכך שמישהו אינו סוחר, בכדי שיהיה מועסק, ומכניס את ההנחה כי אדם איננו סוחר סמים עמוד 24

25 תיכנון מבוא תכנון מול פתרון בעיה פרק זה משלים תמונה של שלושה סוגי סוכנים: פותרי בעיות למשל חיפוש בגרף מצבים מבוססי ידע למשל היסק מלוגיקה סדר ראשון סוכנים מתכננים יש הבדל מהותי בין סוכן פותר-בעיה לסוכן מתכנן בכדי לפתור בעיה, נשתמש למשל בחיפוש עם היוריסטיקה אז כל צומת בגרף מתאר את תמונת העולם המלאה של המצב, ומבצעים חיפוש בין מצבים הבעיה היא, שמספר הפעולות האפשריות והמצבים האפשריים אינסופית, ואין טעם לעבור על כולם בכדי להגיע למצב שקרוב יותר למצב היעד בנוסף, העולם מסובך יותר מאשר סתם מצבים שמקרבים למטרה צריך להחליט גם איך ניתן להגיע למטרה, כיצד להשיג תתי-מטרות וכד' סוכנים מתכננים משתמשים בייצוג לוגי של העולם, והפעולות מוגדרות ע"י תנאים מוקדמים לפעולה ושינוי מצב העולם כתגובה לפעולה בנוסף, ניתן להוסיף פעולות לא רק בסדר מתחילת הריצה לסופה, אלא בסדר כלשהו ניתן לתכנן כל תת-משימה בנפרד ואז לאחדן דבר זה יעיל בשל ההנחה שרוב החלקים של העולם לא-תלויים ברוב החלקים האחרים, לכן ניתן לתכנן תתי-משימות בתתי-עולמות, ואז לאחד תכנון ע"י שימוש ב- FOL Inference ניתן למעשה לפתרון בעיית תכנון ע"י שימוש ב- FOL משתמשים ב-,Situation Calculus מנסים למצוא סדרה של פעולות שתביא אותנו מ- I ל- G מרחיבים את Result של פעולה ב- Situation Calculus ל- Result שמקבל רשימה של פעולות, ואז מחפשים את הרשימה )אובייקט בעולם( הבעיה היא של יעילות, וכן של אופטימליות הפתרון בלוגיקה מובטח לנו רק כי נקבל פתרון, אך ייתכן שהוא מכיל צעדים לא-רלוונטיים רבים דוגמא לבעיית תכנון עולם הבלוקים יש בלוקים בסידור כלשהו, צריך לבנות מהם מגדל מסויים בעזרת זרוע רובוטית יחידה המטרה: למצוא רצף פעולות שיבנה את המגדל הרצוי מגדירים בלוגיקה מסדר ראשון, את הפעולות, המשתנים והמצבים בעולם עמוד 25

26 מפרמלים בלוגיקה סדר ראשון, משתמשים במצב עולם S כשומר את הדרך שעברנו עולם הבלוקים כבעיית חיפוש בכל מצב צריך בכל פעם לשמור את כל העולם כאשר מבצעים שינוי קטן בעולם, מתברר כי צריך לתאר גם את כל החלקים בעולם שלא השתנו, מאוד לא יעיל נגדיר גרף חיפוש, קודקודיו הם מצבי העולם האפשריים ונחפש בו את המצב\מצבים הסופיים מגדירים היוריסטיקות, למשל כמה בלוקים נמצאים על בלוק לא-נכון בעיה אחת היא אי-יכולת לאבחן בין תתי-בעיות שונות )למשל צריך להגיע לשני מגדלים(, משום שמנסים לספק את כל המשוואות בבת-אחת תכנון בעזרת STRIPS רעיונות מרכזיים נתחיל בהנחה כי המטרות )משוואות( הן ב"ת, ולאורך הדרך מגלים את האינטראקציות בין הבעיות כך ניתן להשתמש ב- divide and conquer שפת STRIPS משמשת לתיאור האלמנטים של תכנון: מצבים ומטרות מנוסחים כמשפטים ב-,FOL עם או בלי משתנים פעולות מתוארות כסדרה של Preconditions קוניונקציה של ליטרלים חיוביים, ו- Effects קוניונקציה של ליטרלים כלשהם התוכנית היא מסלול בעץ הסיטואציות האפשריות, כאשר סיטואציה היא הפעלה של סדרת פעולות כלשהי על העולם כיצד למצוא תוכנית האפשרות הברורה ביותר היא ביצוע חיפוש בעץ הסיטואציות, ולמצוא מסלול מ- I אל הסיטואציה בה מתקיים תנאי המטרה, G יש שתי דרכים לבצע זאת: - Progression Planning חיפוש מ- I ל- G, ע"י אלגוריתם חיפוש כלשהו הבעיה היא High branching factor - Regression Planning חיפוש אחורה מתחילים מקודקוד מטרה והולכים אחורה בגרף, עד ל- I חיפוש בעץ התוכניות מתחילים עם תוכנית חלקית Plan Partial אז מרחיבים את התוכנית ע"י הוספת צעדים, שינוי סדר צעדים וכו' כאשר מגיעים לתוכנית הסופית, זוהי התשובה עמוד 26

27 תכנון בעזרת STRIPS STRIPS הוא :Total order planner מוצא תוכנית שלמה להשגת מטרה עובד בצורה הבאה, בלולאה: בחר מטרה )תת-מטרה( שעדיין לא הושגה בחר פעולות שישיגו את המטרה ספק את ה- Preconditions של הפעולות, ובצע את הפעולות אינו שלם ייתכן שלא ימצא תוכנית, למשל בעיית החלפת הרגיסטרים דוגמא - תכנון STRIPS עבור בעיית הבלוקים כל פעולה מכילה שלושה חלקים: דרישות, מעבר למצב אחר ושינוי המצב ננסה לספק כל תת-מטרה בנפרד, אח"כ ליישב את הקונפליקטים ריצת התכנון מתבצעת במחסנית תחילה יש במחסנית את מצב המטרה, בצורת קוניונקציה של תנאים בכל שלב, אם התנאים מתקיימים מבצעים,Pop אחרת מכניסים למחסנית כ"א מתתי-התנאים אשר בקוניונקציה, וממשיכים אם תנאי לא מתקיים, ויש חוק )Action( אשר יכולה לגרום לו להתקיים, מכניסים למחסנית את הדרישות לביצוע הפעולה וממשיכים מסיימים כאשר המחסנית ריקה הערה: כאשר פותרים תת-בעיה אחת ייתכן כי קלקלנו אחרת הערה: סדר הפעולות )סדר הפירוק של קוניונקציה והוספה למחסנית( יכולה לשנות את הפתרון, לכן כל פירוק כזה הוא נקודה ל- Backtracking הערה: הפתרון אינו בהכרח אופטימלי תכנון לא-ליניארי במקום להשתמש ב- Stack רגיל של,STRIPS בונים עץ שמתאר את הסדר של האלמנטים ב-,Stack ומנסים ללכת למספר ענפים בעץ באותו זמן, ובודקים מתי יש מצבים לא-רצויים: מתי רק הגדלנו את דרישות המטרה, מתי חזרנו על מצב ומתי יש לנו קונפליקטים או מצבים לא-אפשריים רצוי פונקציית רגרסיה: מגדירים מה צריך להתקיים לפני ביצוע פעולה, בכדי שלאחר ביצוע הפעולה נגיע למצב Partial Order Planning הרעיון כאן הוא לספק תתי-תנאים בנפרד, ולא לתת סדר לסיפוק התנאים, אלא אם הדבר הכרחי כך נקבל תוכנית שלא מתחייבת לסדר של דברים, שעדיין אין צורך לקבוע את סדרם התוכנית גם לא תתחייב ל- Variable assignments שאין צורך להתחייב אליהם עדיין עמוד 27

28 בניגוד ל- STRIPS )שהיה,)total order plans כעת נבנה תוכנית שהיא גרף פעולות לביצוע, בו לכל קודקוד דרגה אפס, אחת או יותר כל פעולה מקבלת כ- precondition איחוד של ליטרלים חיוביים בלבד, והתוצאה היא איחוד )conjunction( של ליטרלים חיוביים ושליליים התוכנית היא סדרה עם פעולות, אך לא בעלת סדר מלא, אלא בעלות סידור סדר חלקי j צריך להתבצע לפני i כלומר צעד S i S j עם סדר כלשהו:, < S 1,S 2, S n אוסף הצעדים > S s החיפוש מתחיל עם מצב התחלתי ומסיים כאשר S f הגדרה: תוכנית היא תוכנית שלמה )Complete( את מתקיים: 1 ה- preconditions של כל פעולה בגרף מתקיימים לפני ביצוע הפעולה, 2 אין פעולה ביניהם שמבטלת את ה- preconditions )זוג תנאים אלו מקיימים כי a step is )achieved הגדרה: תוכנית היא עקבית )Consistent( אם אין אחת הסתירות הבאות: 1 יחסי סדר סותרים בין צעדים )שני צעדים צריכים כ"א להתבצע לפני השני( 2 השמות סותרות של משתנים פתרון )solution( הוא תוכנית שלמה ועקבית המשיגה את המטרה ליניאריזציה של תוכנית היא העברה של תוכנית חלקית לתוכנית בעלת סדר מלא על הצעדים כל ליניאריזציה של פתרון אף היא פתרון תכנון Partial Order מתחילים מתוכנית "ריקה", בה יש רק מצב התחלתי עם Effect של מצב העולם ההתחלתי, מצב סופי שה- Preconditions שלו הם מצב העולם הנדרש, ויש ביניהם את סדר כך שמצב ההתחלה בא לפני המצב הסופי ניתן לצייר בדיאגרמה, עם חצים מסוג אחד המתארים סיפוק של תנאי עבור מצב, וחצים מסוג אחר המתארים סדר בין מצבים נבצע ב- Regression מהמטרה למצב ההתחלתי בכל איטרציה ננסה לספק את ה- preconditions של מצב כלשהו, ע"י הוספת פעולות ומצבים 1 2 לעיתים, מוסיפים פעולה אחת לענף אחד, אשר פוגעת בפעולה אחרת בענף אחר בכדי לפתור בעיה זו, הקשרים של סיפוק אילוצים הם מוגנים Protected כאשר מנסים לשנות משהו שמשפיע על סיפוק,Precondition נוצר איום, שצריך להפטר ממנו, ע"י: Demotion מזיזים פעולה מסויימת שתתבצע לפני פעולה עליה מאיימים Promotion מזיזים את הפעולה המאיימת, כך שתהיה מבוצעת אחרי הפעולה המאויימת עמוד 28

29 Hierarchical Decomposition כאן נחפש רמה נוספת של אבסטרקציה: תוכנית שמצד אחת ברור שניתן לבצע, ומצד שני שאינה כוללת כל פרט קטן שיש לבצע הגדרה: אופרטור אבסטרקטי הוא אופרטור שניתן לפרוט לסדרת פעולות שהיא תוכנית לביצוא האופרציה של האופרטור הגדרה: אופרטור פרימיטיבי הוא אופרטור שהסוכן מסוגל לבצע ישירות בכדי להשיג זאת: אנחנו צריכים להוסיף תיאור של אופרטורים אבסטרקטיים בשפת STRIPS נחלק את האופרטורים לסוגים אבסטרקטי ופרימיטיבי יש צורך להוסיף אוסף של תהליכי Decomposition כל תהליך כזה הוא מעין שגרה המיועדת להחליף אופרטור אבסטרקטי ב- Decomposition שלו לאופרטורים פרימיטיביים אלגוריתם לתכנון היררכי i אלגוריתם POP המוכלל )HD-POP( גם מבצע Decomposition האלגוריתם מבצע בלולאה: אם התוכנית שלנו היא פתרון, החזר תוכנית ii בחר תת-מטרה ו- Precondition שצריך לספק עבורה iii בחר אופרטור שיספק אותו v i iv בחר אופרטור לא-פרימיטיבי בתוכנית, ובצע Decomposition שלו לאופרטורים פרימיטיביים בצע Resolve-Threats באלגוריתם זה צריך לבדוק כי בתוכנית יש רק פעולות לא-אבסטרקציות, כלומר פעולות שניתן לבצע בכל פעם בוחרים צעד לא-פרימיטיבי, ומפתחים אותו: מוסיפים צעדים ii מוסיפים bindings של משתנים iii סידור הסדר links להוסיף iv היתרונות אם תכנון אבסטרקטי מספק פתרון, אזי יש תוכנית פרימיטיבית שתפתור אף היא את התכנון property( )downwards solution מצד שני, אם התכנון האבסטרקטי אינו עקבי, גם פריטה שלו לתוכנית פרימיטיבית לא תהיה עקבית, ולכן אין צורך ליצור אותה upwards( עמוד 29 )solution property

30 אבל, שתי תכונות אלו אינן מספיקות להבטיח שנמצא פתרון ראה בעיית The gift of the Magi האבסטרקציה יוצרת אי-יכולת להדדיות בתוך קטעים אבסטרקטיים שונים בכדי לפתור בעיה זו, כל פעולה אבסטרקטית צריכה להיות ללא ממשק לעולם החיצון דומה לניהול מפתחות ונעילות, נרצה לפתור Deadlock K הסתברות ופעולות בעולם לא-ידוע הצגת מצב קבוצה מפורשת של מצבים תאור חלקי של KB מציגים מצב חלקי, ניתן להציג פסוקיות ידע המכילות מידע לגבי הידיעה: מתקיים - יודעים שהמשפט תת-מערכת חישה mode אוטומטי יש חישה כל הזמן mode פעולה mode( )pull יש ליזום פעולת חישה תת-מערכת משפיעה לכל פעולה יש מספר תוצאות אפשריות פעולות משנות למעשה את הידע של הסוכן לגבי העולם Conformance planning ללא חישה, בידע חלקי ובעזרת פעולות לא-דטרמיניסטיות, נבנה סדרת פעולות שתוצאתן היא מצב עולם ידוע \ רצוי, ללא קשר למצב העולם ההתחלתי מתבצע ע"י חיפוש במרחב מצבי האמונה Contingency planning תכנון שתלוי במאורעות בעולם, תכנון עם יוצאי-דופן יכולה להכיל מעגלים persistence הבעיה בשיטה זו היא פרנואידיות לוקחים בחשבון את האפשרויות הגרועות ביותר הפתרון תכנון תוך כדי ריצה Execution Monitoring בודק, או ברמת פקודה כי הפקודה התבצעה, או ברמת תוכנית, כי עדיין ניתן להשלים את התוכנית בהנתן הריצה עד כה אם יש בעיה בתוכנית, ניתן להחליף את כל שארית התוכנית אפשרות אחרת - תיקון התוכנית, שיגשר בין המצב הנוכחי לבין מצב בתוכנית המקורית Continual Planning בונים את התוכנית לאורך הדרך כלומר, בונים מכונה שיודעת לבנות תוכניות עמוד 30

31 ביצוע החלטות באי-וודאות מבוא: ניתן לראות סדרות של החלטות ותוצאותיהן כמשחק כנגד הטבע בסדרות אלו, כל עלה מייצג תוצאה של סדרה של החלטות, שמיוצגת ע"י מסלול או תת-עץ בעץ המשחק הערה: כעקרון ניתן להישאר בייצוג הכללי ולדבר על מדיניות )policy( של משחק, ביצוע פעולות ע"פ ההחלטה הטובה ביותר המטרה תהיה לבנות עקרונות למדיניות כנגד יריב אקראי )ל"ד(, בעולם שאינו ידוע לחלוטין כאן המדיניות תהיה מנוע לבניית תוכניות פונקציות תועלת הגדרה: פונקציית תועלת )Utility( היא פונקציה שמתארת את ההעדפות של הסוכן לגבי מצבי עולם הגדרה: תוחלת התועלת של פעולה A במצב S היא: i P Result i A S, AU Result i A סוכנים יעבדו לפי עקרון,MEU Max Expected Utility כלומר ינסו למקסם את EU האקסיומות של תורת התועלת כאשר חושבים על עולם בו יש העדפה לגבי אובייקטים, ניתן לפרט כמה אקסיומות לגבי הסדר של העדפות לגבי אובייקטים 1 קיים סדר בהעדפה: בין כל שני מצבים, יש העדפה מסויימת: העדפה לאחד, העדפה לאחר או אדישות 2 קיום טרנזיטיביות בין הסדר של ההעדפות 3 המשכיות :)Continuity( אם מצב B הוא בין A ל- C מבחינת העדיפות, אזי קיימת הסתברות p כך שסוכן הגיוני יהיה אדיש לגבי הבחירה בין להגיע ל- B, לבין להגיע ל- A בהסתברות p או ל- C בהסתברות p-1 4 החלפה :)Substitution( אם סוכן אדיש בין שני מצבים, אזי הוא אדיש להחלפה בין שני המצבים: ] C A ~ B [ p, A ; 1 p,c ] ~[ p, B ; 1 p, 5 מונוטוניות: סוכן יעדיף הגרלה בה הסיכוי לקבלת המצב העדיף מבין שניים הוא גדול יותר 6 פירוק :)Decomposability( ניתן לפרק הגרלה מסובכת )בעלת כינון הסתברויות( בהגרלה בה לכל אפשרות יש הסתברות יחידה, בצורתה הפשוטה פונקציית Utility היא פונקציה שנותנת ערך גבוה יותר למצבים לגביהם ההעדפה של הסוכן גבוהה יותר עמוד 31

32 העדפת סוכנים לגבי פונקציות רווח כאשר מדובר על רווח במונחים של אובייקטים רגילים כסף, זמן - אנחנו לא חייבים לאגור ערך בצורה מונוטונית לפי ההסתברות זהה Risk-Neutral Agent הוא סוכן אשר בהנתן החלטה בין ביצוע הגרלה בין שני מצבים, או הגעה למצב יחיד בצורה ישירה )ללא הגרלה(, כאשר תוחלת הערך של השניים זהה, יהיה אדיש Risk-Averse Agent יעדיף לקחת את המצב הבטוח, מאשר לבצע הגרלה בעלת תוחלת ערך Risk-Seeking Agent יעדיף הגרלה על הגעה למצב בטוח, בעל תוחלת ערך זהה ערך המידע כאן אנחנו שואלים את עצמנו, אם יש לנו החלטה לבצע, לגביה איננו יודעים מידע מלא האם, ובאילו מצבים, ישתלם לנו להשקיע )ערך, )Utility בהשגת מידע, שיוכל לעזור לנו לבצע את ההחלטה הטובה ביותר הרעיון הוא למדוד את ההפרש בין ה- EU ללא הידע, לבין ה- EU עם היעד הבעיה היא שאין לנו דרך לדעת מה תהיה תוצאת הבדיקה לכן נמצע על כל הערכים האפשריים, לפי ההסתברויות לכן, VPI E = i T, E P E j =E i EU E,E j EU E יש לשים לב שערך המידע אינו יכול להיות שלילי תהליכי החלטה מרקוביים - MDP בחלק זה נלמד שיטות לקבלת החלטות, בסביבה לא-ידועה ולא דטרמיניסטית הגדרה: בעיית החלטה מרקובית )MDP( מוגדרת ע"י: : < S, A,T, S 0 > סביבה 1 פונקציית הסתברות לכך שנעבור t S `, a, S =t S ` a, S, S אוסף המצבים A אוסף הפעולות T : A S S למצב 'S מתוך S תחת הפעולה a תועלת של מעבר מ- S ל- S' תחת a r S `, a, S, r :S A S R פונקציית התועלת זהו משקל על הקשתות שבין ההחלטות השונות עמוד 32

33 הגדרה: מדיניות )Policy( היא מיפוי מלא ממצבים לפעולות כלומר מראה בכל מצב איזה פעולה לבצע הגדרה: Markov Decision Problem זוהי הבעיה של חישוב המדיניות האופטימלית בסביבה הסתברותית הגדרה: Markov Decision Process תהליך מרקובי סביבה בה התוצאה של פעולה תלויה רק במצב בו היינו לפני ביצוע הפעולה כעת נוכל להגדיר יחסים בין Policy, Utility והסתברויות: policy * i=arg max a k T i P k a, i U k הפעולה שתניב EU מקסימלי )עקרון )MEU - המדיניות האופטימלית היא לבצע את נדרוש מפונקציית התועלת שלנו את התכונה של הפרדתיות, ויותר ספציפית את תכונת האדיטיביות: R היא פונקציית,Reward אשר U S 0 S n = RS 0 U S 1 S n במקרה זה היא של R בלבד, אך מכאן והלאה נשתמש בפונקציה A בעזרת 'S ל- S של הליכה מ- Reward V * s=max T s ` s,ars,a,s `V * s ` a s ` r S, A, S ` - התועלת המקסימלית, שהיא ה- אפשרות אחרת היא להוסיף פונקציית דעיכה, כך שהחלטות ש- Rewards שנקבל בעתיד פחות חשובים מאלה שנקבל מוקדם יותר במקרה זה, נוסיף את מקדם הדכיעה : 0 1 V * s=max T s ` s,ar s,a,s ` V * s ` a s ` בחיפוש ראינו כי מעקב אחרי חיפוש מקבל צורה של עץ, לפעמים אינסופי, מעל מרחבי חיפוש שהם גרף סופי ניתן לראות את עץ המשחק כנגד הטבע כיצוג לעץ חיפוש עם פונקציית מעבר הסתברותית במקום דטרמיניסטית ההגדרה האחרונה תגרום לכך שהחל מנקודה מסויימת בעץ, הערך של כל ההחלטות העתידיות לא יעלה על כלשהו הגדרה: תועלת )utility( של סדרת החלטות היא סטציונרית אם עבור סדרה S 0 Q=S 0 S 1 S n וסידרה S 0 Q `=S 0 S 1 ` S n ` S 0 Q `S 0 Q Q `Q בהחלטות העתידיות מתקיים: כלומר, אם ההחלטה הראשונה זהה, יש להתחשב רק נקראת מדיניות )* שרשור של סדרה של S -ים( : S * A היא מדיניות תלויית-תולדות, כלומר תלוייה בדרך למצב : S A S * A תלויית זמן : S 0 T A - : S A מדיניות סטציונרית הגדרה: פונקצייה הפונקציה הפונקציה הפונקציה עמוד 33

34 ) משפט: קיימת מדיניות סטציונרית שפותרת בעיית החלטה מרקובית )עם T =, 1 דוגמא ל- MDP כור אטומי: יש כור עם מוטות, ניתן להכניס אותם או להוציא אותם הפעולה היא הזזת מוטות למצב כלשהו, כלומר A =2 N S טווחי מהירות התגובה, ופונקציית המעבר: T : A S S ישנו מצב אידיאלי S ideal S נגדיר את התועלת, r s, a, s `={ 1 s `=S ideal 0 otherwise } נרצה לבלות כמה שיותר זמן ב- תיקון ותחזוקת מערכת כבישים\גשר S ideal יש לגשר כמה מצבים: מצויין, בסדר, מסוכן, סכנת קריסה S איכות הגשר, A פעולות תיקון תועלת משותפת של שימוש ומחיר התיקון: כרגיל את נתון גרף )מפה( r s, a, s `=U ss `C a max E i i r i פעולות תואמות לתנועה על המפה, התנועות הסתברותיות, ונרצה למצוא מחיר\תועלת של מעבר מקודקוד לקודקוד יש קודקודים עם מחיר חיובי\שלילי, המטרה להגיע כמה שיותר מהר למטרה, עם כמה שיותר תועלת Value Iteration Policy Iteration Actor-Critic פתרון MDP נייצג את המצבים והפעולות בעץ, כמו עץ משחק, כאשר למעשה משחקים נגד הטבע, והוא הקובע את הבחירות ההסתברותיות הנובעות מהפעולות שלנו נשתמש בשתי תכונות ע"מ להתמודד עם ענפים אינסופיים: דעיכה, וחוקיות חזרות של מצבים בעץ הערה: במקרה שאנחנו מדברים עליו, מספיק שיתקיים r M הערה: i =1 t i r i = i =1 i r i i =t 1 עמוד 34 t i r i i r i a M 1 i=1 1 כלומר, ניתן

35 להתקרב עד כדי e נתון לערך אופטימלי אינסופי ע"י ערך משחק סופי למעשה ככל שהמשחק גדול יותר, הדיוק עולה הערה: כעקרון עץ משחק חלקי סופי יהיה גדול אקספוננציאלית אבל ישנה חוקיות חזקה במבנה העץ יש רק את מספר המצבים שבעולם, ולכל מצב בגרף יש ערך מוגדר היטב ע"פ משוואת V * s=max r s,a, s `V * s `T s ` s, a a s ` :Bellman-Ford פירוש המשוואה: מהסעיף הקודם מובטח כי לכל קודקוד יש ערך אופטימלי נסמן ב- * V את הערכים האופטימליים כעת "נטייל" מלמעלה למטה, בשימוש בערכים הקודמים, ונתאר קשרים ביניהם הגדרה: הפונקציה V * : S R נקראת פונקציית ערך function( )value אם יודעים את *V, ניתן לחשב * s=arg max bellman ford equation a מדיניות אופטימלית ע"י הנוסחא, פתרון : MDP אלגוריתם :Value-Iteration הרעיון פה הוא פשוט לבצע איטרציות השמה לפי נוסחאת,Bellman-Ford וכאשר מספר האיטרציות ישאף לאינסוף, ערכי התועלת יתייצבו לפי תנאי הסביבה אתחול: =0 0 V לולאה: V t 1 =max a T s ` s,ar s,a, s `V t s` s ` תנאי עצירה: V t1 V t הערה: אם A, כלומר יש מספר פעולות סופי, אזי יש הפרש מינימלי בין ערכי הפעולות השונות חישוב *V עד-כדי הפרש זה מספיק אחרת, ניתן להשתמש בכלים אנליטיים לפתרון הבעיה, או להסתפק בקירוב פתרון : MDP אלגוריתם Policy-Iteration הרעיון הוא, במקום לחשב מחדש בכל שלב את כל התועלות של כל המצבים, נצא מנקודת הנחה שאנחנו משתמשים ב- Policy מסויים נעדכן את תועלות המצבים לפי ה- Policy הנוכחי )שלב זה נקרא Value,)Determination ואז נעבור שוב ונשנה את ה- Policy לפי ערכי התועלות החדשים בהינתן מדיניות נתונה, מהי פונקציית הערך עבור מצב נתון? מחשבים את V t s= T s ` s,a R s,a,s `V s ` חישוב זה יחסית יעיל עמוד 35

36 מכיוון שמכירים את כל הגורמים מהי בעצם המדיניות האופטימלית עבור ערכים אלו? נתון כי למצבים ערכים V t s, אזי נחשב את המדיניות הבאה ע"י: t 1 s=argmax T s ` s,a R s,a,s ` V t s ` a s ` לכן, האלגוריתם יהיה: i ii התחל ממדיניות אקראית כלשהי חשב את ערכי תועלות הקודקודים V i s iii חשב מדיניות חדשה i1 iv אם המדיניות השתנתה, חזור ל- i אחרת, החזר את המדיניות ) מחושב בקירוב s V t הערה: ניתן להשתמש במנגנון זה, כאשר ערך עבור מדיניות נתונה ( עבור סוג מסויים של בעיות ניתן לחשב את הדיוק הדרוש באופן אנליטי, כלומר מהי דרגת עץ המשחק שצריך לחשב בכדי להפריד בין מדיניויות שונות ניתן להגיע לפתרון בזמן < S, A,T, S 0 > הערה: בגירסא הניתנת לצפייה מלאה MDP פולינומיאלי )עבור בעיות בדידות סופיות( הערה: ניתן לשנות את האלגוריתם לסריקה של מרחב המצבים והפעולות כך, שבכל שלב באלגוריתם המדיניויות ופונקציות הערך מחושבות רק עבור תת-קבוצה של מצבים במקרה זה האלגוריתם ייקרא אסינכרוני תהליכי החלטה מרקוביים בסביבה לא נגישה - POMDP הבעיה העיקרית במודל של MDP לרוב אין ידע מלא על העולם 1 נרצה להרחיב את המודל ע"י תצפיות - > 0 < S, A,T,O,, S, בה במקום מצב אנו חשים תצפית, O כך ש- : S A S O מספקת ידע על הסתברות הופעת תצפיות בהתאם למצב המערכת 2 לעיתים גם T וגם R אינם ידועים במדוייק, ואז צריך ללמוד נביט על גרסאת ה RL Reenforcement Learning הגדרה: הגירסא של החלטות מרקוביות על תצפיות נקרא Partially Observable MDP הגישה הפשוטה אומרת: במקום לדון במרחב מצבים, נפתח מדיניות ופונקציית ערך במרחב עמוד 36

37 האמונות מצב אמונה כעת יאפיין באיזה הסתברות אנו נמצאים באילו מצבים ולכן ניתן לדבר על בעיית MDP מעל מרחב האמונות כאן, מצבי האמונה הם: S={b 1 b S R b i =1} + במצבים המקוריים פונקציית המעבר שלנו תהיה וניתן להשלים את R, התועלת של אמונה בעצם המדיניות ב- POMDP היא מיפוי, T : S A S, מתארים את ההסתברויות להיות מתקיים S 0 =S 0 :O A O * A בגלל שהשינוי הבא במערכת תלוי אך ורק במצב הנוכחי, ניתן לתמצת באופן יעיל את כל הידע על העבר חוסר הזכרון בתגובה למצבים נקראת התכונה המרקובית אפשרות אחרת היא לבצע מיפוי :O A O * A, בה יש פילוג על הפעולות הטובות במקרה זה, בגלל התכונה המרקובית, ניתן לתמצת את כל ההסטוריה הרלוונטית לתוך וקטור יחיד b A עמוד 37

38 Reenforcement Learning ההנחה הסמוייה כאן היא שהעולם עובד לפי חוקי,MDP פשוט אין ידע על העולם ממוקם בין למידה מונחה ולא מונחה Episode פרק למידה סדרה של פעולות ותצפיות בעולם, והתוצאות מבחינת התועלת פרק זה מסתיים לאחר זמן מסויים או כאשר הגענו למטרה, או למצב מסויים On policy לומדים על ה- policy שבשימוש Off policy לומדים באופן כללי, ולבסוף מכנסים את הידע לכדי Policy חדש Model based RL לאחר למידה על כללי העולם, ניתן להריץ אלגוריתמי MDP על העולם יש Tradeoff בין הרצון לנסות דברים רבים ושונים,Exploration לבין הצורך לחזור פעמים רבות על אותה פעולה ע"מ ללמוד עליה Exploitation למטרות RL מתאים ביותר,Policy Iteration משום שיכול לתקן חלקים שונים במדיניות, ובאופן לא מדויק בכל פרק למידה מתחילים לרוץ, בוחרים באקראי מצב התחלתי, נפעיל את ה- horizon עד ל-,value function שלנו, נחשב את ה- policy בזמן הריצה, ייתכן שנעבור באותו מצב מספר פעמים נשתמש ב- Temporal - TD0,Difference אשר ישכלל את הערך הישן של המצב עם הערך החדש של המצב TD לא מספיק, מכיוון שהוא לומד ומעריך מדיניות בלבד, אך לא יכול לתקן מדיניות שכן אינו שומר את התגובות של המערכת נשתמש ב-,Q-Function המגדירה מה הרווחנו מבחירת פעולה a במצב s, אם אח"כ נשתמש במדיניות הנוכחית אז את ה- Policy מחשבים עבור כל מצב, כ- a המקסימלי עבור ה- Q-function מכאן מתקבל אלגוריתם,SARSA אשר משתמש ב- Q-function בכל פרק למידה אלגוריתם זה הוא on-policy ניתן למצוא אלגוריתם שהוא,off-policy כלומר לומדים על אלגוריתם אופטימלי ולא על הנוכחי אלגוריתם זה הוא Q-Learning הוא,off-policy ולומד על האלגוריתם האופטימלי בזמן הריצה של ה- policy הנוכחי אבל באלגוריתם זה יש התכנסות אם: המערכת היא דטרמיניסטית לפעולה )כלומר לא MDP אמיתי( ה- reward הוא חסום צריך לבקר כל מצב מספר אינסופי של פעמים נרצה לווסת את ה- exploitation מול ה- exploration לשם כך יש פעולות :Soft-Max נבחר Qs, a T e בפעולה בהתפלגות אשר פרופורציונלית ל- )התפלגות,)Gibbs-Boltzman כאשר עמוד 38

39 Q גדול נבחר פעולות בלי הרבה התחשבות בערך ה- T יכול להשתנות בין איטרציות כאשר T שלהן כאשר נקטין את T, נבחר פחות ופחות את הפונקציות להן יש Q קטן; מספר הלמידות יהיה פרופורציונלי לאקספוננציאליות ב- Q, קצב הלמידה שלנו, ירד בין בכדי להיות חסינים ממערכות סטוכסטיות, נגדיר כי דועך מהר, אבל לא מהר מדי, אזי ה- איטרציות מסתבר כי אם מגדירים את הדעיכה כך ש- Q-learning יתכנס הערה: אצלינו הפונקציה R תלויה במצב המקור, הפעולה ומצב היעד לכן הנוסחאות של policy iteration למשל שונות:, הנוסחא המתארת את V t 1 s= T s ` t s, s[ R s `, a, s V t 1 s `] s ` הערך של מצבים בתלות במצבים ומעברים, במהלך ה- policy ה- t1 עמוד 39