1. מבוא. Data Mining.9

Transcription

1 מאת אורן שמיר, 2005 גרסא 1.1 סיכום קורס מסדי נתונים לגרסא האחרונה גש/י לאתר: orenshamir.kicks-ass.net * חלק מהזכויות שמורות. מבוסס על חומר מהרצאות שהועברו ** בסימסטר א', 2005

2 נושאים מרכזיים 1. מבוא.2 תרשימי ERD 3. אלגברת יחסים 4. פעולות בסיסיות ב- Oracle 5. תיאוריית תכנון סכמות מושגי בסיס 6. תיאוריית תכנון סכמות הערכת בעיות ופתרונות בסכמות 7. ניהול טרנזקציות תיאוריה 8. ניהול טרנזקציות מעשית Data Mining.9 10.התאוששות מנפילה 11.שאלות חזרה

3 מבוא ספר קורס Ramakrishnan Database management systems, by Raghu DBMS Database management system אוסף כלי תוכנה לניהול ועיבוד נתונים ע"ג מספר DB -ים. רמות הפשטה: 1. סכמה פיסית מתארת כיצד הנתונים יושבים על הדיסק, כוללת אינדקסים וקבצים. למשל, הסכמה יושבת בקובץ.B-tree 2. סכמה לוגית מתארת את הסמנטיקה של המידע והיחסים בין פריטי מידע. ב- DB יחסי, הסכמה הלוגית של יחס היא אוסף האטריביוטים של היחס, ביחד עם סוגי האטריביוטים, שם היחס ו-.constraints 3. views מאפשרים מידור של גישה למידע בין קבוצות משתמשים המודל היחסי אטריביוטים של טבלא נשארים קבועים בד"כ; הם מגדירים את סוג המידע שנשמר בטבלא רשומות מכילות את המידע עצמו, ומשתנות לעיתים קרובות. נקראים גם.tuples כלל הרשומות בטבלא ייקראו היחס מודל ה - -entity-relationship ER ישויות סטודנטים, מרצים 1. כל ישות ניתנת לזיהוי יחיד ע"פ אוסף תכונות שלה אוסף זה ייקרא מפתח 2. היחס הוא קב' כל הישויות מאותו סוג 3. כל הישויות מאותו סוג נמצאות באותה קבוצה קשרים - לומד אצל" 1. כל הקשרים מאותו סוג נמצאים באותה קבוצה קשר מיוחד ISA

4 1. מבטא ירושה 2. במודל היחסי אין ירושה ולכן צריך למצוא דרך נאותה למימוש סוג קשר זה

5 תרשימים סוגי ישויות המיוצגות בתרשימים קבוצות של ישויות sets entity מיוצגים ע"י ריבוע אטריביוטים כ"א שייך לקב' ישויות יחידה מיוצגים ע"י עיגול. קב' האטריביוטים אשר מהווה את המפתח מצויינת ע"י קו תחתון יחסים 1. מצויינים ע"י יהלום, המחובר בקווים לישויות המשתתפות בו 2. אם אותו סט ישויות משתתף מס' פעמים באותו קשר, נכתוב על קו הקשר את סוג הקשר שמתקיים לכל מופע של הישות 3. יחס לא חייב להיות בינארי n -יחס מחבר בין n קבוצות של ישויות אילוצי מפתח ( most ) at אלו מפרטים האם מותר לישות להשתתף ביחס אחד או יותר ללא אילוץ, ישות )סוג ישות( יכולה להשתתף בכל מספר של יחסים אם יש אילוץ מפתח, לישות מותר להשתתף לכל היותר ביחס אחד מסומן ע"י חץ מהישות לכיוון היחס אילוצי השתתפות least( ) at קובעים האם כל ישות בקב' הישויות חייבת להשתתף לפחות ביחס אחד אם יש אילוץ השתתפות, כל ישות בקב' חייבת להשתתף ביחס מסומן ע"י קו עבה בין היחס לקב' הישויות Weak entity sets ישות אינה מאופיינת ע"פ האטריביוטים שלה בלבד, אלא גם ע"פ השתתפותה ביחס וע"פ ישות אחרת המשתתפת ביחס חייב להיות לה אילוץ השתתפות עבור היחס המזהה שלה )קו עבה(

6 חייב להיות לה key constraint עם הישות המזהה שלה )חץ( מסומנת ע"י: ריבוע עבה, מסביב ליחס המזהה יש גם-כן קו עבה, והמפתחות מזוהים ע"י קו מקווקו היררכיות ISA מסומן ע"י משולש שבתוכו כתוב ; ISA" הישות היורשת למטה, המורישה למעלה. Overlap constraint יהו C,B יורשים מ- A. האם ייתכן ש- B הוא גם? C אם כן, יש לכתוב:.B overlaps C Cover constraint האם כל ישות אב היא מסוג אחד הבנים?)abstract( אם כן, לכתוב:.B and C cover A ניתן להשתמש כדי לסווג, למשל, אנשים למינים זכר\נקבה וכדי להכריח חתונות בין גברים לנשים בלבד. יחסי הכלה ניתן להכיל ישויות בתוך ישויות מסומן ע"י ריבוע מסביב לכל הישויות המוכלות תרגום ERD לטבלאות תרגום ישויות פשוטות לטבלא משלהן עם primary key על המפתח קשרים מתרגמים לטבלא המכילה את המפתחות של המשתתפים בקשר בתור foreign,keys צירוף המפתחות הנ"ל הוא ה- primary key של טבלאת הקשר, וכן מכיל אטריביוטים של הקשר עצמו )אם יש( 1. אם אחת הישויות המשתתפות בקשר יכולה להשתתף רק בקשר אחד, עושים את ה- primary key שלה ל- primary key של הקשר. או לחליפין, במקום ליצור טבלא לקשר ניתן להשתמש בטבלא של הישות המשתתפת בקשר יחיד. 2. אם יש גם key וגם,participation constraints ניתן בדומה להשתמש בטבלא של הישות, ולהוסיף.not null כך יווצר.relationship 1:1 בתרגום,weak entity מוסיפים את ה- key של הישות ה"שולטת" הן כ- foreign key

7 והן כחלק מה-.primary key תרגום :ISA 1. ניתן לעשות טבלאת-אב, וכל טבלאת-בן מחזיקה foreign key לטבלאת-האב. חובה אם טבלאות הבנים לא מכסות )cover( את טבלאת האב, או שיש overlap 2. אם יש cover, no overlap אזי ניתן ליצור טבלאות-בנים בלי לבנות טבלאת-אב. הכלה מתרגמים בעזרת foreign keys לישויות המוכלות.

8 אלגברת יחסים המודל היחסי יחסים ממומשים ע"י טבלאות, כל עמודה היא אטריביוט. המידע נשמר כרשומות בטבלא אין חשיבות לסדר העמודות מכיוון שלכל עמודה יש שם. קב' האטריביוטים של היחס נקראת הסכמה באלגברת יחסים היחס )כולל את המידע ברשומות( הוא קבוצה; כלומר, אין שני אלמנטים זהים בו אלגברת יחסים אוסף פעולות על יחסים, בעזרתם ניתן לחשב שאילתות. תוצאת כל פעולה היא יחס. הפעולות:.i הטלה בחירה להתייחס רק לחלק מהאטריביוטים ביחס )מוחקת חלק מהעמודות(. מסומנת ע"י: שתי העמודות הנ"ל. - מחזיר יחס המכיל מתוך כל רשומה ב- R, רק את att1, att2 R.ii בחירה בחירה להחזיר רק חלק מהרשומות. מסומנת ע"י: מחזיר רק את הרשומות של R בהן ב- att1 רשום.something לשימושינו שירשור תנאים ע"י - att1=' something ' R, ושימוש באופרטורים,. פריטים טקסטואליים כותבים במרכאות יחידות.,,,,=, iii.מכפלה קרטזית מחברת כל רשומה של יחס אחד עם כל רשומה של יחס שני. מספר האטריביוטים בתוצאה הוא סכום אטריביוטי הטבלאות המקוריות, ומספר הרשומות הוא מכפלת מספר הרשומות המקוריות זה בזה. מסומן ע"י:. A X B iv.חילוק A%B חילוק של A ב- B, מתבצע אם יש עמודות משותפות בין A ו- B. האופרציה מחזירה את העמודות של A שאינן ב- B, ושעבורן מתקיים כי עמודה זו מופיעה ב- A עם כל קומבינציה אפשרית של ערכים מ- B. v. צירופים: צירוף טבעי דומה למכפלה קרטזית, אך כאן משולבים בחירה והטלה.

9 הצירוף הטבעי מבצע מכפלה קרטזית, בוחר רק את הרשומות בהן הערכים באטריביוטים המשותפים של שני היחסים זהים, מוריד את העמודות הכפולות ומחזיר את התוצאה.. צירוף מותנה מבצע מכפלה קרטזית, ועליה בחירה של רשומות ע"פ התנאי: R R.A S.B... S צירוף שוויוני מבצע מכפלה קרטזית, בוחר רשומות ע"פ שוויון בעמודות שהוגדרו בפעולה, ומכל שוויון מבצע הטלה על אחד האטריביוטים בלבד. צירוף שוויוני בדיוק על העמודות המשותפות לשני יחסים הוא צירוף טבעי. vi.איחוד מצרף שני יחסים בעלי אותם אטריביוטים ליחס יחיד )איחוד קבוצות( מסומן כמו איחוד בין קבוצות vii.הפרש בדומה לאיחוד, עבור שני יחסים בעלי אותה קבוצת אטריביוטים, ההפרש הוא ההפרש בין קבוצות התוצאה הרשומות שקיימות ביחס A ולא ב- B. מסומן ב- '-'. viii.חיתוך - עבור שני יחסים בעלי אותה קבוצת אטריביוטים, אילו הרשומות המשותפות לשני היחסים מסומן כמו חיתוך בין קבוצות ניתן להתייחס לאטריביוטים בעזרת מספרי העמודות שלהם )משמאל לימין(. טוב כאשר, למשל, יש שתי עמודות עם אותו שם אחרי ביצוע מכפלה קרטזית. במקרה זה נסמן: - הטלה על האטריביוט הראשון של A. $1 A

10 פעולות ב- Oracle פעולות אדמיניסטרטיביות SQL התחברות: sqlplus הרצה של קובץ SQL ע"י: סוגי נתונים datatypes( ) בסיסיים )char)n מכיל n תווים )varchar2)n באורך משתנה, עד n תווים number עד 40 תווים. יש גם )number)n או )number)n,m המכילים עד n ספרות, מתוכן m אחרי הנקודה פעולות על טבלאות יצירה: Create table tablename ) attname datatype [colconstraint1 colconstraint2...], attname datatype [colconstraint...], [TableConstraint con1...] (; סוגי :constraints 1. null not כותבים פשוט כך, אז חייבים להכניס ערך לטור - מכניס f אם לא נאמר אחרת default ' f ' 2. ערכי ברירת מחדל 3. unique על טור, לא מרשה שיהיו שתי רשומות להן ערך זהה בטור זה. ניתן - הצירוף של שתי העמודות unique fname,lname להוסיף גם ברמת טבלא, חח"ע. 4. key Primary בדומה, ניתן לציון לעמודה או לטבלא עם ציון שם העמודה \

11 עמודות. יש רק primary key אחד לטבלא. בפרט משמעותו:.not null, unique. משמעו: כל ערך חוץ מ-.5 key Foreign ברמת טבלא נכתב כ: foreign key colname references Department id.department.id חייב להיות קיים בעמודה colname שבעמודת null במקרה זה, העמודה Department.id לא תוכל להימחק כל עוד יש עובדים בה. שים לב: בשביל למחוק את כל העובדים אוטומטית כאשר נמחקת העמודה on delete את: foreign key יש להוסיף בסוף הגדרת ה- Department.id. ברמת האטריביוט יכול להתייחס רק.cascade 6. בדיקת ערכים: ניתן להכניס רק ערכים שעברו בדיקה. למשל, check Gender=' f ' or Gender=' m' לאטריביוט המסויים, ברמת הטבלא יכול להתייחס למספר אטריביוטים. שינוי טבלא: מתבצע ע"י הפקודה:.alter table למשל, להוספת מפתח זר: alter table tablename ) (; add) foreign key )emp( references Employees)id( ( בדומה ניתן להוסיף עמודות לטבלא. הורדת עמודות: ניתן לשנות סוג עמודה ע"י שימוש ב- modify במקום.add שאילתות לגבי טבלא: desc tablename alter table tablename drop column col1 מחיקת טבלאות: ע"י,drop table tname או drop table tname cascade constraints פקודה זו מוחקת גם foreign keys המצביעים לטבלא זו. פעולות על רשומות בטבלאות הכנסת רשומה: )insert into tname values )10,20 מחיקה: delete from tname where cond שינוי: ;update table tname set field1=val1,field2=val2 where cond

12 שאילתות select from X where Y group by Z having U order by W כללי: 1. אחרי select ניתן לכתוב distinct משמע, לא להחזיר פעמיים אותה רשומה 2. אם בוחרים מכמה טבלאות, בוחרים למעשה מהמכפלה הקרטזית שלהן 3. שרשור בין תנאים בעזרת and ו- or 4. ניתן לתת שמות לטבלאות:.. r..from sailors,s sailors ואח"כ לגשת ל- s.name 5. ניתן לתת שם חדש לעמודה שנשלפה: select name as tempname לגבי :where.1 ניתן לבדוק אם NULL כך: IS NULL, IS NOT NULL 2. ניתן לבדוק אם נמצא ברשימה: IN, NOT IN לגבי :order by.1 ממיין לפי טור או טורים: order by col1 ASC, col2 DESC הפועלים על שתי שאילתות )כל אלו מורידים כפולים אוטומטית( אופרטורים נוספים, - ההפרש Query MINUS Query.1 - האיחוד Query UNION Query.2 - החיתוך של שתי שאילתות Query INTERSECT Query 3. לגבי :Group by 1. המידע מחולק לקבוצות, בכל קבוצה הקריטריון שהשווה ב- group by שווה 2. אם יש,having נשארות רק הקבוצות שעומדות בקריטריון 3. מקבלים תשובה יחידה לכל קבוצה שאילתות פנימיות: 1. ב- where ניתן לכתוב שאילתות פנימיות: where sid in )select sid וכו'. בדומה ל- IN ניתן להשתמש באופרטור האונרי EXISTS.2 ניתן להשתמש ב- :ANY, ALL למשל: where sid > ALL )select sid וכו' 3. בשאילתה הפנימית ניתן להשתמש במשתנים מהשאילתה החיצונית 4. ניתן להשתמש בשאילתה פנימית כבטבלא:

13 select M.mxage from )select max)s2.age( as mxage from Sailors S2( M אופרטורים מוכללים: ניתן להוסיף להם:.count distince A ערכי NULL לא מחושבים. count.1 )sum)a.2 Max A.3 Min A.4 )Avg)A.5 NOT IN תנאי בו ערך מסויים לא מופיע ברשימת ערכים או בתשובה לתת-שאילתה NOT EXIST תנאי המתקיים רק אם תת-השאילתה לא מחזירה ערכים VIEWS view זוהי שאילתה שניתן לגשת אליה כאילו היא טבלא לכל דבר. היא לא קיימת ממש כטבלא, אלא מחושבת מחדש בכל גישה. ליצירה: create or replace view viewname as )query פעמים רבות משתמשים ב- views לצורכי מידור אם ה- view מתייחס לטבלא יחידה, ניתן לשנות ולהוסיף רשומות כל עוד אין מניעה )הרשאות, NULL values, group by וכו'( Materialized View ממומשת כטבלא ממש, כדרך לחסוך חישוב-מחדש בכל גישה. היא צריכה לעבור סינכרון מדי פעם, ע"פ פרמטרים שנקבעים ב- DB ערכי NULL בכל האופרציות הלא-וודאיות false( null and נחשב בעל תוצאה וודאית( התשובה לא ידועה לא מחושבים לצרכי count, avg וכד' ניתן בתנאי להוסיף התחשבות ב- :null למשל, where sid=s.sid)+(, etc הפלוס גורם לכך שיתווספו גם ערכי NULL לתשובה, אחרת NULL לא שווה ל- NULL

14 Triggers - ו PL/SQL sql מאפשר כתיבת בלוקים של קוד המבצעים פעולות procedural sql כל בלוק של קוד הוא מהצורה הבאה: Declare )oracle-type var declaration part, optional( Begin )statement part( Exception )exception handling, optional( ניתן ליצור משתנים מסוגי ה- types של ה-.DB בנוסף, ניתן ליצור type -ים חדשים, End; / למשל מסוג record כמו מבנה. ניתן ליצור:.type myrec is record ניתן גם להשתמש בסוג של טבלא בתור :type למשל,.sailorRec sailors%rowtype cursor s is select * משתמשים בו בכדי לעבור על תוצאת שאילתה. למשל, Cursor fetch s into srecord מוציאים ממנו ערך-ערך ע"י.from sailors ניתן לכתוב בלוקים של PL/SQL אשר מהווים פונקציה לה ניתן לקרוא: טיפול ב- :exceptions create procedure fun1 )person IN boats.person%type, num OUT NUMBER( IS Begin... End; /.i מגדירים אובייקט מסוג Exception בחלק ההגדרות raise excvar אפשר לזרוק אותו ע"י.ii when excvar then...)actions(... end עושים: Exceptions ה- iii.בחלק Triggers דבר נוסף שניתן לכתוב ב- PL/SQL הוא.triggers אלו פרוצדורות המתבצעות בצורה

15 אוטומטית כאשר משהו קורה ב-.DB צורת הביצוע: 1. triggers row-level מתבצעים פעם לכל רשומה שהשתנתה\נוספה\נמחקה 2. triggers statement level מתבצעים פעם יחידה עבור פעולת SQL יחידה זמן הביצוע: יכול להיות. before, after, instead of צורת ההגדרה: CREATE TRIGGER triggername BEFORE/AFTER/INSTEAD OF DELETE/INSERT/UPDATE [of attributename, attributename...] [or DELETE/INSERT/UPDATE [of...] ] on tablename [FOR EACH ROW] [WHEN condition] PL/SQL BLOCK בבלוק ה-,sql כאשר רוצים לגשת לטבלאות, ניתן לגשת למקורית )אם יש, אם זה )AFTER ע"י: : old.attname, ולחדשה ע"י : new.attname. בתנאי בהגדרת ה- trigger ניגשים ללא ה- ':'. ניתן להפעיל ולכבות טריגרים: alter trigger trig1 enable/disable JDBC java DB Connectivity ששת שלבי ההתחברות: 1. טעינת ה- driver 2. פתיחת connection המקבל את ה- url של פרטי ההתחברות ל- DB 3. יצירת statement או preparedstatement )האחרון מקבל את השאילתה ביצירה( 4. שליחת שאילתה בעזרת ה- statement בעזרת / executequery executeupdate 5. מעבר על תוצאות 6. סגירת ה- connection

16 תוצאות שאילתה מוחזרות באובייקט מסוג ResultSet 1. מכיל נתונים של טבלא 2. לכל statement בזמן מסויים יכול להיות רק ResultSet אחד 3. עוברים על הרשומות ב- rs ע"י,next וכיום גם first, last, previous )נקרא )scrollable resultsets 4. קוראים מידע ע"י getstring columnname וכו'. בעזרת wasnull על ה- rs ניתן לדעת אם קיבלנו.null 5. ניתן לקבל מה- rs אובייקט מסוג resultsetmetadata המכיל את מבנה הטבלא setstring מאפשר להשאיר '?'-ים באמצע, ואח"כ למלא אותם ע"י preparedstatement או.setInt ייתרון יודעים את הטיפוס שמכניסים, והאם צריך ' ' מסביבו. כאשר מקבלים input מהמשתמש עדיף להשתמש ב-.preparedStatement אבל,? עובד רק עבור ערכים, ולא, למשל, עבור טבלאות. טרנזקציות ב - jdbc ב-,autocommit mode כל פעולה מבצעת commit אוטומטית אפשר לעשות conn.setautocommit)false ואז צריך לעשות conn.commit או conn.rollback כאשר מסיימים.

17 תיאוריית תכנון סכמות מושגי בסיס תלות פונקציונלית יהי היחס R, בעל אטריביוטים.A,B אזי נאמר כי קיימת ביחס התלות הפונקציונלית A B יקבעו עמודה אחת:. אם בכל רשומה בה ערכי A זהים, גם ערכי B זהים. אפשרי גם שמספר עמודות AB C כאשר מתכננים סכמה, מחליטים אילו ת"פ מתקיימות )אילו פריטי מידע תלויים באחרים(. אם ת"פ אלו יוצרות שכפול מידע בסכמה, יש לשנות את הסכמה. נסמן את ההטלה לאטריביוטים A של הרשומה ה- t ב-. t [ A] כלומר, יחס מקיים ת"פ A B t [ A]=r [ A] t [ B]=r [ B] ת"פ הן חלק מהסכמה אילוצים על האטריביוטים. ת"פ טריוויאליות: נאמר כי A B אם לכל שתי רשומות,t,r מתקיים: טריוויאלית אם A B קבוצה F של ת"פ גוררת את הת"פ את A B A B אם כל יחס המקיים את F מקיים בהכרח גם גזירת ת " פ כמו הוכחה בלוגיקה. המטרה: לדעת אם קב' ת"פ F גוררת ת"פ מסויימת. הגדרת הגזירה: סדרה סופית של ת"פ שכ"א היא ב- F, או נובעת מאחת הת"פ המופיעות לפניה ע"ס כללי ההיסק, והת"פ האחרונה היא זו שנגזרת. הסימונים לגרירה )סמנטית( ויכיחות )סינטקטית( הם כמו בלוגיקה. כללי ההיסק הגזירה: 1. רפלקסיביות )אם A B אזי ) - זוהי אקסיומה A B.2 אוגמנטציה\הוספה )אם A B אז ) XA XB 3. טרנזיטיביות אקסיומות נגררות מהכללים הבסיסיים: A BC A B, A C.1 איחוד -

18 A B, BC D AC D A B, A C A BC.2 פירוק -.3 פסודו-טרנזיטיביות - בעזרת חוקים אלו, מבצעים הוכחה בה כל שלב משתמש בכלל היסק ובשורות שלפניו בהוכחה. גזירת ת"פ, היא נאותה כל הנגזר הוא נגרר. בכדי להוכיח נאותות צריך להוכיח כי כל כלל היסק הוא נאות, ולבסוף באינדוקציה על מספר השורה. הגזירה היא גם שלימה. נצא מת"פ X Y לא יכיחה. ניצור טבלא בת שתי שורות, בה הסגור של X שווה בשתיהן, ואילו שאר האטריביוטים שונים בין שתי השורות. Y חייבת להכיל אחד האטריביוטים הללו )אחרת יכיחה מיידית( ולכן לא מתקיימת גרירה. צריך גם להראות כי כל הת"פ ב- F מתקיימות עבור כך יש להפריד כל ת"פ, למקרה בו הגורר שבה מוכל בסגור של X, או שלא. הסגור. הסגור של קב' אטריביוטים X ביחס לקב' הת"פ F, היא קב' האטריביוטים שניתנים לגזירה מ-.X כלומר, A} X F + ={A F - X מכאן נובעת הלמה של הסגור: אם"ם X B. X F + B הסגור של קב' ת"פ F הוא קב' כל הת"פ הנגררות מ- F, יסומן ב- F + שתי קב' של ת"פ ייקראו שקולות אם הסגורים שלהן שווים מפתחות מפתח-על K של סכמה R הוא קבוצת אטריביוטים כך ש- K + =R מפתח הוא מפתח-על מינימלי כלומר, אין לו תת-קבוצה שהיא מפתח-על כיסוי חסר - כפולויות cover non-redundent יהו F,G קב' של ת"פ. אזי, G תיקרא כיסוי חסר-כפילויות של F אם הסגור שלהן שווה, וכן G מקיימת: 1. לכל ת"פ ב- G אטריביוט נגרר יחיד 2. אין באף ת"פ ב- G אטריביוט מיותר

19 3. אין ב- G אף ת"פ מיותרת.i אלגוריתמים עבור גרירה וסגור חישוב הסגור של קב' אטריביוטים X עם קב' ת פ F: מאתחלים את V קב' הסגור להיות X, קב' האטריביוטים.ii כל זמן שיש ב- F ת"פ U W חישוב סגור של קב' ת"פ F.i כך ש- U מוכלת ב- V, מוסיפים ל- V את W )לא נתעסק עם ת"פ טריוויאליות או כאלו שנובעות מאקסיומת הפירוק( )לאלגוריתם זמן ריצה אקספוננציאלי( עבור כל X המכיל אטריביוט המופיע בצד הגורר של ת"פ מסויימת ב- F אך לא בצד הנגרר שלה, נחשב את הסגור של X ונכניס את הת"פ: X X +.i.i.i חישוב האם F,G קב' של ת"פ שקולות )אלגוריתם בעל זמן-ריצה ריבועי( לכל ת"פ ב- G בודקים אם היא נובעת מ- F G בודקים אם היא נובעת מ- F לכל ת"פ ב-.ii חישוב כיסוי חסר-כפילויות של F מפרקים כל ת"פ ב- F כך שיש בה רק נגרר יחיד; או, ניתן להניח ש- F כל מראש.ii עוברים על כל ת"פ ב- F, מוחקים כל אטריביוט גורר מיותר שיש לה iii.עוברים על כל הת"פ שנותרו, מוחקים כל ת"פ מיותרת חישוב האם X הוא מפתח-על של Y תחת F מחשבים את הסגור שלו, אם הוא שווה ל- F אזי זהו מפתח-על חישוב האם X מפתח.i מחשבים את הסגור שלו אם אינו Y, זהו אינו מפתח.ii מחשבים את הסגור של כל תתי-הקב' שלו בגודל 1-n. אם אחד מהן,Y X אינו מפתח, אחרת הוא מפתח. חישוב מפתח בצע: K=R.ii לכל i בין 1 לגודל של R, בצע:.i

20 , בצע R } K =K { i אם F - K { i R } i R K את iii.החזר

21 תיאוריית תכנון סכמות הערכת בעיות ופתרונות בסכמות אפיון בעייתיות בסכמות סכמה בעייתית אם היא מאפשרת שכפול מידע. טריוויאלית( כך שהצד הגורר שלה אינו מפתח-על. דבר זה אפשרי אם קיימת ת"פ )לא- פתרון בעיות בסכמות - פירוק הפתרון יכול להיות, חלוקה לשתי סכמות נפרדות, אשר כ"א לא תכיל ת"פ שצידה הגורר אינו מפתח-על. פירוק הסכמות )בעלות קב' האטריביוטים( מתקיים: R 1,..., R n 1. כל קב' כנ"ל חלקית\שווה ל- R 2. איחוד כל הקב' שווה ל- R ייקראו פירוק של R אם כל יחס בפירוק הוא הטלה של היחס המקורי על אטריביוט אחד או יותר. היחס המקורי מתקבל מצירוף טבעי של היחסים בפירוק פירוק ללא אובדן פירוק ייקרא ללא אובדן decomposition( )lossless-join אם לכל יחס r עבור הסכמה, כלומר r מתקבלת מהאיחוד r= R1 r join R2 r join... join Rn r מתקיים:,R הטבעי של ההטלה של r על כ"א מהסכמות. לשים לב: האיחוד הטבעי תמיד יכיל את r. השאלה היא, האם הוא שווה ל- r, או מכיל אותו ממש. אלגוריתם לבדיקה האם פירוק הוא ללא אובדן רושמים טבלא של היחס המקורי, עמודותיה האטריביוטים לכל יחס בפירוק תהיה שורה בטבלא. בשורה זו, לכל אטריביוט הנמצא ביחס ירשם כאשר i מספר האטריביוט, ולכל אטריביוט שאינו ביחס ירשם a i b i, j כאשר i מספר היחס

22 )בפירוק( ו- j מספר האטריביוט. צריך לדאוג לקיום הת"פ: לכל הפרה של ת"פ בין שתי שורות, צריך לתקן אותה ע"י העתקה משורה אחת לאחרת. תמיד נעדיף למחוק b ולהוסיף a ולא להיפך. בסיום, אם יש שורה שכולה a -ים, הפירוק הוא ללא אובדן, אחרת הוא עם אובדן. הטלה של קבוצת ת " פ כאשר מפרקים יחס, יש לשים לב אילו ת"פ נשמרות בכל אחד מהיחסים בפירוק. R 1,..., R n Ri F תהי R סכמה,, מסומנת R i הפירוק שלה, F קב' הת"פ המקוריות. אזי ההטלה של F על - כל הת"פ, היא הקבוצה: } i {X Y X Y F +, XY R בסגור של F המתייחסות לאטריביוטים של R i בפירוק, הת"פ של כל תת-סכמה יהיו הסכמות. Ri F בלבד.. הצירוף יקיים את כל הת"פ של תתי- פירוק המשמר ת " פ Fds decomposition preserving המשמעות היא, שלסכמה R בעלת ת"פ F, כאשר מפרקים אותה ל- הטבעי של הסכמות הללו יקיים את F., הצירוף R 1,..., R n פירוק משמר ת"פ אם הסגור של F שווה לסגור של איחוד ההטלה של F על כל תת-סכמה. או פורמלית: F + = Ri F + בכדי לבדוק האם היחס משמר ת"פ )בסיבוכיות פולינומיאלית( ניתן לבדוק לכל ת"פ ב- F, האם היא בסגור של האיחוד. BCNF סכמה R היא בצורה BCNF אם כל ת"פ X A בסגור של F מקיימת: X A.i טריוויאליות, או X.ii מפתח-על אלגוריתם למציאת פירוק :BCNF היינו רוצים למצוא פירוק חסר-אובדן, משמר-תלויות עבורו כל סכמה בפירוק היא מצורת

23 .BCNF אם יש הפרה של BCNF בסגור של F, אזי יש כזו גם ב- F עצמו. R ב- BCNF מחפשים הפרה של i..ii אם הת"פ X A הפרה של BCNF ב- R, אזי נפרק את R לשתי סכמות: סכמה.BCNF אינה הפרה של X A בכל אחת מהסכמות הללו,.R-A וסכמה,XA iii.נחשב את הכיסוי של הת"פ עבור כל סכמה בפירוק iv.נמשיך לפרק כל סכמה בפירוק הפירוק הנ"ל הוא ללא אובדן )הוכחה ב- )lect6.pdf הפירוק אינו שומר על ת"פ אסור לפצל מפתחות אם רוצים לשמור על הת"פ 3NF 3 normal form סכמה R היא בצורה 3NF אם כל ת"פ X A בסגור של F מקיימת: X A.i טריוויאליות, או X.ii מפתח-על, או R שייך למפתח כלשהו של A.iii אלגוריתם למציאת פירוק :3NF מתחילים עם סכמה R וסט ת"פ F F כיסוי חסר-כפילויות של G, מוצאים את i. XA מוציאים סכמה G ב- X A מכל ת"פ.ii iii.אם אף אחת מהסכמות לא מכילה מפתח-על של R, אזי מוסיפים סכמה שהיא מפתח של R )מבטיח צירוף ללא אובדן( iv.אפשר לאחד סכמות עם אותו מפתח מקיים: כל סכמה בפירוק היא,3NF הפירוק שומר על ת"פ וכן הצירוף הוא ללא-אובדן. יתרונות וחסרונות של פירוקים יתרונות: 1. הפירוק מונע כפילויות )אין רשומות מיותרות(

24 2. מאפשרים לשמור מידע חלקי )אין קישור בין המידע שבטבלא אחת לאחרת(, ללא שימוש בערכי NULL חסרונות: 1. במקרה מסעיף 2 הנ"ל, הצירוף הטבעי לא יכיל ערכי,NULL כלומר היכן שאין.i הצלבה בין הנתונים הם לא יהיו מוצגים בצירוף. כדי להיפטר מבעיה זו נגדיר את פעולת האיחוד המורחב: לכל סכמה.ii מבצעים איחוד, מדפנים את העמודות החסרות של R ב- NULLים S R iii.מוחקים רשומות שכלולות ברשימות אחרות כעת נפעיל את האיחוד המורחב על כל הצירוף הטבעיים ללא אובדן של R, ונקבל יחס המכיל את כל המידע. אם רוצים לחשב את האיחוד ללא אובדן של קב' אטריביוט מסויימת בלבד, מספיק לקחת את כל הצירופים הטבעיים המינימליים שלא ניתן להשמיט מהם סכמה ושעדיין יכילו את האטריביוטים המבוקשים. להשלים:,lect7.pdf שקפים 30-43, מסובכים ולא עברתי עליהם

25 אופטימיזציות של שאילתות הצגת הבעיה כמות הנתונים גדולה מגודל הזיכרון. כיצד מחשבים את השאילתה? יש מספר שיטות באיזה סדר מחשבים את השאילתה, אם יש מספר אפשרויות, בכדי להשיג יעילות מקסימלית? כיצד מארגנים את הקבצים על הדיסק, כך שהגישה אליהם תהיה מהירה? מבוא לאכסון מידע הדיסק מחולק לבלוקים )דפים(. כל קריאה מביאה בלוק יחיד, זו היחידה המינימלית שניתן לקרוא. כל יחס )טבלא( מאוחסן בקובץ משלו. הקובץ פרוש על מספר בלוקים, כ"א מהם בד"כ מכיל מספר רשומות. כל רשומה מזוהה ע"ע,Rid המורכב ממספר הבלוק וממספר הרשומה בתוך הבלוק. בסוף הבלוק יש רשומה שאומרת איפה מתחילה כל רשומה הרשומה בבלוק בזכרון הפנימי יש חלק הנקרא.Buffer תפקידו לאכסן בלוקים הנקראים מהדיסק, שם מתבצעים עליהן פעולות, ומשם הן נכתבות חזרה לדיסק. את ה- buffer מנהל בד"כ ה-.DB סוגי קבצים: 1. קובץ ערמה ללא מיון. הוספה בסוף הקובץ. טוב למעבר סדרתי 2. קובץ ממויין לאחר מחיקה, מכווץ. טוב לחיפוש בטווח ערכים 3. קובץ hash מאוכסן לפי פונ' ה- hash של הערכים. שומרים על 80% תפוסה. טוב במיוחד עבור חיפושים עבור מפתחות מסויימים אינדקסים מאפשר גישה מהירה לרשומות בעלות ערכים מסויימים בקב' מפתח החיפוש של האינדקס( אטריביוטים X )נקראת

26 יש שתי אפשרויות למימוש: 1. בתוך קובץ המידע במקרה זה מפתח החיפוש חייב להיות על מפתח של היחס, ויכול להיות רק אינדקס אחד. במקרה זה ייקרא האינדקס אינדקס ראשי 2. בקובץ נפרד, קובץ "נתוני כניסה". במקרה זה, הנתונים יכולים להיות מהצורה K, Rid כאשר K הערך של מפתח החיפוש, או. K, RidList במקרה זה ייקרא האינדקס אינדקס משני קיבוץ אינדקסים )clustering( 1. באינדקס מקובץ, סדר הרשומות באינדקס דומה לסדר בקובץ היחס 2. כל אינדקס ראשי הוא מקובץ, אך גם אינדקסים משניים יכולים להיות מקובצים אינדקס דליל מכיל רק חלק מהערכים. חייב להיות מקובץ, וכך ניגשים למפתח הקרוב ביותר )מלמטה( למפתח שמחפשים ומשם מתקדמים סדרתית. סוגי מבנים של אינדקסים 1. Tree +B בזה משתמשים בד"כ, מאפשר חיפוש ע"פ טווח. אם האינדקס מקובץ, ומחפשים ע"פ טווח )<..(, אזי קל יהיה למצוא בדיוק את הדפים שנדרש להביא, ולקרוא כ"א פעם אחת. אם אינו מקובץ, ייתכן שכל אינדקס מצביע לדף אחר ולכן היעילות תהיה נמוכה יותר. 2. Hash חיפוש רק ע"פ שוויון, חייב לאפשר הרחבה ולכן שינוי דינמי של פונ' הערבול. גם כאן, אם יש רשימה של ערכים עבור ערך ערבול אחד והקובץ לא מקובץ, ייתכן שנצטרך גישה לדיסק עבור כל רשומה. פעולת הצירוף )מכפלה קרטזית ) פעולה זו היא יקרה ותכופה ביותר. צריך להתייחס הן לאופן בו שומרים את הנתונים בזיכרון, והן לסדר ביצוע הפעולה )אם היא יותר מבינארית( בנוסף, לעיתים קרובות אין מספיק זכרון כדי לשמור את כל המידע של היחסים בזכרון. בכדי לטפל בכך יש מספר שיטות: 1. join Block nested-loops טוען את היחס הקטן יותר לזכרון, בכל פעם טוען דף מהיחס השני, מחשב את הצירוף, כותב אותו וטוען את הבלוק הבא. מצריך מס' בלוקים כמו שיש ביחס הקטן + 2 )אחד לקריאה מהיחס השני ואחד לכתיבה(.

27 בשיטה זו כל בלוק של כל יחס נקרא פעם יחידה. אם אין מספיק זכרון, מחלקים את היחס הקטן לחתיכות בגודל 2-n ולכל אחת מבצעים את האלגוריתם האחרון. הסיבוכיות תהיה הבלוקים בזיכרון, כאשר a,b מס' הבלוקים ביחסים, n מספר a b a/n 2 2. join Index nested-loops אם יש אינדקס על אחד היחסים, קוראים את היחס הראשון בלוק-בלוק ולכל אחד מוצאים ע"פ האינדקס את הרשומות המתאימות לו מהיחס השני. כל עוד היחסים בעלי אותו אינדקס קרובים זה לזה, נגיע לסיבוכיות בסדר-גודל m+n 3. join Sort-merge ממיינים כ"א מהיחסים ואז ממזגים. זמן: זמן מיון לכל אחד מהיחסים + זמן מיזוג )סכום מס' הבלוקים של היחסים( 4. join Hash )להשלים, סוף )lect9.pdf מבצע שני HASH ואם יש מספיק זכרון, מצליח לבצע את הצירוף בזמן blocks(*3.)num פעולת ההטלה אם מבצעים הטלה על איברים במפתח החיפוש של האינדקס בלבד, האינדקס )הורדת כפילויות( ניתן לבצע מתוך להשלים:,lect10.pdf מבנה של optimizer-blat הערכה של גודל תוצאות מספר הגדרות: Ntuples מס' הרשומות בכל יחס cardinality.1 2. size מס' הדפים,,Npages בכל יחס 3. cardinality index מספר הערכים השונים שאינדקס i יכול לקבל Nkeys i 4. גודל האינדקס מס' הדפים באינדקס 5. גובה האינדקס מס' הרמות ב- B TREE של האינדקס 6. טווח )range( האינדקס ערכי המקס' והמינ' לאינדקס מסויים

28 כאשר מחשבים גודל תוצאות מוערך, מתחילים מה-,max cardinality שהוא הכפל של מספרי הרשומות של הטבלאות המשתתפות. משם, מכפילים ב-,reduction factors הנובעים מביטול רשומות ע"פ הבחירה.)where( :Reduction factors 1. בחירת ערך value column = אם יש אינדקס, מחשבים לפי. אחרת, מניחים.1/10 1/ NKeys value עבור מספר 1/ NKeys value.2 השוואה בין אטריביוטים etc( - )natural join, המפתחות המקסימלי; 1/10 אם אין מפתחות 3. טווח ערכים value column > אם יש אינדקס, מחושב ע"י:. IHigh i value IHigh i ILow i Oracle Tuning אינדקסים ב- :Oracle 1. index unique משמש לבדיקה שהערכים הם.unique נוצר אוטומטית עבור טבלאות עם unique או :primary key create unique index ind1 on Air.b create index ind1 on Air.b.2 רגיל B-Tree -.3 Table. create bitmap index ind1 on Air.b - Hash יוצר וקטור בינארי שכל ערך בו פונה לרשומה יחידה אינדקסים הם בשימוש רק כאשר מחפשים את הערך בדיוק. אם למשל מחפשים upper name ניתן לעשות אינדקס על Sailors upper name ניתן ליצור index-organized table טבלא הממויינת ע"פ אינדקס, אין לה מספרי שורות. טוב למידע סטטי או כאשר השאילתות הן על המפתח הראשי clustering מיקום מס' טבלאות קרוב על הדיסק מועיל כאשר מבצעים איחוד שלהן. יוצרים,cluster אח"כ מוסיפים טבלאות עם ה- cluster clustername סוגי אופטימיזציות: 1. all_rows first-rows vs האם להחזיר מהר הכל או רק שורות ראשונות ה- :oracle optimizer

29 1. תחילה עושים analyze לטבלא.2 אח"כ עושים...explain plan set statement id=',,' for Select 3. סוגי גישה לטבלא: table access full קריאה סדרתית table access by rowid ע"פ אינדקס 4. ניתן לגשת לאינדקס ב- unique scan )לערך יחיד( או ב-,range scan למספר אינדקסים או למספר ערכים השייכים לאינדקס יחיד 5. משתמשים באינדקסים כאשר יש גישה לערך יחיד, או לטווח כאשר הסדר לפי הטווח )תחילית של מחרוזת( 6. אין שימוש עבור פונקציות, למשל upper name 7. אינדקסים לא עובדים על NULL 8. ניתן להשתמש כדי למצוא רישא של שדות המופיעים באינדקס )יש סדר ע"פ שרשור השדות(. :Data Sets 1. אופטציות שמצריכות לחשב את כל התשובות לפני החזרתן; למשל, intersect 2. בשימוש ע"י: sort unique מיון כאשר מורידים כפולים, ו- sort group, sort min, max etc עבור,group-by עבור aggregate סוגי :Join 1. join Loops עבור טבלאות בעלות גודל שונה, ורוצים תוצאות מיידיות 2. join Hash טבלאות קטנות, תוצאות מיידיות 3. sort-merge איטי יותר, אם הטבלאות ממויינות

30 ניהול טרנזקציות - תיאוריה טרנזקציה היא סדרה של פעולות קריאה וכתיבה שמתבצעות על מסד נתונים. מניחים למען הפשטה כי תוכנית יכולה לקרוא פריט פעם יחידה ולכתוב אותו פעם יחידה, ואם השניים מתקיימים אזי הקריאה מתבצעת לפני הכתיבה. תזמון סידור של פעולות המתבצעות במקביל 1. תזמון סדרתי כל הפעולות מתוכנית אחת מתבצעות מתחילתן ועד סופן, ורק אז יש גישה לתוכניות אחרות. תזמון כזה תמיד נכון. 2. תזמון לא-סדרתי לפני שתוכנית אחת )טרנזקציה אחת( סיימה, אחרת מתחילה שני תזמונים עם שקולים אם הם נותנים אותה תוצאה לכל חישוב אפשרי שקילות מבטית שני תזמונים S 1, S 2 1. שניהם מכילים אותן פעולות.2 אם ב- S 1 גם ב- הם שקולי מבטים )מבטיח שקילות( אם: הקריאה הראשונה של A כלשהו התבצעה ע"י הטרנזקציה, אזי T k S 2 הטרנזקציה T k.3 אם ב- S 1 הטרנזקציה T k תבצע את הקריאה הראשונה קוראת ערך של A שנכתב ע"י, אזי גם ב- T i S 2 4. אם ב- גם ב- הדבר מתקיים S 1 הכתיבה האחרונה של A כלשהו התבצעה ע"י הטרנזקציה, אזי T k S 2 הטרנזקציה T k תבצע את הכתיבה האחרונה ל- A תזמון הוא בר-סדרתיות מבטית )view-serializable( אם יש לו תזמון סדרתי שקול- מבט. כתיבה עיוורת כתיבה ל- A ללא שקראנו אותו )אך ייתכן שהערך מושתת על אלמנטים אחרים שנקראו( קונפליקטים ושקילות קונפליקטים בין שתי פעולות )לפחות אחת מהן פעולת כתיבה( יש קונפליקט אם שתיהן מתייחסות

31 לאותו פריט ע"י והפעולות שייכות לשתי תנועות שונות קובע את סדר הפעולות על פריט המתבצעות ע"י תנועות שונות, בהנחה שאין כתיבות עיוורות שני תזמונים הם שקולי קונפליקטים אם הם מורכבים מאותן תנועות ואותם קונפליקטים, ולכל קונפליקט, סדר ההופעה של הפעולות עבור הקונפליקט בשני התזמונים זהה. שקילות קונפליקטים גוררת שקילות מבטים אם יש תזמון סדרתי S 1 הוא בר-סדרתיות קונפליקטית. מושג זה גורר בר-סדרתיות מבטית. כך שהוא שקול-קונפליקטית לתזמון, אזי נאמר כי S 2 S 2 בדיקת שקילויות יוצרים גרף, הנקרא גרף הקדימויות, שקודקודיו הם התנועות השונות אם יש קונפליקט בין תנועות S,R כך שפעולה ב- S צריכה לקרות לפני זו ב- R, נשים צלע מכוונת מ- S ל- R הגרף חסר מעגלים אם"ם המערכת בר-סדרתיות קונפליקטית כללי שקילויות קונפליקטים תמיד גוררת שקילות מבטים אם יש כתיבה עיוורת, תיתכן שקילות מבטים ללא שקילות קונפליקטים.

32 ניהול טרנזקציות מעשית המטרה להבטיח שכל התזמונים הם ברי-סדרתיות מנגנון הנעילות לכל פריט יהיה מפתח משותף S ומפתח בלעדי X. כאשר קוראים פריט נועלים אותו בעזרת S, כאשר כותבים פריט נועלים אותו בעזרת X את כל זאת מאפשר מנהל הנעילות מספר עסקאות יכולות להחזיק בו-זמנית נעילה משותפת על פריט A )אם אין עליו נעילה בלעדית( אם יש נעילה בלעדית על A, אזי היא הנעילה היחידה עליו two phase locking - 2PL עסקה מבצעת שימוש במנעולים בשני שלבים: 1. שלב קבלת המפתחות 2. שלב שחרור המפתחות. לאחר שחרור המפתח הראשון, לא ניתן לקבל עוד מפתחות. תזמון המקיים 2PL הוא בר-סדרתיות קונפליקטית מצבי קיפאון deadlock קורה כאשר יש מעגל של עסקאות, כאשר כל אחת מחכה למפתח ששמור אצל העסקה שאחריה, יש "תקיעה" בונים גרף של העסקאות, בו הקשתות מהוות קשר "מחכה ל-. אם יש מעגל יהיה.deadlock בכדי למנוע זאת, יש שני מנגנונים. שניהם מעדיפים לבטל את העיסקה החדשה יותר: 1. wait-die מבטלים את העיסקה המחכה למפתח )ומתחילים אותה מחדש(, אם היא החדשה יותר 2. wound-wait מבטלים את העיסקה המחזיקה מנעול )ומתחילים אותה מחדש(, אם היא החדשה יותר

33 כאשר מתחילים מחדש עיסקה, נותנים לה את חותמת-הזמן המקורית שלה, בכדי למנוע מצב של "הרעבה", בו היא לעולם לא מסיימת להתבצע בעיית הפנטומים נעילה מתבצע על רשומות ולא על טבלא. לכן, ניתן עדיין להוסיף רשומות ללא קונפליקטים עם מפתחות קיימים. במקרה זה, ייתכן כי העסקאות יהיו בר-סדרתיות קונפליקטית אך לא מבטית מסקנה בר-סדרתיות קונפליקטית גוררת בר-סדרתיות מבטית רק אם קב' הפריטים עליהם עובדים לא משתנה. פתרון אפשרי locking predicate נעילה כל הרשומות. מנעולים עם גרעיניות מרובה בונים עץ של ה-,DB המכיל שורש, טבלאות ברמה הראשונה, דפים ברמה ב- 2 ורשומות ברמה ה- 3. צריך להחליט איזה פריט לנעול; לעיתים משתלם לנעול טבלא, או דף, או רשומה בודדת. נעילת צומת ע"י S או X נועלת את כל תת-העץ. יש גם IS, IX הם,intention locks משמעותם שיש כוונה לנעול. יכולים להיות מס' S ו- IS )ביחד( על צומת. אם יש S או X אין.IX רוצה לומר - intention lock יכול להיות קיים רק אם אין דבר המונע ממנו מלהפוך לנעילה אמיתית. אם יש X אין אף נעילה אחרת על הצומת אופן הנעילה:.i עסקה נועלת את השורש בעזרת אחד מ- 4 סוגי הנעילות.ii עסקה יכולה לנעול צומת ב- S או IS אם יש לה IS לאבא שלו; כנ"ל עבור IX )אם יש X\S לאב לא צריך עוד נעילות( iii.ניתן להסיר נעילה מצומת רק אם אין נעילה על בני הצומת iv.הנעילות מקיימות 2PL תחילה נועלים, אח"כ משחררים הפרוטוקול מייצר רק תזמונים ברי-סדרתיות קונפליקטית לעיתים מתחילים במנעולים נמוכים, ומאוחר יותר עוברים לגבוהים יותר )הסלמה(

34 ניהול טרנזקציות ללא נעילות במקום לבצע נעילות, פשוט מחליטים על תזמון סדרתי ונותנים לטרנזקציות לרוץ. נותנים לטרנזקציה להתחייב רק אם התזמון שנוצר שקול לזה שנבחר בתחילה אחרת מבטלים אותה ומתחילים מחדש בקרת מקביליות אופטימית 1. הבדיקה מתבצעת רק בסוף התנועה, בהנחה שהסיכוי לבעיה קטן 2. כל תנועה מבצעת שלושה שלבים:.i קריאה כל טרנזקציה מקבלת שטח עבודה פרטי, לתוכו קוראת נתונים ובו מבצעת עדכוני-ביניים.ii בדיקה שאכן לא פגענו בבר-הסדרתיות DB ל- iii.כתיבה 3. שלבים ii,iii מתבצעים ברצף ורק ע"י תנועה אחת בו"ז. זהו הקטע הקריטי. 4. אופן הבדיקה:.i בתחילת שלב הבדיקה כל תנועה מקבלת TS-timestamp )התזמון הסופי יהיה צריך להיות שקול לתזמון סדרתי ע"פ ה- Tsים(.ii העסקה שרוצה להתחייב צריכה לבדוק שלכל טרנזקציה אחרת הנבדקת: אינה כותבת לאף פריט בו משתמשת העסקה, או ה- TS שלה קטן מזו שנבדקת, היא התחייבה וסיימה לפני שהעסקה הנבדקת התחילה 5. אפשרות אחרת כבר בשלב הכתיבה, ניתן להרוג כל עסקה שקראה פריט לתוכו אנו כותבים. בקרת מקביליות מבוססת חותמות-זמן 1. כאשר עסקה מתחילה היא מקבלת TS 2. ניתן לכל פריט שני :TS אחד הוא ה- TS של העסקה הצעירה ביותר שקראה אותו, והשני של העסקה הצעירה ביותר שכתבה אליו 3. בכל קריאה \ כתיבה יש בדיקה:.i עסקה לא יכולה לקרוא פריט שנכתב ע"י עסקה צעירה יותר )עם TS גדול

35 יותר(.ii עסקה לא יכולה לכתוב פריט שנקרא ע"י עסקה צעירה יותר 4. יש נעילה של פריטים שעסקה כתבה, עד שהיא מתחייבת בקרת מקביליות רבת-גרסאות 1. גם היא מבוססת TS 2. כל עסקה הכותבת לפריט, כותבת לעותק פרטי שלה 3. לכל העותקים אותו RTS זה של העסקה הצעירה ביותר שקראה אותו 4. קריאה מתבצעת מהעותק בעל ה- WTS הגדול ביותר, הקטן מה- TS שלה 5. מנגנון זה כנראה קיים ב- ORACLE

36 Data Mining מתייחס לסטטיסטיקות והסקות שניתן לבצע על מידע ב-,DB למשל אסוציאציות לגבי מידע שמוכנס בטרנזקציות מסויימות itemset קב' של ערכים באחת העמודות, לגביה אנו רוצים להסיק תדירות הופעה של פריטים בטרנזקציה Support of itemset זהו השבר שמהווה את החלק היחסי של העסקאות שמכילות את כל הפריטים שב- itemset נכנה itemset להיות frequent אם ה- support שלו גדול מ- min support שהגדרנו frequent גם כל תת-קבוצה של A-priory property of frequent itemsets.frequent itemset היא itemset משתמשים בתכונה זו בתחילה רצים ומוצאים itemsets בגודל 1, אח"כ בודקים האם הם מרכיבים frequent itemsets בגודל 2 וכו'. התוצאה היא כל ה- itemsets מכל גודל. אסוציאציות בין פריטים אם יש פריט שקנייתו בסבירות גבוהה גורמת לקניה של פריט אחר, נאמר כי זהו חוק אסוציאציה. A B נקרא חוק ה- - אם כל item בקב' LHS קיים, בסבירות גבוהה גם כל LHS RHS item ב- RHS יתקיים לחוק אסוציאציה יש תמיכה )support( כפי שהוגדרה לעיל. כאשר מחפשים תמיכה מינימלית, מחפשים רק itemsets עם תמיכה זו לפחות. התמיכה ב- מוגדרת כ- LHS RHS. Support LHS RHS כן יש מידת בטחון.confidence הביטחון ב- הטרנזקציות המכילות את LHS RHS LHS RHS מוגדר כשבר שהוא מס', חלקי כל אלו המכילות את.LHS אלגוריתם למציאת קשר אסוציאטיבי: לוקחים כל,frequent itemset X מחלקים אותו לשתי קבוצות,.LHS, RHS מידת הבטחון היא: Support X /Support LHS

37 רגרסיה וסיווג מתייחסים להכנסת "עמודת ערך" לכל רשומה. אם עמודה זו היא קטגוריה, אזי זוהי classification אם היא נומרית, זהו regression בכל מקרה, נעריך "ערך" של הרשומה ע"פ עמודה חדשה זו, שתקבל ערכים מבחוץ. נרצה לחזות מה יהיה בעמודה זו. מריצים test על מספר פריטים מצומצם, ומשם יש אינטרפולציה שמוצאת כיצד לעשות מינימום \ מקסימום לעמודה הנוספת.

38 התאוששות מנפילה צריך ביצוע אטומי של תוכניות, כך שלא תתבצע חלק מתוכנית )commit( מנגנון ההתאוששות מוודא כי אם לא התבצע commit מבצעים,rollback ואם כן אזי כל הנתונים נשמרו בצורה תקינה קריאה מלוכלכת מתייחס למצב בו T 1 קוראת ערך ש- T 2 כתבה, ואח"כ T 2 מבצעת abort בכדי להימנע ממצב זה, עסקה קוראת רק ערכים )או שמתחייבת רק אחרי ש- (שנכתבו ע"י עסקאות שכבר אומתו )בוצע עבורן )commit תנאי זה מאפשר התאוששות. מנגנון strict 2PL מחייב שעסקה תשחרר את המפתחות שהיא מחזיקה רק לאחר ה- commit שלה. מנגנון זה מאפשר התאוששות ומונע מפל הפלות )ביטולים( תכונות ACID של התאוששות: 1. Atomic כל פעולה מתבצעת או שלא 2. Consistency המסד נשאר עקבי בסוף הפעולה, אם היה עקבי בתחילתה 3. Isolation עסקאות לא מושפעות אחת מהשניה DB המידע מובטח להיות ב-,commit ברגע שעשינו Durability 4. תכונות 2,3 מובטחות ע"י מנגנון לבקרת מקביליות, תכונות 1,4 ע"י מנגנון ההתאוששות אטומיות כל עיסקה, כותבת את כל השינויים שהיא מבצעת, עד ל- commit )וכולל(, בקובץ.log ברגע שמשהו נכתב ל-,log הוא יכול להיכתב גם ל-.db כאשר נכתב ה- commit בלוג, העסקה כבר כתבה את כל השינויים שנכתבו ב- log אל המסד. אם בלוג לא כתוב commit אחרי נפילה, ניתן מהמידע בו לשחזר את הנתונים הקודמים ב-.DB

39 מנגנון הלוג מייעל, שכן הכתיבה אליו סדרתית והוא בד"כ על דיסק נפרד. Log וה- Buffer Pool כאשר עסקה הסתיימה, השינויים שהיא ביצעה בזכרון יכולים לא להיכתב מיד, למקרה שעסקה אחרת תרצה להשתמש בהן אי-כפייה עסקה לא חייבת לכתוב את השינויים לדיסק לפני ה-.commit ניתן יהיה לשחזר מהלוג את המידע. גניבה אם נגמר הזיכרון ב- buffer וצריך לטעון דף נוסף, ניתן לכתוב אחד הדפים ולהחליפו בחדש, ואם תהיה בעיה אח"כ ניתן לשחזרו ע"פ הלוג. לסיכום הלוג מאפשר שחזור, ביטול עסקאות ושיפור ביצועים ע"י גניבה ואי-כפיה. התמודדות עם נפילות כאשר יש נפילה שנפלו באמצע )רגילה(, יש לבצע commit לעסקאות שהסתיימו ו- rollback לאלו להשלים: סוף lect14.pdf תרחיש של recovery

40 שאלות 1. אלגוריתם עבור חישוב סגור של קב' אטריביוטים 2. אלגוריתם עבור חישוב סגור של קב' ת"פ 3. אלגוריתם עבור כיסוי חסר כפילויות.4 הגדר BCNF 5. אלגוריתם עבור פירוק BCNF.6 הגדר 3NF 7. אלגוריתם עבור פירוק 3NF 8. אלגוריתם לבדיקה האם קב' אטריביוטים היא מפתח 9. הגדר טרנזקציה 10.הגדר תזמון. מהו תזמון סדרתי? 11.מתי תזמונים הם שקולי-מבטים? 12.מתי יש קונפליקט? 13.מהי שקילות קונפליקטים? 14.אלגוריתם לבדיקת שקילות קונפליקטים 15.איזה סוג שקילות )מבטית, קונפליקטים( גוררת איזה סוג, ומתי? 16.מהו מנגנון הנעילות? 17.מהו? 2PL 18.האם 2PL מבטיח בר-סדרתיות קונפליקטית? סדרתית? 19.מהו? deadlock 20.מהי חותמת-הזמן, וכיצד מתמודד מנהל הנעילות עם? deadlock 21.מהי הרעבה? 22.מהי בעיית הפנטומים? 23.מהם, וכיצד עובדים, מנעולים עם גרעיניות מרובה? 24.אילו מבין X,IX,S,IS יכולים לחיות ביחד? 25.אילו מנגנונים לטיפול במקביליות בעסקאות קיימים ללא נעילות? תאר אותם

41 26.מהי תמיכה של קב' פריטים? 27.מהי אסוציאציה? מתי תתקיים? מה מידת הביטחון באסוציאציה? 28.כיצד בודקים את האסוציאציות הקיימות, עם מידת תמיכה ובטחון מסויימת? 29.מהם ראשי-התיבות? ACID מה מבטיח קיומו של כל סעיף? 30.מהי קריאה מלוכלכת? מהו? strict PL 31.מהן אי-כפייה וגניבה, וכיצד מייעלות את הביצועים?