Distributed Computing

בתכנות מקבילי מתקיים כי -

• תהליכים ותהליכונים אינם חולקים מידע

• תהליכים ותהליכונים חולקים מידע

• תהליכים חולקים מידע אך תהליכונים לא

• תהליכים אינם חולקים מידע אך תהליכונים כן

Map Reduce

• אלגוריתם של גוגל להרצת אלגוריתי מיון

• אלגוריתם של גוגל להרצת אלגוריתמים מבוזרים

  distributed

• אלגוריתם של גוגל להרצת אלגוריתם רקורסיבים

• אלגוריתם של גוגל להרצת אלגוריתמי חיפוש בגרפים

In MapReduce, the MAP phase -

• לפעמים ניתן לוותר עליו

• ממפה את הקלט ללא פעולות אגרגציה (סכימה וכו)

• ממפה כל מילה לערך 1

• ממפה כל מילה למספר הפעמים שהיא הופיעה

The REDUCE Phase

הסיבה ששלב זה מתרחש באופן ״יחסית מהיר״ היא -

• כל התשובות נכונות

• מבצע איטרציה בודדת על הנתונים

• עובד על קלט ממויין ומשתמש בהנחת יסוד זו

• עובד על מספר מכונות במקביל

ההבדל המרכזי בין מסד נתונים מרוכז/ריכוזי לבין מסד נתונים מבוזר הוא -

• ריכוזי מנוהל בצורה טובה יותר ממבוזר

• מבוזר מהיר יותר מריכוזי

• בריכוזי כלל הנתונים נשמרים באותו מיקום גאוגרפי כאשר במבוזר לא

• במבוזר כלל הנתונים נשמרים באותו מיקום גאוגרפי כאשר במרכזי לא

Google File System (GFS)

• אף תשובה אינה נכונה

• מערכת ריכוזית לניהול קבצים

• מערכת מבוזרת לניהול קבצים

• מערכת מבוזרת לניהול קבצים וממשקי משתמש

GFS (Google File System)

• מקשרת בין תוכנה לתוכנה

• מקשרת בין 2 משתנים שונים

• מקשרת בין משתמש לתוכנה

Google File System

שומרת העתקים של כל קובץ על גבי שרתים שונים

• לא נכון

• נכון

Hadoop

• מה זה?

• Runs map-reduce only

• מריץ אלגוריתמים מבוזרים על גבי מסד נתונים ריכוזי

• מריץ אלגוריתמים מבוזרים על גבי אלפי מחשבים שונים

Hadoop

עבור משתמשים פשוטים, הבעיה הגדולה עם שירות זה -

• לפעמים מחזיר פלט שגוי

• לא יודע לטפל בשגיאות ונפילות של מחשבים

• איטי מאוד

• נועד לאיטראקציה בין 2 תוכנות, ולא עבור משתמשי קצה