הסבר על BigData
פרקי ההרצאה: הסבר על BigData
תמלול ההרצאה: הסבר על BigData
הטקסט המלא של הדקות הראשונות בהרצאה «הסבר על BigData» בקורס הווידאו של PracticU – כתוביות בעברית עם זמן התחלה לכל פסקה. כך תוכלו לקרוא ולחפש את הנושאים לפני שמתחילים ללמוד.
העולם של ביג דאטה היום מתאר לנו כמויות עצומות של מידע שעולים בכל רגע נתון לרשת שמתווספים בעולם בין אם זה לרשת ציבורית לאינטרנט ובין אם זה ברשתות הפנמיות לאינטרנט.
בכל 60 שניות בשקף המוצג לפנינו מוצג מספר הקריאות של חיפוש שנעשות בתוך גוגל search queries, מספר המיילים שנשלחים בעולם בכל דקה נתונה בעולם, מספר הוידאואים שעולים לתוך אתר היוטיוב, מספר הפוסטים שעולים בתוך הפייסבוק, בתוך הלינקדאין, בתוך האינסטגרם, מספר הפעמים שאנשים מורידים את פיירפוקס,
ועוד ועוד מידע. כל זה קורה בעולם בכל 60 שניות. בכל דקה, כאמור, מתווסף לנו כמות עצומה של מידע. המידע הוא טקסטואלי, המידע הוא בסרטים כווידאו והמידע הוא כאודיו.
מגוון רחב, וריאטי עצום של דאטה שנוסף, והיכולת של המחשבים שלנו ושל הסטורג'ים שקיימים היום להכיל את המידע הזה עוד ועוד. עם כל המידע הזה נוצר הצורך בעבודה מול ביג דאטה.
כשאנחנו מדברים על ביג דאטה, הגדרה לדאטאבס שהוא ביג דאטה בלבד שהוא מקיים את שלושת הווים. שלושה ווים שהם מבחינתנו אינדיקציה.
דאטאבס או דאטה שיש בו את שלושת הווים הללו, שתכף נדבר עליהם, שייך לקטגוריה של ביג דאטה. כשאנחנו מדברים על שלושת הווים אנחנו מדברים על ווליום, וילוסיטי ווריאטי.
ווליום זה היכולת שלנו לשמור נפחים גדולים מאוד של דאטה. אם בעבר דיברנו על מגה-בייט וגדלנו לג'יגה-בייט ומאז לטרה-בייט ופטה-בייט ותטה-בייט וקסטה-בייט, יש לנו אפשרות היום לשמור נפחים עצומים של דאטה.
כשאנחנו מדברים על דאטאבס שיש בו נפחים עצומים, שנפחים הולכים וגדלים, אנחנו מדברים על מאפיין אחד מתוך שלושה מאפיינים של ביג דאטה.
המאפיין הראשון שלנו זה הנפח של הנתונים. זה כמות הנתונים שאנחנו מעבירים בתוך הדאטאבס שלנו. מאפיין נוסף, נסתכל בפינה העליונה, הוא המאפיין שנקרא ה-velocity, המהירות, קצב הנתונים שמגיעים אלינו.
אם בעבר דובר על נתונים שעוברים עיבוד ברמת ה-batch, ולאחר מכן בצורה אונליין שהם עוברים בצורה אונליין מיידית מול המשתמש, או שאנחנו כבר עוברים לעיבוד שהוא ממש קרוב ל-real time, או שהוא כבר הופך להיות real time, דאטה שאנחנו רוצים לעבד אותו בצורה מהירה, זמינה, מיידית.
דאטאבייס כזה בהיי וילוסיטי גם הוא מאפיין לדאטה שהוא מסוג ביג דאטה. דבר נוסף שמאפיין את העולם הזה של הביג דאטה זה הנושא של ה-v השלישי שלנו הוא דאטה וירייטי.
מגוון הדאטה שאנחנו משתמשים בו. בדאטאבס שבו יהיה לנו ווליום גדול מאוד, נפח גדול מאוד ומהירות עצומה מאוד של ביצועים וריל טיים של דאטה, יכול להיות שאנחנו עדיין לא בפרויקט של ביג דאטה.
כדי להיות בפרויקט של ביג דאטה, כדי לעבור לתצורה אחרת, לחשיבה אחרת, שבה הדאטה שלנו צריך להיות מנוהל כביג דאטה ולא כדאטה רלציונית, אנחנו צריכים לדבר על דאטה שהוא וירייטי, שיש לנו מגוון רחב של הנתונים.
יכולים להיות נתונים טקסטואליים, יכולים להיות נתוני אודיו, נתוני ווב, אתרי אינטרנט, פוטוס, תמונות, נתונים שמגיעים אלינו בווידאו, נתונים שמגיעים אלינו מתוך אתרים חברתיים כמו