Mirror & Staging
drop and create, ואין בו היסטוריה.פרקי ההרצאה: Mirror & Staging
תמלול ההרצאה: Mirror & Staging
הטקסט המלא של הדקות הראשונות בהרצאה «Mirror & Staging» בקורס הווידאו של PracticU – כתוביות בעברית עם זמן התחלה לכל פסקה. כך תוכלו לקרוא ולחפש את הנושאים לפני שמתחילים ללמוד.
בעת גזירת נתונים מתוך דאטאבס אופרשיונל והבאתם לתוך בסיס נתונים של דאטה וייראוס אנחנו עוברים מספר תהליכים, תהליכי ביניים והגזירה לא מתבצעת באופן ישיר מתוך האופרשיונל לתוך הדאטה וייראוס אלא דרך תווך של תהליכים באמצע.
הנושא של השיעור לפנינו היום הוא בסיס נתונים שנקרא מירור ובסיס נתונים תהליך שנקרא סטייג'ינג. שלבים בעת גזירת דאטאבס לתוך הדאטה וייראוס.
השלבים הללו לעיתים ממומשים על ידי דאטאבס, לעיתים ממומשים על ידי טבלאות בתוך דאטאבס אחר, לעיתים ממומשים על ידי פרוצדורות, אבל אלו בעצם שלבים שצריך לעבור דרכם, אם רוצים ללכת על ה-Best Practice בצורה מתודולוגית מלאה, על מנת לגזור נתונים מתוך ה-Operational לתוך
הדאטה וייראוס. מהם השלבים הללו? בשלב הראשון כשאנחנו גוזרים את הנתונים עצמם אנחנו בעצם לא מבצעים תהליך של טרנספורמציה או שינוי אלא אנחנו מבצעים רק את תהליך הגזירה עצמה.
בתהליך האקסטרקט אנחנו מביאים בעצם את כל הנתונים s is לתוך בסיס נתונים חדש שנקרא לנו בעצם מירור. בסיס הנתונים מירור הוא קודם כל בסיס נתונים הוא דאטאבס כשמו כן הוא, ללא קשרים רלציוניים, אין לנו כאן בעצם No Foreign Key, אנחנו משתדלים גם שלא יהיה לנו Primary Key, אלא מדובר בעצם בבסיס נתונים נקי שבו יש Data Only,
מידע שהוא ללא כל שינוי. אנחנו אפילו לא עשינו No Cleansing, אנחנו לא מבצעים איזשהו ניקוי של המידע, איזושהי השלמת ערכים, אלא מביאים את המידע S-Ease לתוך דאטה בסמירו.
בשלב הבא של הגזירת נתונים, אנחנו לוקחים את תוך בסיס הנתונים מירור וטוענים אותו לתוך השלב הבא, השלב הזה נקרא stage. stage, העלאת הנתונים מתוך המירור לתוך stage.
הסטייג' בעצמו יכול להיות בסיס נתונים, משהו שעומד בפני עצמו. בהרבה מקרים זה לא בסיס נתונים שעומד בפני עצמו, אלא זה בעצם סקימה שנמצאת בתוך ה-data warehouse, ולתוכה אנחנו בעצם מעלים את כל המידע שיש לנו מתוך הטבלאות מרום.
הדאטאבס הזה, כשאנחנו מעלים את הנתונים עצמם, אנחנו ממש עושים לו drop and create. אנחנו מוחקים אותו ויוצרים אותו מחדש. אין בו היסטוריה.
אין בו בעצם כל מערכת של היסטוריה של מידע של נתונים, אלא מה שאנחנו עושים בו, כאן אנחנו עושים כבר את ה-cleansing של הדאטה.
אנחנו מנקים את הדאטה בעצמו. כאן אנחנו מייבאים את הנתונים עצמם שהם כבר Ready to Load. כאן אנחנו בעצם מבצעים את מה שנקרא, את התהליך עצמו שקראנו לו.
אם המקודים, קראנו לתהליך שלנו תהליך של Extract, גזירת נתונים, כאן בתהליך עכשיו, מה שאנחנו עושים, אנחנו עושים לו טרנספורמציה.
אנחנו כבר הולכים ומשנים את ה-data עצמו על מנת לנקות אותו, על מנת לנקות נתוני נעל כל מה שצריך לעשות בנושא של קלינזינג, להכין אותו להעלאה ולטעון אותו בעצם לתוך הסטייג'ינג כהכנה לשלב הבא שבו אנחנו טוענים את הנתונים לתוך הדאטה וייראוס.
אני מסכם את הדיון שלפנינו. בעת העלאת נתונים, גזירת נתונים מתוך ה-Operational לתוך הדאטה וייראוס, התהליך מקצה לקצה זה העברת נתונים מתוך ה-Operational לדאטה וייראוס.
אולם התהליך עצמו, אנחנו עושים לו פיינטיונינג ולא בכל מקום נעשה זאת ולא בכל מערכת ולא בכל סביבת עבודה. אבל בבסט פרקטיס בצורה המלאה המתודולוגית אנחנו עוברים בתהליך הזה מספר שלבים.
בשלב הראשון אנחנו מעלים את הנתונים מכל מקורות המידע שלנו לתוך הדאטה בסמירו. כי דבר ראשון אנחנו רוצים לעשות לעבור מעבודה בקבצים, עבודה מול לוגים, עבודה מול מערכות אחרות, לעלות את הכל לתוך בסיס נתונים, דאטאבס מירור.
נוח לנו לעבוד כשהכל נמצא בתוך הדאטאבס, כשהכל נמצא בתוך מקום אחד, ללא מניפולציה של הנתונים. אין לנו כאן בכלל מניפולציות, אין לנו כאן פעולות די.אם.אל.
No Manipulation. אין לנו שום מניפולציה של הנתונים, אלא אנחנו מעלים אותם as is, ולכן הבסיס נתונים הזה נקרא מירור, שיקוף של הדאטה כמו שהוא נראה במערכת התפעולית.
לאחר שהעלינו את הדאטה לתוך ה-Mirror, והמידע שלנו כבר נמצא שם ב-Cash זמין מוכן, עכשיו אנחנו כבר צריכים לעשות לו את הניקוי, את ההכנה, את המיפוי של הנתונים עצמם, את המילוי של הנתונים של Not Now או שדות אחרים שאנחנו רוצים למלא.
את זה אנחנו עושים כבר במעבר בין מירור לתוך סטייג'ינג. סטייג'ינג על פי רוב זה בעצם שם של סכמה.