PracticU

יצירת סכמה עבור Data Warehouse

בלי כתוביותעם כתוביות
PracticU › קורס SSIS › יצירת סכמה עבור Data Warehouse
מילון מושגים:
סכמה - המבנה הלוגי של מסד נתונים: הגדרת הטבלאות, העמודות, הסוגים והקשרים ביניהם.
מחסן נתונים - מסד נתונים מרכזי שמרכז נתונים ממקורות שונים לצורך ניתוח ודיווח, ולא לתפעול שוטף.
SSIS - רכיב של SQL Server לבניית תהליכי ETL להעברה ולעיבוד של נתונים בין מקורות.
טבלה - מבנה במסד נתונים שמאחסן נתונים בשורות ועמודות. כל שורה היא רשומה וכל עמודה היא שדה.

יצירת סכמה עבור Data Warehouse
לפני שעוברים ל-SSIS, מכינים במסד הנתונים של ה-Data Warehouse את הסכמות והטבלה שמתעדת טעינות. ההרצאה קצרה ומתארת את המצב עד כה ואת מה שנוסף.
מה כבר קיים
סכמת Dimensions מכילה את טבלאות Products, Customers, Dates ו-Employees. שמות הטבלאות הועברו לרבים.
מה נוסף
1. סכמות חדשות: Fact ו-Integration, שנוצרו ב-CREATE SCHEMA תחת Security, כדי להפריד לוגית בין האובייקטים. מרעננים ובודקים שהן קיימות לצד Dimensions.
2. טבלת Lineage: בסכמת Integration נוצרת הטבלה שנוצרת קודם כ-Temporal Table, והמפתח הראשי שלה הוא LineageKey. היא שומרת את הנתונים על תהליך הטעינה האחרון עבור כל טבלה.
3. למה בתוך ה-DWH: במערכות רבות היא נשמרת בתוך ה-Data Warehouse, כי היא משרתת אותו, גם אם היא חלק מתהליך הטעינה.
4. טבלת Fact: תתווסף בהמשך.
אחרי ההרצאה מוכנות הסכמות, ובשיעור הבא עוברים ל-SSIS לטעון נתונים מהמערכת התפעולית אל הסכמות האלה.

פרקי ההרצאה: יצירת סכמה עבור Data Warehouse

  1. 00:00

    סכמת Dimensions והטבלאות שבה

  2. 00:40

    יצירת הסכמות fact ו-integration

  3. 01:20

    טבלת Lineage ותפקידה

תמלול ההרצאה: יצירת סכמה עבור Data Warehouse

הטקסט המלא של הדקות הראשונות בהרצאה «יצירת סכמה עבור Data Warehouse» בקורס הווידאו של PracticU – כתוביות בעברית עם זמן התחלה לכל פסקה. כך תוכלו לקרוא ולחפש את הנושאים לפני שמתחילים ללמוד.

  1. 00:02

    בסיס הנתונים שלנו נורפין דאטה וייראוס כמעט ערוך ומוכן לתחילת עבודה ב-SSS. יש לנו סכמה של דיימנשיונס המכילה את טבלאות פרודקטס, קסטומר, דייטס ואימפלואיז וקסטומרס, את שכולם אנחנו נעביר ללשון רבים והם נמצאות בסכמה של דיימנשיון.

  2. 00:23

    תחת סיקיוריטי בסכמה יש לנו כרגע סכמה של דיימנשיון על מנת לשמור טבלאות דיימנשיונס, בואו ניצור עוד סכמה נוספת על מנת ליצור בידול לוגי נכון בין האובייקטים.

  3. 00:36

    אז סכמה נוספת אנחנו ניצור בשם fact וניצור גם סכמה נוספת בשם integration. שתי הסכמות הללו, אחר כבוד אנחנו יוצרים אותן. create סכמה של fact ו-create סכמה של integration.

  4. 00:52

    נרפרש כאן על מנת לוודא שהן כולן קיימות. אז הרי שלפנינו יש כאן סכמה של dimensions, ואינטגריישן על מנת שכל אחת בתורה תכיל את המידע הרלוונטי עבור האובייקטים שיש לנו. נזרוק כאן את הסקריפט.

  5. 01:10

    מבחינת טבלאות, יש לנו כאן טבלאות של דימנשיאנס. נעתיק לכאן את טבלת אינטגריישן שאותה יצרנו בתוך ה-Temporal Table, טבלה של ה-Linage.

  6. 01:22

    נעתיק את הסקריפט עצמו. לינאג' כאמור, כפי שראינו בסרטון הקודם, בעצם שומרת לנו מידע עבור תהליך הטעינה האחרון שרץ לנו בדאטאבייס עבור כל טבלה.

  7. 01:37

    כל תהליך טעינה אחרון אנחנו מקבלים כאן את הנתונים עצמם. בהרבה מערכות הוא נשמר בתוך הדאטה וייראוס כיוון שהוא משרת את הדאטה וייראוס למרות שהוא חלק מתהליך הטעינה של הנתונים הוא נמצא בתוך הדאטה וייראוס ומשם אנחנו שולפים ממנו את המידע.

  8. 01:55

    אינטגריישן, זאת תהיה הסכמה שלנו, הגדרות לפני זה לא רלוונטיות.

לקורס המלא: קורס SSIS אונליין

ההרצאה הקודמת: מילוי ערכים בטבלת Dimension

הרצאות קשורות מקורסים אחרים

  • בדיקת סכמה בפוסטמן - חלק 1
  • יצירת עמוד עבור המוצר
  • רידקס - יצירת Data Service
  • יצירת Interceptor - עבור מסד הנתונים

קורסים נוספים במסלול

  • קורס DBA אפליקטיבי - שפת SQL למתחילים
  • קורס NoSQL - MongoDB
  • קורס BI - ניתוח מסדי נתונים - Qlik Sense
  • קורס Power BI