הסבר על Data Warehouse
פרקי ההרצאה: הסבר על Data Warehouse
תמלול ההרצאה: הסבר על Data Warehouse
הטקסט המלא של הדקות הראשונות בהרצאה «הסבר על Data Warehouse» בקורס הווידאו של PracticU – כתוביות בעברית עם זמן התחלה לכל פסקה. כך תוכלו לקרוא ולחפש את הנושאים לפני שמתחילים ללמוד.
השיעור הקרוב יהיה בעיקר תיאורטי, אודות הסברים על מטרתו של Data Warehouse, מה אנחנו רוצים להרוויח בבניית Data Warehouse, ומתודולוגיות וטכניקות כיצד לבנות Data Warehouse.
כיצד משתלב לנו Data Warehouse במודל הארגוני? תוך חברה, עם הזמן, נוצרים עוד ועוד מקורות מידע שונים.
דאטאבייסים שונים, חברה לא שומרת לעצמה רק דאטאבייס במקור אחד, ולפעמים מחלקות שונות מעדיפות לשמור את המידע שלהם בטכנולוגיות שונות.
לפעמים זה בקבצי CSV. לפעמים מחלקות שונות רוכשות טכנולוגיות שונות או רוכשות אפליקציות שונות, ואז יש לנו מחלקה אחת שעובדת מול ה-CRM, מחלקת הנהלת חשבונות שבכלל מעדיפה לעבוד לא מול ה-CRM אלא עובדת מול חשב שבט, תוכנה לחישוב שכר.
יש לנו מערכות שעובדות מול ה-Web שמקבלות משם מידע. כלומר, יוצא מצב שארגון המידע שלו היום פרוס בהרבה מאוד מקומות. ישנם תוכנות שעם הזמן המחלקות רכשו, ישנם מידע שלפעמים נשאר שמור בקבצים, ישנו מידע נוסף ששמור בתוך מיילים, בתוך מכתובות, ואת כל המידע הזה אנחנו רוצים לכנס אותו בתוך
מקום אחד. ראשיתו של התהליך, ראשיתו של התהליך פרויקט בי-איי, מתחיל בתהליך ETL, תהליך שבו אנחנו לוקחים את כל הנתונים ומעבירים אותם דרך סדרה של ניקיונות והתאמה.
ETL משמעותו שאנחנו עושים כאן אקסטרקט, גזירה של הנתונים, ובתהליך הזה אנחנו מנקים אותם, איזשהו קלינזינג של הדאטה עצמו, טרנספורמציות של נתונים, העיבוי של הנתונים, התאמה של הנתונים מבחינת מקורות המידע השונים, ואת כל זה בסוף אנחנו מכניסים למחסן נתונים אחד מרכזי,
שכל מקורות המידע של החברה נשפכים אליו בתוך מחסן נתונים אחד, שזה בעצם בסופו של דבר דאטאבס, במקרה שלנו אפילו דאטאבס שיש בו כמה כללים רלציוניים, דאטאבס שמאגד את כל המידע.
מה זה נותן לנו? זה נותן לנו מכאן ואילך את היכולת להציג את המידע בצורה טובה יותר למשתמשים. לנתח את המידע על ידי מולטי דימנצ'נס או על ידי טאבולר, להציג אופנים שונים של המידע, גם את אותו מידע אנחנו יכולים לקנפק ולהציג אותו בדרכים אחרות.
כל זה יכולנו לעשות לא דרך המערכות התפעוליות, שם קשה יותר לדלות את המידע ושם יכולות להיות הרבה יותר תקלות, יכולות להיות הרבה יותר טעויות.
המידע הוא ברמה בדידה, לעומת מצב שבו אנחנו שולפים את הנתונים לתוך דאטה וייראוס, כאן המידע שלנו כבר מגיע מעובד, תקין, בדוק, נקי וקל יותר להציג ממנו ולהגיע ממנו למסקנות, לתובנות.
דאטה וייראוס מתמודד בתהליך שלו עם מספר בעיות. המידע שאותו אנחנו רואים בתוך האופרשיונל, כמו שאמרנו כבר כמה פעמים, זהו מידע פרטני, הוא מידע ברמה של רשומה בודדת.
טרנזקציה בודדת. הוא מידע שהוא בדיטיילס, הוא ממש דריל דאון. ואנחנו רוצים לקבל בדאטה וויראוס או בניתוחים שאותם אנחנו רוצים לתת, מידע למנהלים.
מידע ברמה הרבה יותר מסוכמת, ברמה הרבה יותר כללית. פחות חשוב לנו טרנזקציה כזו או אחרת. אנחנו יותר ממוקדים בהתנהגות הארגונית, בהתנהלות שקורית בחברה.
ולכן תקלה שאותה אנחנו רואים ברגע שננסה לעבוד ו-Data Desk Operational זה שאנחנו רואים את כל הנתונים ואין לנו שום הבחנה בין מה שחשוב לבין מה שלא חשוב.
ולעיתים לראות רשומה של לקוח פחות קריטי מלראות את הטלפון שלו, לראות את הכתובת, לראות אולי את הפרטים נוספים שב-Data Desk Operational אלו הם דברים קריטיים שאנחנו כן רוצים לשמור ולתעד בתיק לקוח כדי לעקוב אחריו.
אבל לעומת זאת, אנחנו באים לקבל עכשיו מסקנות ארגוניות, החלטות לגבי ההמשך, התנהגות של הלקוחות שלנו. כשאנחנו רוצים לנתח ולקבל החלטות בעתיד מה אנחנו רוצים לעשות, יותר נכון לנו בעצם לבודד יסודות חשובים יותר שמייצגים את ההתנהגות של הלקוח ולראות תמונה כוללת יותר, לאו דווקא לקוח ספציפי כזה
או אחר, אלא לראות התנהגות עקבית אצל כלל הלקוחות. We need to slice and dice the data every which way החקירה שבה אנחנו יורדים drill down למידע דורשת מאיתנו בעצם הרבה מאוד פילוחים הרבה מאוד join בין טבלאות הרבה מאוד חיבורים של מקורות מידע שונים המידע בdata warehouse הוא פחות נגיש בdata operational
הוא פחות נגיש הוא פחות קל להשגה אנחנו צריכים איש מומחה איש שיודע לכתוב שאילתות על מנת עד שנוכל לייבא את הנתונים עצמם, להציג אותם בצורה מסוכמת לרמת המנהלים.
אנחנו בסופו של דבר מספרים ותובנות שהמחלקות יכולות להביא לנו מהבסיס נתונים שלהם, יכולים להיות תובנות שונות. ואז נשאלת השאלה מי מביניהם צודק. יכול להיות שהנהלת שכר, מחשבת הנהלת כוח אדם, תגיע למסקנה מסוימת, לעומת זאת האנשים שרואים את הדאטאבס התפעולי יגיעו למסקנות אחרות, אנשי השיווק יגיעו למסקנות אחרות,
וכל אחד מעוגן במידע שהוא רואה אותו. כל אחד רואה תמונה אחרת או חלק אחר מתוך המידע, המידע הארגוני שיש לנו, כלל ההיבט הארגוני שיש לכל החברה.
אם היה לנו רק מקור מידע אחד שכולם מסתכלים עליו, שכולם פועלים לפיו, אז היינו מדברים על עובדות ויכולנו לקבל החלטה מתוך עובדות קיימות, מתוך מידע שנמצא ומסוכן וכולם רואים את המספרים עצמם.
לבסיסו עכשיו לבוא ולראות מהם התובנות שאיתן אנחנו רוצים להוציא. Requirements for Data Warehouse Solution בתהליך בניית ה-Data Warehouse חשוב שיהיו לנגד עינינו מספר תכונות מנדטוריות לטובת הצלחת הפרויקט של BI. ה-Data Warehouse צריך להיות Easily Accessible קל לנגישות, לא מדובר על אנשי תוכנה שייגעו בתוך ה-Data Warehouse, לא מדובר על אנשים טכנולוגיים,
מדובר על אנשי מקצוע, אנליסטים, מנהלי מחלקות, מנכ"לי החברה, דירקטוריונים, אנשי ראיית חשבון, אנשי שיווק, אנשים שהם לאו דווקא מתוך היבט טכנולוגי, יצטרכו לקרוא את בסיס הנתונים שלנו ולהבין בדיוק מה המספרים שם,
מה המשמעות של המספרים, לאן הם אומרים, מה הם אומרים, כלומר לדעת לראות את המספרים בצורה קלה ללא יכולת טכנולוגית כדי שהם יוכלו להתרכז לא בהיבט הטכנולוגי, אלא בהיבט של הפקת המסקנות, התובנות, להוציא מתוך הידע מידע ארגוני, מידע עסקי, כיצד אנחנו צריכים לנהוג מכאן ואילך.
המערכת שלנו צריכה להיות גם פלקסיבל, גמישה לשינויים. היכולת שלנו בהמשך להוסיף מידע היסטורי, להוסיף נתונים מסוימים, לחסר נתונים שכבר לא רלוונטיים, אז המערכת צריכה מספיק להיות גמישה, התהליך ה-ETL צריך לאפשר לנו גמישות בהמשך לטובת שינוי ארכיטקטורה של אותו מבנה נתונים.
צריך שזה יהיה מהיר. התובנה עצמה, המידע עצמו שאני רוצה לתשאל את המערכת, כמה לקוחות הצטרפו אלינו בחודש האחרון, כמה מכירות עשיתי במגזר הסוציו-אקונומי הזה והזה, כיצד אני במכירות בטווח גילאים שבין 12 ועד 32?
מה הפילוח הלקוחות שלי מבחינה מגדרית, מבחינה גיאוגרפית, מבחינת גילאים, מבחינת רמת הכנסה, מבחינת כמות ילדים? אז את המידע הזה אני צריך לשלוף אותו בצורה מהירה, הוא צריך להיות כמובן מאובטח והמידע עצמו צריך להיות לי בצורה אחידה, קונסיסטנטית.
לא ייתכן מצב שאנחנו נביא את הנתונים ממקורות מידע שונים ואנחנו נקבל אותם בערכים שונים. ברגע שאנחנו מביאים מקורות מידע שונים אנחנו עלולים להביא אותם בערכים שונים לגמרי.
לא ייתכן מצב שמערכת אחת תחזיר לנו בעצם נתונים במד של מילימטרים ואילו מערכת אחרת תביא לנו אותם במדד בערכים של סנטימטרים או במטרים או בכל מדד אחר או באינצ'ים.
אנחנו חייבים ליצור איזושהי אחידות בין כל מקורות המידע, ומקורות מידע שמביאים לי ערכים בטייטנים שונים, אז אנחנו חייבים ליצור ביניהם איזושהי אחידות, איזושהי התאמה, ולכן זה נקרא קונסיסטנטיות, אחידות בין המידע עצמו.
חשוב מאוד שאת הטרמינולוגיה שבה אנחנו יוצרים את הדאטה הווייראוס תהיה תואמת לטרמינולוגיה הארגונית.
מה שזה אומר, לדבר במונחים לא הטכנולוגיים, שמות של טבלאות, שמות של אובייקטים כפי שהם מופיעים בתוך הדאטה ויירס, אלא לדבר במונחים כפי שמכירים אותם הארגון עצמו, כפי שהארגון עצמו עובד.
כלומר, שבסופו של דבר מתוך הדאטה ווייראוס יוכל בן אדם לא טכנולוגי, אלא בן אדם שהוא עסקי, להכיר את כל הישויות שנמצאות שם, כל המאפיינים ולהכיר אותם מתוך העולם העסקי שלו ללא שיהיה לו איזשהו גאפ מסוים מבחינת רמת הלימוד שהוא צריך לעשות כדי להכיר שם טרמינולוגיה שונה.
ה-BI צריך בעצם לקרב את העולם הטכנולוגי לעולם העסקי וליישר קו מולו מבחינת הטרמינולוגיה, מבחינת הגדרת דרישות, מבחינת המבנה, הקונספט, אותו איש אנליסט, אותו מנהל, אותו מנכ״ל רואה את המידע בארגון.
מפתח שרואה את הארכיטקטורה של הדאטה בראוס צריך להקפיד להבין את שפת העסק שבו הוא נמצא, את הארגון.