???????????????????????????????????????

???????????????????????????????????????????????????????????????????????????????????????????????????????????????????????? IT ??????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????

??????????????????????????? Data Warehouse????????? DW ??? DWH???

????????????????????????????????????????????????????????????????????????????????????

???????????????????????????????????????????????????

??? ?????????????????????

???????????????????????????????????????????????????????????????????????????????????????????????????

????????? 70 ??????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????Bill Innmon????????????????????????????????????????????????????????????????????????????????????

1988 ??????IBM ?????????????????????????????????Barry Devlin???????????????????????????Paul Murphy????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????

????????????1990 ?????????????????????????????????????????????Ralph Kimball???????????? Red Brick Systems ??????????????????????????????????????????????????????????????? Red Brick Warehouse???

1991 ??????????????????????????????????????????????????? Prism Solutions ???????????????????????????????????????????????? Prism Warehouse Manager???

?????????????????????????????????????????????????????????????????? ?????????????????????????????????????????????????????????????????????????????????

?????????????????????????????????????????????????????????????????????

?????????????????????????????????

??????????????????????????????????????????

???????????????????????????????????????????????????????????????????????? ??????

??????????????????????????????????????????Subject Oriented??????????????????Integrated????????????????????????Non-Volatile???????????????????????????Time Variant????????????????????????????????????????????????Decision Making Support??????

???????????????????????????????????????????????????????????????????????????????????????????????????????????????

??????????????????

????????????????????????????????????????????????????????????????????????????????????????????????

????????????????????????????????????????????????????????????????????????????????????????????????????????????

?????????????????????????????????????????????????????????????????????????????????????????????????????????

?????????????????????????????????????????????????????????????????? OLTP ??? OLAP???

OLTP ????????????????????????Online Transaction Processing?????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????

OLAP ????????????????????????Online Analytical Processing????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????

?????????????????????????????? OLAP ?????????????????????????????????????????? OLAP ????????????????????????????????????OLAP ????????????????????????????????????

???????????????????????????????????????????????????????????????????????????????????????Business Intelligence????????? BI??????????????? Gartner ??????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????

?????????????????????????????????????????????????????????????????????



????????????

?????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????

??????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????level?????????????????????

????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????

????????????????????????????????????????????????????????????????????????

??????

??????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????

??????????????????????????????????????????????????????????????????????????????????????????????????????

????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????

????????????

???????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????

???????????????????????????????????????????????????????????????????????????????????????

????????????????????????????????????????????????????????????????????????

??????????????????

?????????????????????????????????????????????????????????????????????????????????

??????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????

???????????????????????????????????????????????????????????????????????????????????????????????????

????????????????????????????????????????????????????????????????????????????????????

??????????????????????????????

???????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????

??????????????????????????????????????????????????????????????????

????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????

??????????????????????????????????????????????????????????????????????????????????????????

????????? 5 ??????????????????????????????????????????

????????????????????????????????????????????????????????????

????????????????????????????????????????????????

??????

??????????????????????????????????????????????????????????????????????????????????????????????????????



?????????????????????????????????????????????????????????????????????????????????????????????

????????????????????????????????????????????????????????????????????????

??? ?????????????????????????????????

???????????????????????????????????????????????????????????????????????????

???????????????????????????????????????????????????????????????????????????????????????



???????????????????????????

??????????????????ODS???Operation Data Store??????????????????????????????????????????????????????????????????????????????????????????????????????????????????

??????????????????CDM???Common Data Model??????????????????????????????????????????????????????????????? / ????????????DWD???DW Detail??????????????? / ????????????DWS???DW Service????????????????????????DIM??????DWD ???????????????????????????????????????????????????????????????DWS ??????????????????????????????????????????????????????DIW ??????????????????????????????????????????

??????????????????ADS???Application Data Service????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????

????????????????????????????????????????????????????????????

????????????????????????????????????????????????????????????

1???????????????

????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????

???????????????????????????????????????????????????????????????????????????????????????

2????????????????????????

?????????????????????????????????????????????????????????????????????????????????????????????

????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????

3???????????????

????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????

??????????????????????????????????????????????????????????????? Ralph Kimball ????????????????????? Bill Inmon ?????????????????????????????????????????????????????????????????????

Ralph Kimball ?????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????



Bill Inmon ???????????????????????????????????????????????????????????????????????????????????? ER ????????????????????????????????????????????????????????????

??????????????????????????????????????????

???????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????

4???????????????

??????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????

5???????????????

?????????Extract???????????????Transform???????????????Load????????????????????? ETL ????????????

ETL ????????????????????????????????????????????????

????????????????????????????????????????????????????????????????????????????????????????????????????????????

??????????????????????????????????????????????????????????????????????????????????????????????????????

5????????????????????????

????????????????????????????????????????????????????????????

????????????????????????????????????????????????????????????????????????BI??????SQL ?????????OLAP?????????????????????????????????????????????????????????????????????????????????????????????????????????????????????

????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????

6??????????????????????????????

?????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????



??????????????????Data Mart???

?????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????

??????????????????????????????????????????????????????????????????????????????????????????????????????????????????



??????????????????????????????

1.??????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????

2.??????????????????????????????????????????????????????????????????????????????????????????????????????????????????

3.????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????

4.?????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????

5.?????????????????????????????????????????????????????????????????????????????????????????????????????????????????????

6.?????????????????????????????????????????????????????????????????????????????????????????????????????????

??????????????????????????????

??????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????

????????????????????????????????????????????????????????????????????? Oracle??????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????

??????????????? 21 ?????????????????????????????????Hadoop???Spark ??????????????????????????????????????????????????????????????? MapReduce???Hive???SparkSQL ???????????????????????????????????????????????????????????????????????????

?????????????????????????????? Lambda ??????????????? + ?????????????????? Kappa ???????????????????????????



????????????????????????????????????????????? MPP ?????????????????????????????????????????????

????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????

????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????

????????????AI ?????????????????????????????????????????? AI ?????????????????????????????????

????????????????????? AI ??????????????????????????????????????????????????????????????????????????????????????????????????????????????????AI ?????????????????????????????????????????????????????????????????????????????????????????????????????? AI ?????????????????????

???????????????????????????????????????????????????

??????????????????????????????????????????????????????????????????

??????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????

?????????????????????????????????????????????ID???xzclasscom????????????????????????