企業(yè)數(shù)據(jù)倉庫建設(shè)的需求
信息作為現(xiàn)代企業(yè)的寶貴資源,占據(jù)著越來越重要的地位,已經(jīng)成為現(xiàn)代企業(yè)科學(xué)管理的基礎(chǔ),正確決策的前提,有效調(diào)控的手段。能否擁有及時(shí)、準(zhǔn)確、全面的信息已經(jīng)成為衡量一個(gè)企業(yè)是否具有發(fā)展?jié)摿Φ囊粋€(gè)重要指標(biāo)。
經(jīng)過多年的努力,目前大多數(shù)企業(yè)根據(jù)自己的業(yè)務(wù)特點(diǎn)和辦公的需要,建立了一大批各自的業(yè)務(wù)處理系統(tǒng)和企業(yè)辦公自動(dòng)化系統(tǒng),積累了大量的業(yè)務(wù)數(shù)據(jù)。這些業(yè)務(wù)信息系統(tǒng)為提高企業(yè)的工作效率,減少重復(fù)性的工作起到了積極的作用,為企業(yè)的發(fā)展做出了巨大貢獻(xiàn)。
目前,企業(yè)信息化建設(shè)呈現(xiàn)出“數(shù)據(jù)集中化、業(yè)務(wù)綜合化、管理扁平化、決策科學(xué)化”的發(fā)展趨勢。面對(duì)激烈的市場競爭,許多大型企業(yè)紛紛實(shí)施“以客戶為中心,以服務(wù)求發(fā)展”的經(jīng)營策略。 如何優(yōu)化客戶關(guān)系,增強(qiáng)企業(yè)的競爭優(yōu)勢已經(jīng)成為現(xiàn)代企業(yè)關(guān)注的焦點(diǎn)。現(xiàn)有的應(yīng)用系統(tǒng)往往以“產(chǎn)品”為中心,以“單據(jù)(票證)”處理為基礎(chǔ),是面向聯(lián)機(jī)事務(wù)處理(Online Transaction Processing,簡稱OLTP)的系統(tǒng),而以客戶為中心的經(jīng)營管理模式要求對(duì)現(xiàn)有業(yè)務(wù)系統(tǒng)的數(shù)據(jù)進(jìn)行有效的集成并加以重組,建立面向聯(lián)機(jī)分析處理(Online Analysis Processing,簡稱OLAP)的系統(tǒng)。通過分析客戶的行為,掌握不同類型客戶的特征,進(jìn)而為客戶提供更加優(yōu)質(zhì)的服務(wù),尤其是個(gè)性化的服務(wù),同時(shí)全面掌握并理解、分析企業(yè)業(yè)務(wù)的發(fā)生情況,充分發(fā)揮企業(yè)現(xiàn)已積累的數(shù)據(jù),為各級(jí)管理人員提供科學(xué)化管理和決策的有力依據(jù),以提高企業(yè)的經(jīng)營業(yè)績,保證利潤的持續(xù)增長。
面對(duì)紛繁復(fù)雜的市場競爭,眾多企業(yè)立足于多年積累的數(shù)據(jù)和自身的核心業(yè)務(wù),提出了建立企業(yè)級(jí)數(shù)據(jù)倉庫的規(guī)劃和實(shí)施方案,為企業(yè)的進(jìn)一步發(fā)展奠定基礎(chǔ)。
企業(yè)數(shù)據(jù)倉庫系統(tǒng)的總體結(jié)構(gòu)
一個(gè)典型的企業(yè)數(shù)據(jù)倉庫系統(tǒng)通常包含數(shù)據(jù)源、數(shù)據(jù)存儲(chǔ)與管理、OLAP服務(wù)器以及前端工具與應(yīng)用四個(gè)部分。
企業(yè)數(shù)據(jù)倉庫系統(tǒng)體系結(jié)構(gòu)
企業(yè)數(shù)據(jù)倉庫系統(tǒng)體系結(jié)構(gòu)
數(shù)據(jù)源:是數(shù)據(jù)倉庫系統(tǒng)的基礎(chǔ),是整個(gè)系統(tǒng)的數(shù)據(jù)源泉。通常包括企業(yè)內(nèi)部信息和外部信息。內(nèi)部信息包括存放于企業(yè)操作型數(shù)據(jù)庫中(通常存放在RDBMS中)的各種業(yè)務(wù)數(shù)據(jù)和辦公自動(dòng)化(OA)系統(tǒng)包含的各類文檔數(shù)據(jù)。外部信息包括各類法律法規(guī)、市場信息、競爭對(duì)手的信息以及各類外部統(tǒng)計(jì)數(shù)據(jù)及各類文檔等;
數(shù)據(jù)的存儲(chǔ)與管理:是整個(gè)數(shù)據(jù)倉庫系統(tǒng)的核心。在現(xiàn)有各業(yè)務(wù)系統(tǒng)的基礎(chǔ)上,對(duì)數(shù)據(jù)進(jìn)行抽取、清理,并有效集成,按照主題進(jìn)行重新組織,最終確定數(shù)據(jù)倉庫的物理存儲(chǔ)結(jié)構(gòu),同時(shí)組織存儲(chǔ)數(shù)據(jù)倉庫元數(shù)據(jù)(具體包括數(shù)據(jù)倉庫的數(shù)據(jù)字典、記錄系統(tǒng)定義、數(shù)據(jù)轉(zhuǎn)換規(guī)則、數(shù)據(jù)加載頻率以及業(yè)務(wù)規(guī)則等信息)。按照數(shù)據(jù)的覆蓋范圍,數(shù)據(jù)倉庫存儲(chǔ)可以分為企業(yè)級(jí)數(shù)據(jù)倉庫和部門級(jí)數(shù)據(jù)倉庫(通常稱為“數(shù)據(jù)集市”,Data Mart)。數(shù)據(jù)倉庫的管理包括數(shù)據(jù)的安全、歸檔、備份、維護(hù)、恢復(fù)等工作。這些功能與目前的DBMS基本一致。
OLAP服務(wù)器:對(duì)分析需要的數(shù)據(jù)按照多維數(shù)據(jù)模型進(jìn)行再次重組,以支持用戶多角度、多層次的分析,發(fā)現(xiàn)數(shù)據(jù)趨勢。其具體實(shí)現(xiàn)可以分為:ROLAP、MOLAP和HOLAP。ROLAP基本數(shù)據(jù)和聚合數(shù)據(jù)均存放在RDBMS之中;MOLAP基本數(shù)據(jù)和聚合數(shù)據(jù)均存放于多維數(shù)據(jù)庫中;而HOLAP是ROLAP與MOLAP的綜合,基本數(shù)據(jù)存放于RDBMS之中,聚合數(shù)據(jù)存放于多維數(shù)據(jù)庫中。
前端工具與應(yīng)用:前端工具主要包括各種數(shù)據(jù)分析工具、報(bào)表工具、查詢工具、數(shù)據(jù)挖掘工具以及各種基于數(shù)據(jù)倉庫或數(shù)據(jù)集市開發(fā)的應(yīng)用。其中數(shù)據(jù)分析工具主要針對(duì)OLAP服務(wù)器,報(bào)表工具、數(shù)據(jù)挖掘工具既針對(duì)數(shù)據(jù)倉庫,同時(shí)也針對(duì)OLAP服務(wù)器。
企業(yè)數(shù)據(jù)倉庫建設(shè)的基本步驟
對(duì)企業(yè)自身來說,數(shù)據(jù)倉庫的建設(shè)是一個(gè)系統(tǒng)工程,是一個(gè)不斷建立、發(fā)展、完善的過程,通常需要較長的時(shí)間。這就要求各企業(yè)對(duì)整個(gè)系統(tǒng)的建設(shè)提出一個(gè)全面、清晰的遠(yuǎn)景規(guī)劃及技術(shù)實(shí)施藍(lán)圖,將整個(gè)項(xiàng)目的實(shí)施分成若干個(gè)階段,以“總體規(guī)劃、分步實(shí)施、步步見效”為原則,不僅可迅速從當(dāng)前投資中獲得收益,而且可以在已有的基礎(chǔ)上,結(jié)合其他已有的業(yè)務(wù)系統(tǒng),逐步構(gòu)建起完整、健壯的數(shù)據(jù)倉庫系統(tǒng)。
企業(yè)數(shù)據(jù)倉庫的建設(shè)通常按照快速原型法予以實(shí)施,主要包括:確定范圍、環(huán)境評(píng)估、分析、設(shè)計(jì)、開發(fā)、測試和運(yùn)行等幾個(gè)階段。同時(shí)企業(yè)數(shù)據(jù)倉庫又是一個(gè)在原型的基礎(chǔ)上進(jìn)行不斷迭代的過程。
1、確定范圍
確定范圍的主要任務(wù)包括了解方向性分析處理需求,確定信息需求,確定數(shù)據(jù)覆蓋范圍。方向性需求包括:決策類型、決策者感興趣的問題(或?qū)ο螅┑取T诖_定范圍時(shí)應(yīng)該重視的因素是必須用戶驅(qū)動(dòng)和數(shù)據(jù)驅(qū)動(dòng)相結(jié)合,同時(shí)可以借鑒國內(nèi)外已有的成功經(jīng)驗(yàn)。
信息作為現(xiàn)代企業(yè)的寶貴資源,占據(jù)著越來越重要的地位,已經(jīng)成為現(xiàn)代企業(yè)科學(xué)管理的基礎(chǔ),正確決策的前提,有效調(diào)控的手段。能否擁有及時(shí)、準(zhǔn)確、全面的信息已經(jīng)成為衡量一個(gè)企業(yè)是否具有發(fā)展?jié)摿Φ囊粋€(gè)重要指標(biāo)。
經(jīng)過多年的努力,目前大多數(shù)企業(yè)根據(jù)自己的業(yè)務(wù)特點(diǎn)和辦公的需要,建立了一大批各自的業(yè)務(wù)處理系統(tǒng)和企業(yè)辦公自動(dòng)化系統(tǒng),積累了大量的業(yè)務(wù)數(shù)據(jù)。這些業(yè)務(wù)信息系統(tǒng)為提高企業(yè)的工作效率,減少重復(fù)性的工作起到了積極的作用,為企業(yè)的發(fā)展做出了巨大貢獻(xiàn)。
目前,企業(yè)信息化建設(shè)呈現(xiàn)出“數(shù)據(jù)集中化、業(yè)務(wù)綜合化、管理扁平化、決策科學(xué)化”的發(fā)展趨勢。面對(duì)激烈的市場競爭,許多大型企業(yè)紛紛實(shí)施“以客戶為中心,以服務(wù)求發(fā)展”的經(jīng)營策略。 如何優(yōu)化客戶關(guān)系,增強(qiáng)企業(yè)的競爭優(yōu)勢已經(jīng)成為現(xiàn)代企業(yè)關(guān)注的焦點(diǎn)。現(xiàn)有的應(yīng)用系統(tǒng)往往以“產(chǎn)品”為中心,以“單據(jù)(票證)”處理為基礎(chǔ),是面向聯(lián)機(jī)事務(wù)處理(Online Transaction Processing,簡稱OLTP)的系統(tǒng),而以客戶為中心的經(jīng)營管理模式要求對(duì)現(xiàn)有業(yè)務(wù)系統(tǒng)的數(shù)據(jù)進(jìn)行有效的集成并加以重組,建立面向聯(lián)機(jī)分析處理(Online Analysis Processing,簡稱OLAP)的系統(tǒng)。通過分析客戶的行為,掌握不同類型客戶的特征,進(jìn)而為客戶提供更加優(yōu)質(zhì)的服務(wù),尤其是個(gè)性化的服務(wù),同時(shí)全面掌握并理解、分析企業(yè)業(yè)務(wù)的發(fā)生情況,充分發(fā)揮企業(yè)現(xiàn)已積累的數(shù)據(jù),為各級(jí)管理人員提供科學(xué)化管理和決策的有力依據(jù),以提高企業(yè)的經(jīng)營業(yè)績,保證利潤的持續(xù)增長。
面對(duì)紛繁復(fù)雜的市場競爭,眾多企業(yè)立足于多年積累的數(shù)據(jù)和自身的核心業(yè)務(wù),提出了建立企業(yè)級(jí)數(shù)據(jù)倉庫的規(guī)劃和實(shí)施方案,為企業(yè)的進(jìn)一步發(fā)展奠定基礎(chǔ)。
企業(yè)數(shù)據(jù)倉庫系統(tǒng)的總體結(jié)構(gòu)
一個(gè)典型的企業(yè)數(shù)據(jù)倉庫系統(tǒng)通常包含數(shù)據(jù)源、數(shù)據(jù)存儲(chǔ)與管理、OLAP服務(wù)器以及前端工具與應(yīng)用四個(gè)部分。
企業(yè)數(shù)據(jù)倉庫系統(tǒng)體系結(jié)構(gòu)
企業(yè)數(shù)據(jù)倉庫系統(tǒng)體系結(jié)構(gòu)
數(shù)據(jù)源:是數(shù)據(jù)倉庫系統(tǒng)的基礎(chǔ),是整個(gè)系統(tǒng)的數(shù)據(jù)源泉。通常包括企業(yè)內(nèi)部信息和外部信息。內(nèi)部信息包括存放于企業(yè)操作型數(shù)據(jù)庫中(通常存放在RDBMS中)的各種業(yè)務(wù)數(shù)據(jù)和辦公自動(dòng)化(OA)系統(tǒng)包含的各類文檔數(shù)據(jù)。外部信息包括各類法律法規(guī)、市場信息、競爭對(duì)手的信息以及各類外部統(tǒng)計(jì)數(shù)據(jù)及各類文檔等;
數(shù)據(jù)的存儲(chǔ)與管理:是整個(gè)數(shù)據(jù)倉庫系統(tǒng)的核心。在現(xiàn)有各業(yè)務(wù)系統(tǒng)的基礎(chǔ)上,對(duì)數(shù)據(jù)進(jìn)行抽取、清理,并有效集成,按照主題進(jìn)行重新組織,最終確定數(shù)據(jù)倉庫的物理存儲(chǔ)結(jié)構(gòu),同時(shí)組織存儲(chǔ)數(shù)據(jù)倉庫元數(shù)據(jù)(具體包括數(shù)據(jù)倉庫的數(shù)據(jù)字典、記錄系統(tǒng)定義、數(shù)據(jù)轉(zhuǎn)換規(guī)則、數(shù)據(jù)加載頻率以及業(yè)務(wù)規(guī)則等信息)。按照數(shù)據(jù)的覆蓋范圍,數(shù)據(jù)倉庫存儲(chǔ)可以分為企業(yè)級(jí)數(shù)據(jù)倉庫和部門級(jí)數(shù)據(jù)倉庫(通常稱為“數(shù)據(jù)集市”,Data Mart)。數(shù)據(jù)倉庫的管理包括數(shù)據(jù)的安全、歸檔、備份、維護(hù)、恢復(fù)等工作。這些功能與目前的DBMS基本一致。
OLAP服務(wù)器:對(duì)分析需要的數(shù)據(jù)按照多維數(shù)據(jù)模型進(jìn)行再次重組,以支持用戶多角度、多層次的分析,發(fā)現(xiàn)數(shù)據(jù)趨勢。其具體實(shí)現(xiàn)可以分為:ROLAP、MOLAP和HOLAP。ROLAP基本數(shù)據(jù)和聚合數(shù)據(jù)均存放在RDBMS之中;MOLAP基本數(shù)據(jù)和聚合數(shù)據(jù)均存放于多維數(shù)據(jù)庫中;而HOLAP是ROLAP與MOLAP的綜合,基本數(shù)據(jù)存放于RDBMS之中,聚合數(shù)據(jù)存放于多維數(shù)據(jù)庫中。
前端工具與應(yīng)用:前端工具主要包括各種數(shù)據(jù)分析工具、報(bào)表工具、查詢工具、數(shù)據(jù)挖掘工具以及各種基于數(shù)據(jù)倉庫或數(shù)據(jù)集市開發(fā)的應(yīng)用。其中數(shù)據(jù)分析工具主要針對(duì)OLAP服務(wù)器,報(bào)表工具、數(shù)據(jù)挖掘工具既針對(duì)數(shù)據(jù)倉庫,同時(shí)也針對(duì)OLAP服務(wù)器。
企業(yè)數(shù)據(jù)倉庫建設(shè)的基本步驟
對(duì)企業(yè)自身來說,數(shù)據(jù)倉庫的建設(shè)是一個(gè)系統(tǒng)工程,是一個(gè)不斷建立、發(fā)展、完善的過程,通常需要較長的時(shí)間。這就要求各企業(yè)對(duì)整個(gè)系統(tǒng)的建設(shè)提出一個(gè)全面、清晰的遠(yuǎn)景規(guī)劃及技術(shù)實(shí)施藍(lán)圖,將整個(gè)項(xiàng)目的實(shí)施分成若干個(gè)階段,以“總體規(guī)劃、分步實(shí)施、步步見效”為原則,不僅可迅速從當(dāng)前投資中獲得收益,而且可以在已有的基礎(chǔ)上,結(jié)合其他已有的業(yè)務(wù)系統(tǒng),逐步構(gòu)建起完整、健壯的數(shù)據(jù)倉庫系統(tǒng)。
企業(yè)數(shù)據(jù)倉庫的建設(shè)通常按照快速原型法予以實(shí)施,主要包括:確定范圍、環(huán)境評(píng)估、分析、設(shè)計(jì)、開發(fā)、測試和運(yùn)行等幾個(gè)階段。同時(shí)企業(yè)數(shù)據(jù)倉庫又是一個(gè)在原型的基礎(chǔ)上進(jìn)行不斷迭代的過程。
1、確定范圍
確定范圍的主要任務(wù)包括了解方向性分析處理需求,確定信息需求,確定數(shù)據(jù)覆蓋范圍。方向性需求包括:決策類型、決策者感興趣的問題(或?qū)ο螅┑取T诖_定范圍時(shí)應(yīng)該重視的因素是必須用戶驅(qū)動(dòng)和數(shù)據(jù)驅(qū)動(dòng)相結(jié)合,同時(shí)可以借鑒國內(nèi)外已有的成功經(jīng)驗(yàn)。