數(shù)據(jù)集市,什么是數(shù)據(jù)集市
數(shù)據(jù)集市,什么是數(shù)據(jù)集市
數(shù)據(jù)集市,或者叫做"小數(shù)據(jù)倉(cāng)庫(kù)",是用于公司單獨(dú)部門或分部的數(shù)據(jù)倉(cāng)庫(kù),與完善的數(shù)據(jù)倉(cāng)庫(kù)(試圖存儲(chǔ)公司使用的所有數(shù)據(jù)并使這些數(shù)據(jù)可用)相對(duì)應(yīng)。數(shù)據(jù)集市存儲(chǔ)在比較小的數(shù)據(jù)庫(kù)中并且面向特定的用途或數(shù)據(jù)主題,而不是用于整個(gè)企業(yè)的戰(zhàn)略規(guī)劃。由于完善的數(shù)據(jù)倉(cāng)庫(kù)很難實(shí)施,因此很多公司最先使用數(shù)據(jù)集市,然后過(guò)些時(shí)候再將這些數(shù)據(jù)集市合并到數(shù)據(jù)倉(cāng)庫(kù)中。
數(shù)據(jù)集市可以包含運(yùn)營(yíng)數(shù)據(jù)、總結(jié)數(shù)據(jù)、維數(shù)據(jù)或元數(shù)據(jù)。通常,使用維數(shù)據(jù)模型來(lái)構(gòu)建數(shù)據(jù)集市。它主要面向部門級(jí)業(yè)務(wù),并且只是面向某個(gè)特定的主題。數(shù)據(jù)集市可以在一定程度上緩解訪問(wèn)數(shù)據(jù)倉(cāng)庫(kù)的瓶頸。
數(shù)據(jù)倉(cāng)庫(kù)是在企業(yè)管理和決策中面向主題的、集成的、與時(shí)間相關(guān)的、不可修改的數(shù)據(jù)集合。與其他數(shù)據(jù)庫(kù)應(yīng)用不同的是,數(shù)據(jù)倉(cāng)庫(kù)更像一種過(guò)程,對(duì)分布在企業(yè)內(nèi)部各處的業(yè)務(wù)數(shù)據(jù)的整合、加工和分析的過(guò)程,而不是一種可以購(gòu)買的產(chǎn)品。
數(shù)據(jù)集市容納的數(shù)據(jù)在50~300GByte的范圍,而數(shù)據(jù)倉(cāng)庫(kù)將容納太字節(jié)的數(shù)據(jù)。數(shù)據(jù)集市是專題的并通常是部門的,而數(shù)據(jù)倉(cāng)庫(kù)則是整個(gè)企業(yè)的數(shù)據(jù)存儲(chǔ)庫(kù)。數(shù)據(jù)集市較容易創(chuàng)建(不到一年),而數(shù)據(jù)倉(cāng)庫(kù)則是需要花費(fèi)超過(guò)一年的時(shí)間創(chuàng)建的復(fù)雜工程。數(shù)據(jù)集市的成本在數(shù)千美元左右,而數(shù)據(jù)倉(cāng)庫(kù)的成本則要耗費(fèi)數(shù)百萬(wàn)美元。
Appsco Software Ltd.公司聲稱它的軟件使數(shù)據(jù)集市的建造更加簡(jiǎn)單。AppsMart是使用最流行的SQL服務(wù)器數(shù)據(jù)庫(kù)應(yīng)用程序簡(jiǎn)化數(shù)據(jù)集市建造的快速應(yīng)用程序開(kāi)發(fā)工具。
Data Switches數(shù)據(jù)交換設(shè)備
數(shù)據(jù)交換設(shè)備是一種將終端、計(jì)算機(jī)和其他計(jì)算設(shè)備鏈接到大型計(jì)算機(jī)上的設(shè)備。它們基本上是為很多設(shè)備共享有限個(gè)端口提供方法的集中器設(shè)備。
在早期的廣域網(wǎng)中,數(shù)據(jù)通過(guò)通信子網(wǎng)的交換方式分為兩類: 線路交換方式、存儲(chǔ)轉(zhuǎn)發(fā)交換方式。
線路交換方式(電路交換方式)
線路交換(circuit exchanging)方式與電話交換方式的工作過(guò)程很類似。兩臺(tái)計(jì)算機(jī)通過(guò)通信子網(wǎng)進(jìn)行數(shù)據(jù)交換之前,首先要在通信子網(wǎng)中建立一個(gè)實(shí)際的物理線路連接。
1.線路交換方式的通信過(guò)程
線路交換方式的通信過(guò)程分為以下三個(gè)階段:
(1)線路建立階段
如果主機(jī)H1要向主機(jī)H2傳輸數(shù)據(jù),首先要通過(guò)通信子網(wǎng)在主機(jī)H1與主機(jī)H2之間建立線路連接。主機(jī)H1首先向通信子網(wǎng)中結(jié)點(diǎn)A發(fā)送"呼叫請(qǐng)求包",其中含有需要建立線路連接的源主機(jī)地址與目的主機(jī)地址。結(jié)點(diǎn)A根據(jù)目的主機(jī)地址,根據(jù)路選算法,如選擇下一個(gè)結(jié)點(diǎn)為B,則向結(jié)點(diǎn)B發(fā)送"呼叫請(qǐng)求包"。
結(jié)點(diǎn)B接到呼叫請(qǐng)求后,同樣根據(jù)路選算法,如選擇下一個(gè)結(jié)點(diǎn)為結(jié)點(diǎn)C,則向結(jié)點(diǎn)C發(fā)送"呼叫請(qǐng)求包"。結(jié)點(diǎn)C接到呼叫請(qǐng)求后,也要根據(jù)路選算法,如選擇下一個(gè)結(jié)點(diǎn)為結(jié)點(diǎn)D,則向結(jié)點(diǎn)D發(fā)送"呼叫請(qǐng)求包"。結(jié)點(diǎn)D接到呼叫請(qǐng)求后,向與其直接連接的主機(jī)H2發(fā)送"呼叫請(qǐng)求包"。主機(jī)H2如接受主機(jī)H1的呼叫連接請(qǐng)求,則通過(guò)已經(jīng)建立的物理線路連接"結(jié)點(diǎn)D-結(jié)點(diǎn)C-結(jié)點(diǎn)B-結(jié)點(diǎn)A",向主機(jī)A發(fā)送"呼叫應(yīng)答包"。至此,從"主機(jī)H1-結(jié)點(diǎn)A-結(jié)點(diǎn)B-結(jié)點(diǎn)C-結(jié)點(diǎn)D-主機(jī)H2"的專用物理線路連接建立完成。該物理連接為此次主機(jī)H1與主機(jī)H2的數(shù)據(jù)交換服務(wù)。
(2)數(shù)據(jù)傳輸階段
在主機(jī)H1與主機(jī)H2通過(guò)通信子網(wǎng)的物理線路連接建立以后,主機(jī)H1與主機(jī)H2就可以通過(guò)該連接實(shí)時(shí)、雙向交換數(shù)據(jù)。
(3)線路釋放階段
在數(shù)據(jù)傳輸完成后,就要進(jìn)入路線釋放階段。一般可以由主機(jī)H1向主機(jī)H2發(fā)出"釋放請(qǐng)求包",主機(jī)H2同意結(jié)束傳輸并釋放線路后,將向結(jié)點(diǎn)D發(fā)送"釋放應(yīng)答包",然后按照結(jié)點(diǎn)C-結(jié)點(diǎn)B-結(jié)點(diǎn)A-主機(jī)H1次序,依次將建立的物理連接釋放。這時(shí),此次通信結(jié)束。
2.線路交換方式的特點(diǎn)
線路交換方式的特點(diǎn)是:通信子網(wǎng)中的結(jié)點(diǎn)是用電子或機(jī)電結(jié)合的交換設(shè)備來(lái)完成輸入與輸出線路的物理連接。交換設(shè)備與線路分為模擬通信與數(shù)字通信兩類。線路連接過(guò)程完成后,在兩臺(tái)主機(jī)之間已建立的物理線路連接為此次通信專用。通信子網(wǎng)中的結(jié)點(diǎn)交換設(shè)備不能存儲(chǔ)數(shù)據(jù),不能改變數(shù)據(jù)內(nèi)容,并且不具備差錯(cuò)控制能力。
存儲(chǔ)轉(zhuǎn)發(fā)交換方式
1.存儲(chǔ)轉(zhuǎn)發(fā)的基本概念
存儲(chǔ)轉(zhuǎn)發(fā)交換(store?and?forward exchanging)方式與線路交換方式的主要區(qū)別表現(xiàn)在以下兩個(gè)方面:發(fā)送的數(shù)據(jù)與目的地址、源地址、控制信息按照一定格式組成一個(gè)數(shù)據(jù)單元(報(bào)文或報(bào)文分組)進(jìn)入通信子網(wǎng);通信子網(wǎng)中的結(jié)點(diǎn)是通信控制處理機(jī),它負(fù)責(zé)完成數(shù)據(jù)單元的接收、差錯(cuò)校驗(yàn)、存儲(chǔ)、路選和轉(zhuǎn)發(fā)功能。
存儲(chǔ)轉(zhuǎn)發(fā)方式的優(yōu)點(diǎn)主要有以下幾點(diǎn):
(1)由于通信子網(wǎng)中的通信控制處理機(jī)可以存儲(chǔ)報(bào)文(或報(bào)文分組),因此多個(gè)報(bào)文(或報(bào)文分組)可以共享通信信道,線路利用率高。
(2)通信子網(wǎng)中通信控制處理機(jī)具有路選功能,可以動(dòng)態(tài)選擇報(bào)文(或報(bào)文分組)通過(guò)通信子網(wǎng)的最佳路徑,同時(shí)可以平滑通信量,提高系統(tǒng)效率。
(3)報(bào)文(或報(bào)文分組)在通過(guò)通信子網(wǎng)中的每個(gè)通信控制處理機(jī)時(shí),均要進(jìn)行差錯(cuò)檢查與糾錯(cuò)處理,因此可以減少傳輸錯(cuò)誤,提高系統(tǒng)可靠性。
(4)通過(guò)通信控制處理機(jī),可以對(duì)不同通信速率的線路進(jìn)行速率轉(zhuǎn)換,也可以對(duì)不同的數(shù)據(jù)代碼格式進(jìn)行變換。
正是由于存儲(chǔ)轉(zhuǎn)發(fā)交換方式有以上明顯的優(yōu)點(diǎn),因此,它在計(jì)算機(jī)網(wǎng)絡(luò)中得到了廣泛的使用。
2.存儲(chǔ)轉(zhuǎn)發(fā)的分類
存儲(chǔ)轉(zhuǎn)發(fā)交換方式可以分為兩類:報(bào)文交換(message exchanging)與報(bào)文分組交換(packet exchanging)。因此,在利用存儲(chǔ)轉(zhuǎn)發(fā)交換原理傳送數(shù)據(jù)時(shí),被傳送的數(shù)據(jù)單元相應(yīng)可以分為兩類:報(bào)文(message)與報(bào)文分組(packet)。
如果在發(fā)送數(shù)據(jù)時(shí),不管發(fā)送數(shù)據(jù)的長(zhǎng)度是多少,都把它當(dāng)做一個(gè)邏輯單元,那么就可以在發(fā)送的數(shù)據(jù)上加上目的地址、源地址與控制信息,按一定的格式打包后組成一個(gè)報(bào)文。另一種方法是限制數(shù)據(jù)的最大長(zhǎng)度,典型的最大長(zhǎng)度是1000或幾千比特。發(fā)送站將一個(gè)長(zhǎng)報(bào)文分成多個(gè)報(bào)文分組,接收站再將多個(gè)報(bào)文分組按順序重新組織成一個(gè)長(zhǎng)報(bào)文。報(bào)文分組通常也被稱為分組。
由于分組長(zhǎng)度較短,在傳輸出錯(cuò)時(shí),檢錯(cuò)容易并且重發(fā)花費(fèi)的時(shí)間較少,這就有利于提高存儲(chǔ)轉(zhuǎn)發(fā)結(jié)點(diǎn)的存儲(chǔ)空間利用率與傳輸效率,因此成為當(dāng)今公用數(shù)據(jù)交換網(wǎng)中主要的交換技術(shù)。目前,美國(guó)的TELENET、TYMNET以及中國(guó)的CHINAPAC都采用了分組交換技術(shù)。這類通信子網(wǎng)稱為分組交換網(wǎng)。
高速交換技術(shù)
隨著多媒體應(yīng)用對(duì)網(wǎng)絡(luò)的帶寬與傳輸?shù)膶?shí)時(shí)性要求越來(lái)越高。寬帶綜合業(yè)務(wù)服務(wù)要求的提出,更進(jìn)一步暴露出傳統(tǒng)的線路交換與分組交換方式的不適應(yīng)性。一種新的交換技術(shù)--異步傳輸模式(ATM) 引起了人們高度的重視。
1.ATM簡(jiǎn)要介紹
ATM(異步傳輸模式)網(wǎng)絡(luò)是在包交換技術(shù)的基礎(chǔ)上,經(jīng)過(guò)使用經(jīng)驗(yàn)的積累,在90年代初改進(jìn)和發(fā)展的一種新型包交換技術(shù)。70年代中期,遠(yuǎn)程數(shù)據(jù)通信使用X.25傳輸協(xié)議,這種技術(shù)是用同軸電纜傳輸數(shù)據(jù)幀,由于線路抗電磁干擾性能差,在鏈路級(jí)上要加強(qiáng)糾錯(cuò)措施,一旦發(fā)現(xiàn)傳輸差錯(cuò),要求發(fā)送方重發(fā)。因此,數(shù)據(jù)通信速率低,每個(gè)端口為64kb/s,稱為慢包技術(shù)。
80年代中期,在X.25協(xié)議的基礎(chǔ)上,又發(fā)展了幀中繼(Frame Relzy)技術(shù)。它用于在光纖介質(zhì)上傳輸可變長(zhǎng)度的數(shù)據(jù)幀。由于光纖介質(zhì)傳輸品質(zhì)高,可以大幅度提高通信速率,最高帶寬可以達(dá)到T3(44.7Mb/s),稱為快包技術(shù)。但是,幀中繼網(wǎng)絡(luò)技術(shù),是對(duì)數(shù)據(jù)通信優(yōu)化的,它所使用的長(zhǎng)短不等的數(shù)據(jù)幀不適用于要求低延時(shí)、可控制和可預(yù)測(cè)的實(shí)時(shí)動(dòng)態(tài)信息的傳輸。隨著對(duì)多媒體信息通信應(yīng)用的需要,又發(fā)展了信元中繼(Cell Relay)技術(shù)。
在ATM交換方式中,文本、語(yǔ)音、視頻等所有數(shù)據(jù)將被分解為長(zhǎng)度固定的信元(cell)。信元有一個(gè)5字節(jié)的信元頭(header)與一個(gè)48字節(jié)的用戶數(shù)據(jù)(user data),信元長(zhǎng)度為53字節(jié)。信元中繼技術(shù)使用短的、固定長(zhǎng)度的數(shù)據(jù)包作為傳輸信息的單位,因此具有高速、可控制,低延時(shí)的傳輸特性。
原先設(shè)計(jì)ATM網(wǎng)絡(luò)的目的是用作多媒體通信的遠(yuǎn)程網(wǎng)絡(luò)干線。它具有高速的通信能力,而且根據(jù)需要,可以提供可擴(kuò)展的帶寬。可以說(shuō)ATM網(wǎng)絡(luò)是一種全新的快包技術(shù)。
2. ATM網(wǎng)絡(luò)技術(shù)的優(yōu)點(diǎn)
(1)短的、固定長(zhǎng)度的信元適用于高速、多媒體信息的傳輸。對(duì)于多媒體信息,ATM網(wǎng)絡(luò)提供不同的優(yōu)先級(jí)別,保證要求實(shí)時(shí)性高的話音、視頻信息優(yōu)先傳送,保證低延時(shí),所以ATM網(wǎng)絡(luò)特別適用于多媒體通信。
(2)可擴(kuò)展的帶寬利用。ATM網(wǎng)絡(luò)技術(shù)的另一個(gè)重要優(yōu)點(diǎn)是帶寬可以按需擴(kuò)展的性能,按照通信末端的需求靈活地分配帶寬。
(3)良好的傳輸品質(zhì)。ATM網(wǎng)絡(luò)主要用作面向連接的網(wǎng)絡(luò)技術(shù)。它和無(wú)連接的網(wǎng)絡(luò)技術(shù)(如LAN、iP)相比,在傳輸品質(zhì)上有很大的提高。面向連接的通信要求在傳輸信息前,通信的兩個(gè)端點(diǎn)之間先建立起虛通道(VP)和虛電路(VC)。一般情況下,虛電路是動(dòng)態(tài)地建立和拆除的,稱為交換的虛電路(SVC)。建立了虛電路,可以在通信的端點(diǎn)之間磋商服務(wù)品質(zhì)(QOS)和可用的數(shù)據(jù)速率(ABR)等,避免在通信中發(fā)生數(shù)據(jù)位的丟失。
(4)通信的規(guī)范化。不論何種信源,在進(jìn)入ATM網(wǎng)絡(luò)時(shí),使用統(tǒng)一的信元格式,就是都要拆成規(guī)定大小的信元,即便是網(wǎng)絡(luò)管理用的信息,也不例外,這樣有利于信息的規(guī)范化和通信集成。
(5)網(wǎng)絡(luò)結(jié)構(gòu)簡(jiǎn)化。使用固定長(zhǎng)度的信元,可以簡(jiǎn)化在網(wǎng)絡(luò)中末端和中間節(jié)點(diǎn)5對(duì)信元的校驗(yàn),使網(wǎng)絡(luò)的工作和結(jié)構(gòu)得以簡(jiǎn)化。
3. ATM網(wǎng)絡(luò)應(yīng)用舉例
由于ATM的優(yōu)點(diǎn),許多公司正在自己的網(wǎng)絡(luò)中采用ATM作為核心技術(shù)。其中一個(gè)實(shí)例是Hannaford Brothers,該公司在從緬因州到南加里福尼亞州的8個(gè)州中,擁有150家食品和藥品商店及四家倉(cāng)庫(kù)。 Hannaford發(fā)現(xiàn),其數(shù)據(jù)通信流量在短短三年內(nèi)提高了15倍,該公司現(xiàn)有的衛(wèi)星網(wǎng)絡(luò)已經(jīng)不能處理這一通信流量。Hannaford在主干網(wǎng)中選擇了大西洋貝爾的ATM Cell Relay服務(wù),因?yàn)樗梢猿休d語(yǔ)音和數(shù)據(jù),并具有很高的帶寬效率和服務(wù)質(zhì)量功能。大西洋貝爾的ATM CRS網(wǎng)絡(luò)為該公司提供了可擴(kuò)充的帶寬,其容量較以前的網(wǎng)絡(luò)提高了80倍。
ATM網(wǎng)絡(luò)現(xiàn)在已經(jīng)頻繁用于遠(yuǎn)程教學(xué)中,特別是公司培訓(xùn)計(jì)劃。視頻是實(shí)時(shí)的,在遠(yuǎn)程教室和教導(dǎo)員之間可以簡(jiǎn)便地進(jìn)行交流。由于消除了差旅費(fèi)用,因此遠(yuǎn)程教學(xué)大大節(jié)約了成本,公司則可以提供額外的培訓(xùn)課程。教育機(jī)構(gòu)發(fā)現(xiàn),ATM是一種經(jīng)濟(jì)的遠(yuǎn)程教學(xué)技術(shù)。 今天,許多醫(yī)院采用ATM提供影像質(zhì)量和傳輸速度,允許手術(shù)室中的外科醫(yī)生在手術(shù)過(guò)程中以可視的方式咨詢外部專家。清晰度和低時(shí)延是解釋核磁共振成像和其它影像的關(guān)鍵。以電子方式傳輸醫(yī)學(xué)影像有助于醫(yī)院縮減成本。在ATM上可以支持無(wú)膠片放射應(yīng)用,如CAT掃描和X射線,通常消除了成本高昂的膠片費(fèi)用。ATM提供了必要的帶寬,允許把這些詳細(xì)的醫(yī)學(xué)影像傳輸?shù)街醒胛恢茫怨<以u(píng)估。 美國(guó)西弗吉尼亞州部署了大西洋貝爾ATM網(wǎng)絡(luò),在55個(gè)縣的法庭及10個(gè)相應(yīng)的地區(qū)監(jiān)獄中實(shí)現(xiàn)連接。為每個(gè)法庭和地區(qū)監(jiān)獄配備ATM連接的視頻設(shè)備。視頻設(shè)備使得在審判前,每個(gè)新囚犯可以在法庭上先期露面,而不需親自到庭。根據(jù)西弗吉尼亞州地區(qū)監(jiān)獄管理局的權(quán)威人士介紹,這將提高公共安全,因?yàn)榍舴笍奈措x開(kāi)監(jiān)獄。它還降低了在監(jiān)獄和法庭之間運(yùn)送囚犯的成本。
非常好我支持^.^
(0) 0%
不好我反對(duì)
(0) 0%
相關(guān)閱讀:
- [今日頭條] 數(shù)據(jù)挖掘與數(shù)據(jù)倉(cāng)庫(kù)的一些基本概念 2021-09-01
- [電子說(shuō)] 什么是數(shù)據(jù)倉(cāng)庫(kù)、數(shù)據(jù)集市、數(shù)據(jù)湖? 2020-09-21
( 發(fā)表人:admin )