從系統(tǒng)架構(gòu)來(lái)分類，目前的典型的服務(wù)器可以分為大體系結(jié)構(gòu)，即非一致存儲(chǔ)訪問(wèn)結(jié)構(gòu)，對(duì)稱多處理器結(jié)構(gòu)，以及海量并行處理結(jié)構(gòu) 。本文就將它們的特征分別進(jìn)行了描述。

　　1. SMP（Symmetric Multi-Processor）

　　SMP （Symmetric Multi Processing），對(duì)稱多處理系統(tǒng)內(nèi)有許多緊耦合多處理器，在這樣的系統(tǒng)中，所有的CPU共享全部資源，如總線，內(nèi)存和I/O系統(tǒng)等，操作系統(tǒng)或管理數(shù)據(jù)庫(kù)的復(fù)本只有一個(gè)，這種系統(tǒng)有一個(gè)最大的特點(diǎn)就是共享所有資源。多個(gè)CPU之間沒(méi)有區(qū)別，平等地訪問(wèn)內(nèi)存、外設(shè)、一個(gè)操作系統(tǒng)。操作系統(tǒng)管理著一個(gè)隊(duì)列，每個(gè)處理器依次處理隊(duì)列中的進(jìn)程。如果兩個(gè)處理器同時(shí)請(qǐng)求訪問(wèn)一個(gè)資源（例如同一段內(nèi)存地址），由硬件、軟件的鎖機(jī)制去解決資源爭(zhēng)用問(wèn)題。Access to RAM is serialized; this and cache coherency issues causes performance to lag slightly behind the number of additional processors in the system.

　　所謂對(duì)稱多處理器結(jié)構(gòu)，是指服務(wù)器中多個(gè) CPU 對(duì)稱工作，無(wú)主次或從屬關(guān)系。各 CPU 共享相同的物理內(nèi)存，每個(gè) CPU 訪問(wèn)內(nèi)存中的任何地址所需時(shí)間是相同的，因此 SMP 也被稱為一致存儲(chǔ)器訪問(wèn)結(jié)構(gòu) （UMA ： Uniform Memory Access） 。對(duì) SMP 服務(wù)器進(jìn)行擴(kuò)展的方式包括增加內(nèi)存、使用更快的 CPU 、增加 CPU 、擴(kuò)充 I/O（ 槽口數(shù)與總線數(shù) ） 以及添加更多的外部設(shè)備 （ 通常是磁盤(pán)存儲(chǔ) ） 。

　　SMP 服務(wù)器的主要特征是共享，系統(tǒng)中所有資源 （CPU 、內(nèi)存、 I/O 等 ） 都是共享的。也正是由于這種特征，導(dǎo)致了 SMP 服務(wù)器的主要問(wèn)題，那就是它的擴(kuò)展能力非常有限。對(duì)于 SMP 服務(wù)器而言，每一個(gè)共享的環(huán)節(jié)都可能造成 SMP 服務(wù)器擴(kuò)展時(shí)的瓶頸，而最受限制的則是內(nèi)存。由于每個(gè) CPU 必須通過(guò)相同的內(nèi)存總線訪問(wèn)相同的內(nèi)存資源，因此隨著 CPU 數(shù)量的增加，內(nèi)存訪問(wèn)沖突將迅速增加，最終會(huì)造成 CPU 資源的浪費(fèi)，使 CPU 性能的有效性大大降低。實(shí)驗(yàn)證明， SMP 服務(wù)器 CPU 利用率最好的情況是 2 至 4 個(gè) CPU 。

　　圖 1.SMP 服務(wù)器 CPU 利用率狀態(tài)

　　2. NUMA（Non-Uniform Memory Access）

　　由于 SMP 在擴(kuò)展能力上的限制，人們開(kāi)始探究如何進(jìn)行有效地?cái)U(kuò)展從而構(gòu)建大型系統(tǒng)的技術(shù)， NUMA 就是這種努力下的結(jié)果之一。利用 NUMA 技術(shù)，可以把幾十個(gè) CPU（ 甚至上百個(gè) CPU） 組合在一個(gè)服務(wù)器內(nèi)。其 CPU 模塊結(jié)構(gòu)如圖 2 所示：

　　圖 2.NUMA 服務(wù)器 CPU 模塊結(jié)構(gòu)

　　NUMA 服務(wù)器的基本特征是具有多個(gè) CPU 模塊，每個(gè) CPU 模塊由多個(gè) CPU（ 如 4 個(gè) ） 組成，并且具有獨(dú)立的本地內(nèi)存、 I/O 槽口等。由于其節(jié)點(diǎn)之間可以通過(guò)互聯(lián)模塊 （ 如稱為 Crossbar Switch） 進(jìn)行連接和信息交互，因此每個(gè) CPU 可以訪問(wèn)整個(gè)系統(tǒng)的內(nèi)存 （ 這是 NUMA 系統(tǒng)與 MPP 系統(tǒng)的重要差別 ） 。顯然，訪問(wèn)本地內(nèi)存的速度將遠(yuǎn)遠(yuǎn)高于訪問(wèn)遠(yuǎn)地內(nèi)存 （ 系統(tǒng)內(nèi)其它節(jié)點(diǎn)的內(nèi)存 ） 的速度，這也是非一致存儲(chǔ)訪問(wèn) NUMA 的由來(lái)。由于這個(gè)特點(diǎn)，為了更好地發(fā)揮系統(tǒng)性能，開(kāi)發(fā)應(yīng)用程序時(shí)需要盡量減少不同 CPU 模塊之間的信息交互。

　　利用 NUMA 技術(shù)，可以較好地解決原來(lái) SMP 系統(tǒng)的擴(kuò)展問(wèn)題，在一個(gè)物理服務(wù)器內(nèi)可以支持上百個(gè) CPU 。比較典型的 NUMA 服務(wù)器的例子包括 HP 的 Superdome 、 SUN15K 、 IBMp690 等。

　　但 NUMA 技術(shù)同樣有一定缺陷，由于訪問(wèn)遠(yuǎn)地內(nèi)存的延時(shí)遠(yuǎn)遠(yuǎn)超過(guò)本地內(nèi)存，因此當(dāng) CPU 數(shù)量增加時(shí)，系統(tǒng)性能無(wú)法線性增加。如 HP 公司發(fā)布 Superdome 服務(wù)器時(shí)，曾公布了它與 HP 其它 UNIX 服務(wù)器的相對(duì)性能值，結(jié)果發(fā)現(xiàn)， 64 路 CPU 的 Superdome （NUMA 結(jié)構(gòu) ） 的相對(duì)性能值是 20 ，而 8 路 N4000（ 共享的 SMP 結(jié)構(gòu) ） 的相對(duì)性能值是 6.3 。從這個(gè)結(jié)果可以看到， 8 倍數(shù)量的 CPU 換來(lái)的只是 3 倍性能的提升。

　　3. MPP（Massive Parallel Processing）

　　和 NUMA 不同， MPP 提供了另外一種進(jìn)行系統(tǒng)擴(kuò)展的方式，它由多個(gè) SMP 服務(wù)器通過(guò)一定的節(jié)點(diǎn)互聯(lián)網(wǎng)絡(luò)進(jìn)行連接，協(xié)同工作，完成相同的任務(wù)，從用戶的角度來(lái)看是一個(gè)服務(wù)器系統(tǒng)。其基本特征是由多個(gè) SMP 服務(wù)器 （ 每個(gè) SMP 服務(wù)器稱節(jié)點(diǎn) ） 通過(guò)節(jié)點(diǎn)互聯(lián)網(wǎng)絡(luò)連接而成，每個(gè)節(jié)點(diǎn)只訪問(wèn)自己的本地資源 （ 內(nèi)存、存儲(chǔ)等 ） ，是一種完全無(wú)共享 （Share Nothing） 結(jié)構(gòu)，因而擴(kuò)展能力最好，理論上其擴(kuò)展無(wú)限制，目前的技術(shù)可實(shí)現(xiàn) 512 個(gè)節(jié)點(diǎn)互聯(lián)，數(shù)千個(gè) CPU 。目前業(yè)界對(duì)節(jié)點(diǎn)互聯(lián)網(wǎng)絡(luò)暫無(wú)標(biāo)準(zhǔn)，如 NCR 的 Bynet ， IBM 的 SPSwitch ，它們都采用了不同的內(nèi)部實(shí)現(xiàn)機(jī)制。但節(jié)點(diǎn)互聯(lián)網(wǎng)僅供 MPP 服務(wù)器內(nèi)部使用，對(duì)用戶而言是透明的。

　　在 MPP 系統(tǒng)中，每個(gè) SMP 節(jié)點(diǎn)也可以運(yùn)行自己的操作系統(tǒng)、數(shù)據(jù)庫(kù)等。但和 NUMA 不同的是，它不存在異地內(nèi)存訪問(wèn)的問(wèn)題。換言之，每個(gè)節(jié)點(diǎn)內(nèi)的 CPU 不能訪問(wèn)另一個(gè)節(jié)點(diǎn)的內(nèi)存。節(jié)點(diǎn)之間的信息交互是通過(guò)節(jié)點(diǎn)互聯(lián)網(wǎng)絡(luò)實(shí)現(xiàn)的，這個(gè)過(guò)程一般稱為數(shù)據(jù)重分配 （Data Redistribution） 。

　　但是 MPP 服務(wù)器需要一種復(fù)雜的機(jī)制來(lái)調(diào)度和平衡各個(gè)節(jié)點(diǎn)的負(fù)載和并行處理過(guò)程。目前一些基于 MPP 技術(shù)的服務(wù)器往往通過(guò)系統(tǒng)級(jí)軟件 （ 如數(shù)據(jù)庫(kù) ） 來(lái)屏蔽這種復(fù)雜性。舉例來(lái)說(shuō)， NCR 的 Teradata 就是基于 MPP 技術(shù)的一個(gè)關(guān)系數(shù)據(jù)庫(kù)軟件，基于此數(shù)據(jù)庫(kù)來(lái)開(kāi)發(fā)應(yīng)用時(shí)，不管后臺(tái)服務(wù)器由多少個(gè)節(jié)點(diǎn)組成，開(kāi)發(fā)人員所面對(duì)的都是同一個(gè)數(shù)據(jù)庫(kù)系統(tǒng)，而不需要考慮如何調(diào)度其中某幾個(gè)節(jié)點(diǎn)的負(fù)載。

　　MPP （Massively Parallel Processing），大規(guī)模并行處理系統(tǒng)，這樣的系統(tǒng)是由許多松耦合的處理單元組成的，要注意的是這里指的是處理單元而不是處理器。每個(gè)單元內(nèi)的CPU都有自己私有的資源，如總線，內(nèi)存，硬盤(pán)等。在每個(gè)單元內(nèi)都有操作系統(tǒng)和管理數(shù)據(jù)庫(kù)的實(shí)例復(fù)本。這種結(jié)構(gòu)最大的特點(diǎn)在于不共享資源。

　　4. 三種體系架構(gòu)之間的差異

　　4.1 SMP系統(tǒng)與MPP系統(tǒng)比較

　　既然有兩種結(jié)構(gòu)，那它們各有什么特點(diǎn)呢？采用什么結(jié)構(gòu)比較合適呢？通常情況下，MPP系統(tǒng)因?yàn)橐诓煌幚韱卧g傳送信息（請(qǐng)注意上圖），所以它的效率要比SMP要差一點(diǎn)，但是這也不是絕對(duì)的，因?yàn)镸PP系統(tǒng)不共享資源，因此對(duì)它而言，資源比SMP要多，當(dāng)需要處理的事務(wù)達(dá)到一定規(guī)模時(shí)，MPP的效率要比SMP好。這就是看通信時(shí)間占用計(jì)算時(shí)間的比例而定，如果通信時(shí)間比較多，那MPP系統(tǒng)就不占優(yōu)勢(shì)了，相反，如果通信時(shí)間比較少，那MPP系統(tǒng)可以充分發(fā)揮資源的優(yōu)勢(shì)，達(dá)到高效率。當(dāng)前使用的OTLP程序中，用戶訪問(wèn)一個(gè)中心數(shù)據(jù)庫(kù)，如果采用SMP系統(tǒng)結(jié)構(gòu)，它的效率要比采用MPP結(jié)構(gòu)要快得多。而MPP系統(tǒng)在決策支持和數(shù)據(jù)挖掘方面顯示了優(yōu)勢(shì)，可以這樣說(shuō)，如果操作相互之間沒(méi)有什么關(guān)系，處理單元之間需要進(jìn)行的通信比較少，那采用MPP系統(tǒng)就要好，相反就不合適了。

　　通過(guò)上面兩個(gè)圖我們可以看到，對(duì)于SMP來(lái)說(shuō)，制約它速度的一個(gè)關(guān)鍵因素就是那個(gè)共享的總線，因此對(duì)于DSS程序來(lái)說(shuō)，只能選擇MPP，而不能選擇SMP，當(dāng)大型程序的處理要求大于共享總線時(shí)，總線就沒(méi)有能力進(jìn)行處理了，這時(shí)SMP系統(tǒng)就不行了。當(dāng)然了，兩個(gè)結(jié)構(gòu)互有優(yōu)缺點(diǎn)，如果能夠?qū)煞N結(jié)合起來(lái)取長(zhǎng)補(bǔ)短，當(dāng)然最好了。

　　4.2 NUMA 與 MPP 的區(qū)別

　　從架構(gòu)來(lái)看， NUMA 與 MPP 具有許多相似之處：它們都由多個(gè)節(jié)點(diǎn)組成，每個(gè)節(jié)點(diǎn)都具有自己的 CPU 、內(nèi)存、 I/O ，節(jié)點(diǎn)之間都可以通過(guò)節(jié)點(diǎn)互聯(lián)機(jī)制進(jìn)行信息交互。那么它們的區(qū)別在哪里？通過(guò)分析下面 NUMA 和 MPP 服務(wù)器的內(nèi)部架構(gòu)和工作原理不難發(fā)現(xiàn)其差異所在。

　　首先是節(jié)點(diǎn)互聯(lián)機(jī)制不同， NUMA 的節(jié)點(diǎn)互聯(lián)機(jī)制是在同一個(gè)物理服務(wù)器內(nèi)部實(shí)現(xiàn)的，當(dāng)某個(gè) CPU 需要進(jìn)行遠(yuǎn)地內(nèi)存訪問(wèn)時(shí)，它必須等待，這也是 NUMA 服務(wù)器無(wú)法實(shí)現(xiàn) CPU 增加時(shí)性能線性擴(kuò)展的主要原因。而 MPP 的節(jié)點(diǎn)互聯(lián)機(jī)制是在不同的 SMP 服務(wù)器外部通過(guò) I/O 實(shí)現(xiàn)的，每個(gè)節(jié)點(diǎn)只訪問(wèn)本地內(nèi)存和存儲(chǔ)，節(jié)點(diǎn)之間的信息交互與節(jié)點(diǎn)本身的處理是并行進(jìn)行的。因此 MPP 在增加節(jié)點(diǎn)時(shí)性能基本上可以實(shí)現(xiàn)線性擴(kuò)展。

　　其次是內(nèi)存訪問(wèn)機(jī)制不同。在 NUMA 服務(wù)器內(nèi)部，任何一個(gè) CPU 可以訪問(wèn)整個(gè)系統(tǒng)的內(nèi)存，但遠(yuǎn)地訪問(wèn)的性能遠(yuǎn)遠(yuǎn)低于本地內(nèi)存訪問(wèn)，因此在開(kāi)發(fā)應(yīng)用程序時(shí)應(yīng)該盡量避免遠(yuǎn)地內(nèi)存訪問(wèn)。在 MPP 服務(wù)器中，每個(gè)節(jié)點(diǎn)只訪問(wèn)本地內(nèi)存，不存在遠(yuǎn)地內(nèi)存訪問(wèn)的問(wèn)題。

　　圖 3.MPP 服務(wù)器架構(gòu)圖

　　數(shù)據(jù)倉(cāng)庫(kù)的選擇

　　哪種服務(wù)器更加適應(yīng)數(shù)據(jù)倉(cāng)庫(kù)環(huán)境？這需要從數(shù)據(jù)倉(cāng)庫(kù)環(huán)境本身的負(fù)載特征入手。眾所周知，典型的數(shù)據(jù)倉(cāng)庫(kù)環(huán)境具有大量復(fù)雜的數(shù)據(jù)處理和綜合分析，要求系統(tǒng)具有很高的 I/O 處理能力，并且存儲(chǔ)系統(tǒng)需要提供足夠的 I/O 帶寬與之匹配。而一個(gè)典型的 OLTP 系統(tǒng)則以聯(lián)機(jī)事務(wù)處理為主，每個(gè)交易所涉及的數(shù)據(jù)不多，要求系統(tǒng)具有很高的事務(wù)處理能力，能夠在單位時(shí)間里處理盡量多的交易。顯然這兩種應(yīng)用環(huán)境的負(fù)載特征完全不同。

　　從 NUMA 架構(gòu)來(lái)看，它可以在一個(gè)物理服務(wù)器內(nèi)集成許多 CPU ，使系統(tǒng)具有較高的事務(wù)處理能力，由于遠(yuǎn)地內(nèi)存訪問(wèn)時(shí)延遠(yuǎn)長(zhǎng)于本地內(nèi)存訪問(wèn)，因此需要盡量減少不同 CPU 模塊之間的數(shù)據(jù)交互。顯然， NUMA 架構(gòu)更適用于 OLTP 事務(wù)處理環(huán)境，當(dāng)用于數(shù)據(jù)倉(cāng)庫(kù)環(huán)境時(shí)，由于大量復(fù)雜的數(shù)據(jù)處理必然導(dǎo)致大量的數(shù)據(jù)交互，將使 CPU 的利用率大大降低。

　　相對(duì)而言， MPP 服務(wù)器架構(gòu)的并行處理能力更優(yōu)越，更適合于復(fù)雜的數(shù)據(jù)綜合分析與處理環(huán)境。當(dāng)然，它需要借助于支持 MPP 技術(shù)的關(guān)系數(shù)據(jù)庫(kù)系統(tǒng)來(lái)屏蔽節(jié)點(diǎn)之間負(fù)載平衡與調(diào)度的復(fù)雜性。另外，這種并行處理能力也與節(jié)點(diǎn)互聯(lián)網(wǎng)絡(luò)有很大的關(guān)系。顯然，適應(yīng)于數(shù)據(jù)倉(cāng)庫(kù)環(huán)境的 MPP 服務(wù)器，其節(jié)點(diǎn)互聯(lián)網(wǎng)絡(luò)的 I/O 性能應(yīng)該非常突出，才能充分發(fā)揮整個(gè)系統(tǒng)的性能。

　　4.3 NUMA、MPP、SMP之間性能的區(qū)別

　　NUMA的節(jié)點(diǎn)互聯(lián)機(jī)制是在同一個(gè)物理服務(wù)器內(nèi)部實(shí)現(xiàn)的，當(dāng)某個(gè)CPU需要進(jìn)行遠(yuǎn)地內(nèi)存訪問(wèn)時(shí)，它必須等待，這也是NUMA服務(wù)器無(wú)法實(shí)現(xiàn)CPU增加時(shí)性能線性擴(kuò)展。

　　MPP的節(jié)點(diǎn)互聯(lián)機(jī)制是在不同的SMP服務(wù)器外部通過(guò)I/O實(shí)現(xiàn)的，每個(gè)節(jié)點(diǎn)只訪問(wèn)本地內(nèi)存和存儲(chǔ)，節(jié)點(diǎn)之間的信息交互與節(jié)點(diǎn)本身的處理是并行進(jìn)行的。因此MPP在增加節(jié)點(diǎn)時(shí)性能基本上可以實(shí)現(xiàn)線性擴(kuò)展。

　　SMP所有的CPU資源是共享的，因此完全實(shí)現(xiàn)線性擴(kuò)展。

　　4.4 NUMA、MPP、SMP之間擴(kuò)展的區(qū)別

　　NUMA理論上可以無(wú)限擴(kuò)展，目前技術(shù)比較成熟的能夠支持上百個(gè)CPU進(jìn)行擴(kuò)展。如HP的SUPERDOME。

　　MPP理論上也可以實(shí)現(xiàn)無(wú)限擴(kuò)展，目前技術(shù)比較成熟的能夠支持512個(gè)節(jié)點(diǎn)，數(shù)千個(gè)CPU進(jìn)行擴(kuò)展。

　　SMP擴(kuò)展能力很差，目前2個(gè)到4個(gè)CPU的利用率最好，但是IBM的BOOK技術(shù)，能夠?qū)PU擴(kuò)展到8個(gè)。

　　MPP是由多個(gè)SMP構(gòu)成，多個(gè)SMP服務(wù)器通過(guò)一定的節(jié)點(diǎn)互聯(lián)網(wǎng)絡(luò)進(jìn)行連接，協(xié)同工作，完成相同的任務(wù)。

　　4.5 MPP和SMP、NUMA應(yīng)用之間的區(qū)別

　　MPP的優(yōu)勢(shì)：

　　MPP系統(tǒng)不共享資源，因此對(duì)它而言，資源比SMP要多，當(dāng)需要處理的事務(wù)達(dá)到一定規(guī)模時(shí)，MPP的效率要比SMP好。由于MPP系統(tǒng)因?yàn)橐诓煌幚韱卧g傳送信息，在通訊時(shí)間少的時(shí)候，那MPP系統(tǒng)可以充分發(fā)揮資源的優(yōu)勢(shì)，達(dá)到高效率。也就是說(shuō)：操作相互之間沒(méi)有什么關(guān)系，處理單元之間需要進(jìn)行的通信比較少，那采用MPP系統(tǒng)就要好。因此，MPP系統(tǒng)在決策支持和數(shù)據(jù)挖掘方面顯示了優(yōu)勢(shì)。

　　SMP的優(yōu)勢(shì)：

　　MPP系統(tǒng)因?yàn)橐诓煌幚韱卧g傳送信息，所以它的效率要比SMP要差一點(diǎn)。在通訊時(shí)間多的時(shí)候，那MPP系統(tǒng)可以充分發(fā)揮資源的優(yōu)勢(shì)。因此當(dāng)前使用的OTLP程序中，用戶訪問(wèn)一個(gè)中心數(shù)據(jù)庫(kù)，如果采用SMP系統(tǒng)結(jié)構(gòu)，它的效率要比采用MPP結(jié)構(gòu)要快得多。

　　NUMA架構(gòu)的優(yōu)勢(shì)：

　　NUMA架構(gòu)來(lái)看，它可以在一個(gè)物理服務(wù)器內(nèi)集成許多CPU，使系統(tǒng)具有較高的事務(wù)處理能力，由于遠(yuǎn)地內(nèi)存訪問(wèn)時(shí)延遠(yuǎn)長(zhǎng)于本地內(nèi)存訪問(wèn)，因此需要盡量減少不同CPU模塊之間的數(shù)據(jù)交互。顯然，NUMA架構(gòu)更適用于OLTP事務(wù)處理環(huán)境，當(dāng)用于數(shù)據(jù)倉(cāng)庫(kù)環(huán)境時(shí)，由于大量復(fù)雜的數(shù)據(jù)處理必然導(dǎo)致大量的數(shù)據(jù)交互，將使CPU的利用率大大降低。