這篇文章探討ARM架構和總線協(xié)議如何來支持的。對于某款ARM處理器和總線CCI，CCN和CMN產(chǎn)品的具體實現(xiàn)，屬于實現(xiàn)層面的微架構，一般需要NDA，這里不予討論。

順便提一下，在ARMv8 架構下對應的是LDXR (load exclusive register 和STXR （store exclusiveregister）及其變種指令，另外，在ARMv8.1架構中引入atomic instruction, 例如LDADD （Atomic add），CAS（Compare and Swap）等。

Exclusive monitor

首先，作為一個愛問為什么的工程師，一定會想到LDXR/ STXR和一般的LDR/STR有什么區(qū)別。這個區(qū)別就在于LDXR除了向memory發(fā)起load請求外，還會記錄該memory所在地址的狀態(tài)（一般ARM處理器在同一個cache line大小，也就是64 byte的地址范圍內(nèi)共用一個狀態(tài)），那就是Open和Exclusive。

我們可以認為一個叫做exclusive monitor的模塊來記錄。根據(jù)CPU訪問內(nèi)存地址的屬性（在頁表里面定義），這個組件可能在處理器 L1 memory system, 處理器cluster level, 或者總線，DDR controller上。

下面是Arm ARM架構 [1] 文檔定義的狀態(tài)轉(zhuǎn)換圖

實例說明：

1)CPU1發(fā)起了一個LDXR的讀操作，記錄當前的狀態(tài)為Exclusive

2)CPU2發(fā)起了一個LDXR的讀操作，當前的狀態(tài)為Exclusive，保持不變

3)CPU2發(fā)起了一個STXR的寫操作，狀態(tài)從Exclusive變成Open，同時數(shù)據(jù)回寫到DDR

4)CPU1發(fā)起了一個STXR的寫操作，因為當前的exclusive monitor狀態(tài)為Open，寫失敗（假如程序這時用STR操作來寫，寫會成功，但是這個不是原子操作函數(shù)的本意，屬于編程錯誤）

假如有多個CPU，同時對一個處于Exclusive的memory region來進行寫，CPU有內(nèi)部邏輯來保證串行化。

Monitor的狀態(tài)除了STXR會清掉，從Exclusive變成Open之外，還有其他因素也可以導致monitor的狀態(tài)被清掉，所以軟件在實現(xiàn)spinlock的時候，一般會用一個loop循環(huán)來實現(xiàn)，所謂“spin”。

Exclusive monitor實現(xiàn)所處的位置

根據(jù)LDXR/STXR 訪問的memory的屬性，需要的monitor可以在CPU內(nèi)部，總線，也可以DDR controller(例如ARM DMC-400 [2]在每個memory interface 支持8個 exclusive access monitors）。

一般Memory屬性配置為 normal cacheable， shareable，這種情形下，CPU發(fā)起的exclusive access會終結在CPU cluster內(nèi)部，對外的表現(xiàn)，比如cacheline fill和line eviction和正常的讀寫操作產(chǎn)生的外部行為是一樣的。具體實現(xiàn)上，需要結合local monitor的狀態(tài)管理和cache coherency 的處理邏輯，比如MESI/MOESI的cacheline的狀態(tài)管理來。

為方便大家理解，下面劃出一個monitor在一個假象SOC里面的邏輯圖（在一個真實芯片里面，不是所有monitor都會實現(xiàn)，需要和SOC vendor確認）

External exclusive monitor

對于normal non-cacheable，或者Device類型的memory屬性的memory地址，cpu會發(fā)出exclusive access的AXI 訪問（AxLOCK signals ）到總線上去，總線需要有對應的External exclusive monitor支持，否則會返回錯誤。例如， 假如某個SOC不支持外部global exclusivemonitor，軟件把MMU disabled的情況下，啟動SMP Linux，系統(tǒng)是沒法啟動起來的，在spinlock處會掛掉。

AMBA AXI/ACE 規(guī)范

The exclusive access mechanism can provide semaphore-type operations without requiring the bus to remain dedicated to a particular master for the duration of the operation. This means the semaphore-type operations do not impact either the bus access latency or the maximum achievable bandwidth.

The AxLOCK signals select exclusive access, and the RRESP and BRESP signals indicate the success or failure of the exclusive access read or write respectively.

The slave requires additional logic to support exclusive access. The AXI protocol provides a mechanism to indicate when a master attempts an exclusive access to a slave that does not support it.

Atomic指令的支持

處理器，支持cache coherency協(xié)議的總線，或者DDR controller可以增加了一些簡單的運算，比如，在讀寫指令產(chǎn)生的memory訪問的過程中一并把簡單的運算給做了。

AMBA 5 [3] 里面增加了對Atomic transactions的支持：

AMBA 5 introduces Atomic transactions, which perform more than just a single access, and have some form of operation that is associated with the transaction.

Atomic transactions are suited to situations where the data is located a significant distance from the agent that must perform the operation. Previously, performing an operation that is atomically required pulling the data towards the agent, performing the operation, and then pushing the result back.

Atomic transactions enable sending the operation to the data, permitting the operation to be performed closer to where the data is located.

The key advantage of this approach is that it reduces the amount of time during which the data must be made inaccessible to other agents in the system.

支持4種Atomic transaction：AtomicStore ，AtomicLoad，AtomicSwap 和AtomicCompare

QA

1) Local monitor和Global monitor的使用場景

* Local monitor適用于訪問的memory屬為normal cacheable， shareable或者non-shareable的情況.

* Global monitor ,準確來說，external global exclusive monitor （處理器之外，在外部總線上）用于normal noncacheable或者device memory類型。比如可以用于一個Cortex-A處理器和一個Cortex-M 處理器（沒有內(nèi)部cache）之間的同步。

2）多CPU下，多個LDREX，和STREX的排他性實現(xiàn)

* 各個處理器和總線的實現(xiàn)不同，可以從軟件上理解為和data coherency實現(xiàn)相結合，比如M(O)ESI協(xié)議[5],這是一種Invalidate-basedcache coherence protocol, 其中的key point就是當多個CPU在讀同一個cacheline的時候，在每個CPU的內(nèi)部cache里面都有cacheline allocation， cacheline的狀態(tài)會變成Shared；但是當某個CPU做寫的時候，會把其它CPU里面的cacheline數(shù)據(jù)給invalidate掉，然后寫自己的cacheline數(shù)據(jù)，同時設置為Modified狀態(tài)，從而保證了數(shù)據(jù)的一致性。

* LDREX，本質(zhì)上是一個LDR，CPU1做cache linefill，然后設置該line為E狀態(tài)（Exclusive），額外的一個作用是設置exclusive monitor的狀態(tài)為Exclusive；其他cpu做LDREX，該line也會分配到它的內(nèi)部cache里面，狀態(tài)都設置為Shared ，也會設置本CPU的monitor的狀態(tài)。當一個CPU 做STREX時候，這個Write操作會把其它CPU里面的cacheline數(shù)據(jù)給invalidate掉。同時也把monitor的狀態(tài)清掉，從Exclusive變成Open的狀態(tài)，這個MESI協(xié)議導致cachline的狀態(tài)在多CPU的變化，是執(zhí)行Write操作一次性改變的。這樣在保證數(shù)據(jù)一致性的同時，也保證了montitor的狀態(tài)更新同步改變。

3）比如舉一個多核的場景，一個核ldrex了，如果本核的local monitor會發(fā)生什么，外部的global monitor發(fā)生什么，開不開mmu，cache不cache，區(qū)別和影響是什么。

Ldrex/strex本來就是針對多核的場景來設計的，local monitor的狀態(tài)發(fā)生改變，不會影響外部的global monitor狀態(tài)。但是external global monitor的狀態(tài)發(fā)生改變，可以告訴處理器，把local monitor的狀態(tài)清掉。

Data coherency是通過硬件來支持的。對于normal cacheable類型的memory， MMU和DCache必須使能，否則CPU會把exclusive類型的數(shù)據(jù)請求發(fā)出處理器，這時需要外部monitor的支持。