由MIT媒體實驗室領銜，哈佛、耶魯、馬普所等院所和微軟、谷歌、臉書等公司的多位研究者參與的課題組，近日在 Nature 發表了一篇以 “Machine behaviour” 為題的綜述文章，宣告 “機器行為學” 這門跨越多個研究領域的新興學科正式誕生。

人工智能正在成為人類社會的重要組成部分，大量人機倫理問題正在被提出和解決，科學家們正在像研究人類和動物行為那樣，深入研究機器和機器群體的宏觀行為規律。

由麻省理工學院媒體實驗室研究人員領銜，哈佛、耶魯、馬普所等院所和微軟、谷歌、臉書等公司的多位研究者參與的課題組，近日在 Nature 發表了一篇以 “Machine behaviour” 為題的綜述文章，宣告 “機器行為學” 這門跨越多個研究領域的新興學科正式誕生。本文約 12000 字。

目錄

一、 研究機器行為的動機

二、 機器行為學的跨學科研究

三、 研究對象與研究問題

四、 三種研究范圍：個體、群集與人機交互

五、 展望：機器行為學將如何發展？

由人工智能驅動的機器正不斷塑造著我們與媒體、社會、文化、經濟、政治的互動。了解人工智能系統的行為是應用時揚長避短的基礎，因此有必要把機器行為學（Machine behaviour）的研究范圍從計算機學科擴大，融合各個學科的見解。本文首先總覽了一系列關于機器行為學這個新興學科的基礎問題，隨后探索了在這個學科上技術、法律和制度帶來的研究限制。

諾貝爾獎得主 Herbert Simon 在 1969 年發表了一本人工智能發展史上里程碑式的著作 ——《人工科學》（ The Sciences of the Artificial），其中他寫到：“自然科學是關于自然物體與現象的知識。我們想知道是不是有一種‘人工’科學，研究人造物和它們的現象。”

人工智能先驅 Herbert Simon 及其著作 The Sciences of the Artificial

和 Simon 的思想一致，我們這樣描述一個新興的交叉學科：這個學科研究智能機器，但是并不是從工程機器的角度去理解它們，而是將其視為一系列有自己行為模式及生態反應的個體。

這個領域與計算機和機器人學科有關聯性，但是又相互獨立。從經驗的角度去解釋智能機器的行為，類似于結合了生命內部特質（生理和生化特質）與外部環境塑造的特質（生態與進化）的行為生態學和動物行為學研究。要想完整研究動物的行為和人類的行為，周圍的環境背景必須也被考慮進去。相似的，要想完全了解機器的行為，我們也得考慮算法以及算法所在的社會環境。

現在，研究這些虛擬的或者嵌入式的人工智能體（artificial intelligence (AI) agents）的行為的科學家基本上是那批創造它們的人本身。當科學家創造這些智能體來解決他們的問題時，他們通常會致力于保證這些算法能滿足他們需要的功能。

從始至終，我們用人工智能體（AI agents）這個術語來描述用于決策或繁或簡的算法。

例如，在分類、面部識別、視覺識別領域的智能體，應當滿足一個標準的精度要求。自動駕駛車應當在一系列設定的天氣情況下都能成功導航。玩游戲的智能體應當能夠擊敗一系列設定的人類和機器對手。數據挖掘智能體應當能夠了解應該在推廣競選和社交媒體中該鎖定哪幾個目標。這些例子只是相關領域的一小部分。

這些人工智能體正在各個方面擴展人類的福利，但是現在關于人工智能體行為的更廣泛的考慮讓問題多出幾分批判性的思考。

人工智能將會越來越多的融入我們的社會中。它們已經被應用在諸如信用評估、算法交易、地方治安、假釋決定、自動駕駛、在線約會、無人機戰爭中了。認知系統工程、人機交互、人類因素、科學、技術、社會、安全工程等不同領域來的學者和思想家探討人工智能體那些超出創造者預期的，既包括正面也包括負面的預測行為及后續后果，為我們敲響了警鐘。

除了缺乏圍繞 AI 可能帶來影響的預期，結合不斷增加的機器替代原本直接由人類承擔的工作的現狀，因缺乏人類監管而造成的潛在危害是另一個令專家們懼怕的事情。同時，研究者也稱人工智能體可以通過幫助和增強人類決策能力的方式擴大社會福利。雖然關于這些事情的討論導致在不同的領域產生了新見解，在自治系統（autonomous systems）等上仍有很多安全性方面的挑戰，比如公平性、義務、透明性等方面。

ACM 公平、義務與透明性專題會議：

https://fatconference.org/

這篇綜述將介紹這一新興交叉學科：機器行為學（Machine behaviour），主要研究智能機器所表現出的行為。

在這里，我們給出關鍵研究主題、問題和里程碑研究的大綱作為此門學科的例證。我們首先給出了機器行為學和這門學科必然具有的交叉學科特質，然后我們提供了研究這門學科的概念化框架。我們用加大機器與人 - 機生態學科研究的呼吁與學科的技術、法律、機構上的研究障礙的討論來結束這篇綜述。

機器行為學來自多個學科的交叉、融合

一、 研究機器行為學的動機

機器行為學的研究動機有三：

首先，很多在我們的生活中被運行的算法正起到越來越重要的角色；

其次，因為不光是這些算法，還有算法運行的環境的復雜特質，光依靠分析手段是很難了解它們的行為的；

另外，智能算法的廣泛存在和復雜性給預測算法對人類潛在的或正或負的影響帶來了挑戰。

無處不在的算法

如今，多種多樣算法正在社會中前所未有得的廣泛應用；新聞排名算法和社交媒體機器人影響人民所聽所看的信息。信評分算法會影響銀行貸決策。在線定價算法給不同的用戶定價，算法交易軟件使得交易變得迅速。算法塑造了警務調度的派遣和空間格局，算法審判會影響刑事系統中犯人的服刑時間。自動駕駛車穿越我們的城市，共享交通算法會改變傳統車輛的行駛模式。機器繪制家中的地圖，對口頭命令做出反應，執行常規的家務。

在線約會服務中，算法負責促成浪漫的相會。機器有可能更多得替代人類承擔起照顧老人和小孩的工作。自治體正影響著我們的集體行為（collective behaviours），從群體層面的配合行為到共享行為。延伸一下，雖然發展自動武器是高度限制的，但不是所有人都不都這么想，如果這類武器被發明了，機器將在戰爭中決定人的生死。

在線約會服務中，算法匹配人的連接

算法的復雜性和不透明性

即便個別算法是相對簡單的，研究像人工智能系統這樣多樣且廣泛的對象的行為是件難以想象的困難事情。

輸出難以解釋

目前，單個人工智能體的復雜性已經很高，并且在持續增長，雖然構架它們的代碼和訓練模型用的訓練可以簡潔，但是訓練后的模型就完全不會有這么簡單了，這經常導致 “黑箱（black boxes）” 的產生。人工智能體接受輸入，然后輸出，但是即便在 “可解釋性（interpretability）” 上的一些應用場景已經有了進展的現狀下，人工智能體實際產生這些輸出的過程是架構它們的科學家自己也難解釋的。

數據集的收集與版權限制

此外，當系統從數據中學習，它們的失敗通常被歸結為數據本身或者數據收集上的謬誤，導致一些關于改進數據收集機制的討論。數據集的維度和數據量這一層面也增加了我們理解人工智能的難度。

更進一步使得這個問題棘手的現實是，很多在社會中使用頻率最高的源代碼、模型、數據集實際上是有版權的。為智慧資產而存在的工業保密政策和法律保護著這些源代碼和模型。在很多場景下，公眾只能觀察到 AI 系統的輸入和輸出。

就算這些代碼和模型對我們開源，我們也不太可能就由此能準確預測出這些模型的輸出。人工智能體在和周圍環境與其他智能單元相互作用的時候可以表現得很 “特立獨行”。即便形成它的數學函數是存在解析解的，那這個解析解也會因為冗長復雜的結構而難解其意。

原論文圖 1

算法于人類的利弊

無處不在的，日益復雜的算法，它們放大了人類估計和預測它們對個人和社會影響的難度。人工智能體正以意料之中和之外的方式塑造人類的行為和社會結果。

造福還是“造亂”？這是個問題

如一些人工智能體被設計用來幫助孩子們，或是幫助老年人安全移動來造福人類。然而，如果這種用來造福人類的力量在” 意料之外的情況下 “偏離了初衷，就會出現類似孩子們被植入廣告買特定產品，老年人被固定只能選擇特定的電視節目等類似的情況。

此類算法對個體的正負面影響可以擴大到社會層面，這種危機感一直縈繞在我們心頭。舉個例子，不小心傳播給一小部分人的政治誤報可能在整個社會層面上掀不起什么風浪，但是，這些信息在社交媒體上的植入和擴張則會產生更惡劣的社會后果。更進一步說，關于算法公平性或偏見性問題已經在很多場景，例如計算機視覺、詞嵌入、廣告、監管、刑事審判和社會服務中存在了。

在不斷復雜化的人 - 機混合系統的背景下，人類只能自負盈虧

為了應對這些問題，從業者有時候被迫做出各種偏見之間的取舍，或者，人類和機器之間的取舍。更多關于算法效果的問題仍然存在，例如網戀算法會如何影響婚姻制度，或者人類和智能算法之間的相互作用是否會系統性的影響人類發展的進程。這些問題在不斷復雜化的人類 - 機器混合系統的背景下變得越發難解。為了社會能夠監管 AI 可能造成的后續后果，機器行為學家必須提供見解來幫我們理解社會中無處不在的這些系統如何工作，以及代價如何取舍。

人 - 機混合系統趨于復雜，算法設計需要機器行為學的指導

二、 機器行為學的跨學科研究

為了研究機器在現實環境中的行為，特別是 “黑箱” 算法的行為，我們必須整合跨越其他學科的知識和見解。這種整合現在正處于一種不成熟的階段，現在很多在一種特定方式研究。

原論文圖 2

跨學科研究，使算法性能最大化

最近，研究機器行為學的科學家們大多是最初設計這些機器的計算機科學家，機器人學家和工程師。這些科學家可以是熟練的數學家和工程師，但是他們基本上沒有行為學上的訓練。他們很少接觸實驗方面的方法論，基于群體的抽樣訓練，或者基于觀察的因果推理，更不用說神經科學、集體行為學或者社會理論了。

相反的，即使行為學家更多的在這些方面有建樹，但是他們很少掌握對于衡量某個領域中人工智能質量和正當性，或者特定算法所必要的專業知識。

整合從各行各業來的科學家不是一件容易的事情。到目前為止，那些創建人工智能系統的人的主要關注點一直是構建、實現和優化智能系統，以執行特定的任務。

在很多基準任務上，智能體取得了出色的進展，比如棋盤游戲中的西洋棋、國際象棋、圍棋，紙牌游戲比如 poker，電子游戲比如雅達利平臺上的（美國游戲制造商），人工智能市場游戲，機器人足球，當然還有基準評價用數據比如 ImageNet 上用于物體識別的數據和 Microsoft Common Objects in Context 為圖像標注的數據庫。在語音識別，翻譯和自動駕駛車等方面的成就也存在。

AlphaGo 及其后續改進版接連戰勝頂尖棋手，被認為是人工智能算法性能提升的里程碑事件

這些測試基準可以作為一些標準化了的任務評價標準，也能用來提升性能，這是用一個代理式的評價標準來幫助 AI 設計者去設計更快、更穩健的算法。

機器行為學推崇的評價指標

但是，希望算法性能最大化的方法對于人工智能體的研究來講并不是最佳的。比起利用基準數據集做評價算法性能上的優化，機器行為學家對一系列指標更感興趣。

這就像是社會學家的探索 —— 在社會，政治背景下探索人類行為；定義宏觀或微觀社會結果的評價來回答例如算法在不同的環境下如何行動，人類和算法的互動會不會影響社會結果之類的問題。

隨機實驗、觀察推斷和基于群體的統計學描述方法是經常性用在定量行為學研究中的，對于機器行為學來講極其重要。從制造智能機器的學科延伸整合其他學科的學者可以提供重要方法性工具、研究工具、多種可選的概念性框架，和人工智能體對經濟、社會和政治可能造成影響。

三、 研究問題和研究對象

因創立了動物行為學而獲得諾貝爾生理或醫學獎的 Nikolaas Tinbergen 指出了四個維度上的行為學分析，幫助解釋了動物行為。這些維度討論一個行為的功能、原理、發展與進化史，提供了一個有組織的框架來研究動物和人類的行為。

這個概念化的框架把年輕動物或人類某項行為的發展和群體中這個行為的進化軌跡分開進行研究。這種區分的目的不是為了更好理解我們研究對象的全部。例如，雖然我們通過鳥學習鳴叫或者通過鳥叫的進化都可以來解釋一個鳥歌聲為什么形成，但是要完全了解鳥叫的全貌，兩方面我們都要考慮。

雖然機器和動物有著物理本質上的區別，對智慧機器行為研究可以從動物行為的研究上得到幫助。機器有產生行為的內在機制，這些行為在和環境的互動獲得信息，得到發展。產生了功能，導致特定的機器變得或多或少出現在它們所對應的環境中，并且它們貫穿過去環境的進化史和人類的決策正不斷影響著機器的行為。

計算機科學的學者在研究 AI 系統的機理和發展方面已經取得了潛在的收益，即便很多問題仍然存在。AI 系統的功能和進化相對較少受到重視。我們將在討論這四個主題，并提供圖 3 作總結。

原論文圖 3：計算機科學的學者在研究 AI 系統的機理和發展方面已經取得了潛在的收益，即便很多問題仍然存在。AI 系統的功能和進化相對較少受到重視。

行為產生的機理

機器行為的最主要的成因應與它的激發條件和它產生的環境有關。例如早期的算法交易軟件用簡單的規則來激發買賣行為。更復雜的人工智能體可能依賴適應性啟發算法或者在特定用途中明確的優化方式。玩紙牌的強化學習算法的行為可以歸因于它表示狀態空間或者計算游戲樹特定的方式。

機制由算法和環境共同決定，更復雜的人工智能體例如無人駕駛汽車可能表現出特定的駕駛行為。比如變道、超車、對行人發出信號。這些行為會依據構建起駕駛政策的算法而產生，并且也會從根本上被車的本身的感知和行動系統所改造。包括汽車識別物體的精度和分辨率，分類系統，駕駛的反應能力和精度。

因為很多現有的 AI 系統源于使用日益復雜的數據的機器學習手段，研究機器行為背后的機制，如上文所述，將需要繼續研究機器學習的可解釋性方法。

深度學習至今仍是未被打開的黑箱

行為的發展

在動物行為的研究中，發育指的是個體如何獲得特定行為，比如通過模仿或者由于環境條件導致。這區別于長期的、進化性的變化。

在機器的背景下，我們想問的是：機器是如何決定個體或者集群的行為的？行為的發展可以直接由于人類工程工作或設計。編程者做出的架構上設計決策（比如學習率參數的值，知識和狀態的獲取，或卷積神經網絡的特定連接方式）確定或影響算法會表現出的行為。

機器可能因工程師將其置于特定的訓練環境下而塑造特定行為。例如，很多圖像和文檔分類算法用人手工標記過的數據庫作為訓練數據來提升算法精度。數據庫的選取和它們所包含的特征可以潛在影響這些算法的行為。

最后，機器可能會在自己的經驗中習得某些行為。例如，一個被訓練來優化長期利潤的強化學習人工智能體可以因為過去自己的一些行動和市場隨后的反饋學到特定的，短線交易策略。同樣，商品推薦算法可以根據用戶無盡的選擇來推薦產品，也能實時更新。

功能與適應

在動物行為學的研究中，適應值（adaptive value）描述了一個行為能多大程度貢獻一個個體生存和留下后代的能力。例如，一個特別的狩獵行為可以或多或少增加狩獵成功度，那么這個行為就可以延長這個生物的生命長度和子代數量，然后它的子代也可能繼承它的這種功能。

對功能的關注能幫助我們理解為什么一些行為的機制就能發揚光大，但是另外一些隨著時間推進漸漸衰弱并消失。功能之所以存在，強烈依賴于行為本身適應環境。

在機器的的例子里，我們可以討論這種行為如何為特定的利益相關群體提供服務。人類環境創造了選擇壓力，這可能使一些有適應性的智能體變得普遍。成功的（提高適應性）行為獲得增值的機會，如被其他類型的軟件或者硬件復制走，或者它們本身自己就可以增殖。

這背后的根本推動力是一些使用和構架人工智能的機構的成功，如企業、醫院、政府和大學。最明顯的例子是算法交易，在算法交易中，成功的自動交易策略可以在開發人員從一家公司跳槽到另一家公司時被復制，也可以簡單講，被競爭對手觀察和反向架構。

這種動力，可以產生出人意料的效果。例如，像最大化社交媒體網站參與度的這樣的目標可能會導致信息繭房（filter bubbles），它可能會加劇政治兩極分化，又或者在缺少監管的條件下，可能會助長假新聞的擴散。

過度使用社交媒體會讓我們陷入信息繭房

但是，那些沒有針對用戶參與進行優化的網站也許會比做了這方面工作的網站冷清，或者可能完全停止運營。 同樣，在沒有外部監管的情況下，不優先考慮自己攜帶乘客安全的自動駕駛汽車對消費者的吸引力可能較小，導致銷量降低。

有時機器的某些行為背后的功能是為了應對其他機器的行為。 對抗性攻擊，用假輸入信息愚弄 AI 系統產生一個不需要的輸出。在 AI 系統和被設計用來抵抗這些潛在攻擊的反饋中，這些攻擊會導致復雜的捕食者 - 食物動力學。這個過程很難僅依賴單獨研究機器本身而被理解。

這些例子強調了外部組織機構和經濟力量所能產生的直接且大量對于機器行為的刺激。

理解這些外界刺激和 AI 之間的互動對我們研究機器行為是有關的。反過來，外界的這些市場動態又會與其他過程相互作用，讓機器和算法產生進化。

進化

在研究動物行為的過程中系統發生學描述了一個行為是怎么進化的。在現有功能的基礎上，行為是被過去的選擇壓力所影響的，進化的機制。

早期進化機制影響深遠

例如人類手是由硬骨魚的魚鰭所進化而來的。它現如今的功能已經不是為游泳而存在的了，但是它的內部結構能解釋發生在它身上的進化史。非選擇壓力的作用，比如種群的遷移或者遺傳漂變也很重要，它們能解釋各種不同形式行為之間的關系。

在機器的情況下，進化歷史也可以產生路徑依賴（path dependence），解釋其他令人費解的行為。在進化的每一階段中，算法從各個角度在在新的環境中被重新使用，它可以成為未來可能行為的局限，又使得在這個基礎上的其他創新成為可能。

例如，微處理器設計的早期設計繼續影響現代計算機，并且算法設計中的傳統，例如神經網絡和貝葉斯狀態空間模型，構建了許多假設并通過使一些新的算法相對更容易使用來指導未來的算法革新。

因此，某些算法可能會關注某些功能而忽略其他功能，因為這些功能在早期某些程序的成功中至關重要。

計算機一直在持續進化

機器進化的特殊性

一些機器行為可能會廣泛傳播，因為它是 “可進化的” —— 容易修改并且相對擾動信息很穩健，類似于動物的某些特征可能是廣泛存在于各種動物中的，因為這些特征促進了多樣性和穩定性。

機器行為的進化與動物行為的進化不同，大多數動物的遺傳是簡單的，兩個雙親一次性決定子代。算法要靈活得多，而且它們背后通常有一個帶著目的設計者。

人類環境通過改變算法的繼承體系，強烈地影響著算法的進化過程。AI 復制行為可能被開源軟件、網絡架構的細節和潛在的訓練數據集所促進。

例如，為無人駕駛汽車開發軟件的公司可能會共享用于目標檢測或路徑規劃，增強后的開源數據庫，以及作為這些算法的訓練數據集，目的是使增強安全性的軟件能夠在整個行業推廣。

通過軟件更新，一輛特定的無人駕駛汽車行為中的一個適應性的 “突變” 就有可能立刻傳播到數百萬其他汽車上。然而，其他機構也會做出限制。例如，軟件專利可能會對特定機器行為的復制加以限制。法規限制，比如隱私保護法，可能會阻止機器在決策過程中訪問、保存或以其他方式使用隱私相關的信息。這些案例說明機器可能呈現出非常不同的進化軌跡，因為它們不在有機體進化那一套機理的約束之下。

四、 三種研究范圍：個體、群集與人機交互

通過上文和圖 3 中所概述的框架，我們現在在三個調查范圍內對機器行為的示例進行編目：個體機器、集群、和嵌入處在混合或異構系統的人類社交環境中的機器群組（ 圖 4）。

原論文圖 4

個體機器行為強調算法本身的研究，集體機器行為強調研究機器之間的相互作用，混合人機行為強調研究機器與人類之間的相互作用。 在這里，我們可以類推為對特定物種的研究，研究物種成員之間的相互作用以及物種與更寬泛環境之間的相互作用。 上述三種分析可以解決圖 3 中描述的幾乎所有問題。

個體機器行為

對個體機器行為的研究主要集中在特定的智能機器上。這些研究通常側重于個體機器固有的屬性，并且由其源代碼或設計驅動。機器學習和軟件工程領域目前主要進行這些研究。

研究個體機器行為有兩種通用方法：

第一個側重于使用機器內（within-machine behaviour）方法分析任一特定機器的行為集，比較特定機器在不同條件下的行為。

第二種是機器間方法（between-machine approach），比較各種機器在相同條件下的不同行為。

個體機器行為的機器內方法研究了諸如是否存在可以表征任一 AI 在各種環境中的機器內行為的常數，某一 AI 的行為如何隨著時間的推移而不斷發展，環境因素如何影響機器對特定行為的表征等問題。

例如，如果訓練特定的底層數據（圖 3），算法可能僅表現出某些特定的行為。然后問題在于，當使用與訓練數據有顯著不同的評估數據時，在模擬決策中對累積概率進行評分的算法是否會出現出乎意料的表征。其他與機內行為特征相關的研究包括對個體機器人恢復行為的研究，算法的 “認知” 屬性以及心理學技術在算法行為研究中的應用，以及對機器人特定特征的檢查 —— 例如那些旨在影響人類用戶的特征。

研究單個機器行為的第二種方法探究相同行為在不同機器之間的表現差異。例如，那些對檢查智能代理的廣告行為感興趣的人可以調查各種廣告平臺（及其底層算法），并跨平臺進行實驗的，以檢查同一組廣告輸入的機器間效應。相同的方法可用于對跨平臺的動態定價算法的研究。其他機器間的研究可能會探討自動駕駛車輛在超車模式中使用的不同行為，或者搜索和救援無人機所展示的各種搜尋行為。

群集機器行為

相比于對單個機器行為的研究，集體機器行為的研究側重于機器集群的交互和系統范圍的行為。在某些情況下，在考慮集體層面之前，個別機器行為的含義可能沒什么意義。

歐椋鳥的集群行為

機器群集研究大有用處

對這些系統的一些調查受到了自然界中集群現象的啟發，例如成群的昆蟲，或以遷徙的魚鳥為例的移動群體。例如，我們已經知道的動物群體表現出復雜環境特征的緊急感知和有效的共識決策。

在這兩種情況下，群體都表現出對環境的認識，這在個體層面是不存在的。諸如多智能體系統和計算博弈理論等領域提供了研究這一領域機器行為的有用例子。

使用簡單算法進行機器人之間的本地交互的機器人一旦聚合成大型集體，就會產生有趣的行為。例如，學者們已經研究了微型機器人的群體特性，這些特性結合成類似于生物制劑系統中發現的群體聚合現象。其他示例包括實驗室（在生命游戲中）以及在真實場景中（如維基百科詞條機器人中所見）的算法的集體行為；又如在通信智能機器之間出現的新算法語言，以及完全自主運輸系統的動態特性。該領域的許多有趣問題仍有待研究。

關于集體動物行為和集體機器行為的絕大多數工作都集中在簡單智能體之間的交互是如何能夠創建更高階的結構和屬性的。盡管這也很重要，但卻忽略了這樣一個事實：許多生物體，以及越來越多的 AI 智能體，都是具有可能無法簡單地表征的行為或相互作用的復雜實體。

揭示當相互作用的實體能夠進行復雜的認知時出現的額外屬性仍然是生物科學中的關鍵挑戰，并且可能與機器行為的研究具有直接的相似性。例如，類似于動物，機器可能表現出 “社交學習”。這種社會學習不需要局限于機器向機器學習，我們也期望機器向人類學習，反之亦然，人類可以從機器的行為中學習。引入的反饋過程可能從根本上改變知識的積累方式，包括跨代，直接地影響人類和機器的 “文化”。

機器群集的獨特性為，以金融交易為例

此外，人工 AI 系統不一定面臨與生物相同的限制，機器的集群提供了全新的能力，例如即時性全球通信，就能夠帶來全新的集體行為模式。相關研究調研了機器集群的特性以及可能從這些復雜的相互作用系統中產生的出人意料的特性。

例如，在金融交易環境中已經觀察到一些非常有趣的算法集體行為。這些環境在很小的時間尺度上運行，因此算法交易者可以在任何人類交易者之前對事件和其他算法交易者做出效應。

在某些條件下，高頻能力交易會導致金融市場效率低下。除了前所未有的響應速度之外，機器學習的廣泛使用，自主操作和大規模部署的能力都是促使我們相信機器集群的交易行為本質上與人類交易者不同的原因。

此外，這些金融算法和交易系統必須在某些歷史數據集上進行訓練，并對有限的各類預見情景作出反應，從而導致了難以對設計中新出現和無法預見的情況作出反應的問題。 閃電崩盤是（交互）算法無意識后果的典型例子，引出算法的相互作用是否會產生更大的市場危機這一問題。

混合人機行為

人類越來越多地與機器互動。機器調節我們的社交互動，塑造我們所看到在線信息，并與我們建立足以改變我們社會系統的關系。由于它們的復雜性，這些混合人機系統構成了機器行為中技術上最困難但同時也是最重要的研究領域之一。

機器塑造人類行為

機器行為研究中最明顯但至關重要的領域之一，是將智能機器引入社會系統的方式可以改變人類的信仰和行為。

在向工業流程引入自動化，智能機器可以在改善現有問題的過程中產生新的社會問題。在此過程中出現了許多問題，例如用于在線約會的匹配算法是否會改變約會過程的分布結果，或者新聞過濾算法是否會改變公眾意見的分布。

研究算法中的小錯誤或使用的數據是否會累積而產生社會性影響，以及我們學校，醫院和護理中心的智能機器人如何改變人類發展、生活質量或潛在地影響殘疾人士的生活，至關重要。該領域的其他問題涉及到機器用更基本的方式改變社交結構的可能性。

例如，政府可以在多大程度上以何種方式使用機器智能來改變民主的性質，政治責任和透明度，或公民參與度。其他問題還包括智能機器在多大程度上影響警務，監視和戰爭，以及機器人對選舉結果的影響有多大以及有助于人類社會關系的人工智能系統能否實現集體行動。

值得注意的是，該領域的研究還研究了人類如何將機器用作決策輔助工具，人類對使用算法的偏好和厭惡，以及人類機器產生或減少人類不適的程度。這方面的一個重要問題還有人類如何應對隨著智能機器增加經濟產品和服務的聯合生產。了解如何通過將智能機器引入我們的生活中來改變人類系統是機器行為研究的重要組成部分。

人類塑造機器行為

智能機器可以改變人類行為，人類也可以創造，影響和塑造智能機器的行為。我們通過直接操作 AI 系統以及通過對這些系統進行主動訓練和根據人類行為日常產生的數據的被動觀察來塑造機器行為。

選擇使用哪種算法，為這些算法提供什么反饋以及在什么樣的數據對它們進行訓練目前也是人類的決策，而這可以直接改變機器行為。

研究機器行為的一個重要組成部分是理解這些工程過程將如何改變 AI 的最終行為，無論訓練數據是否導致機器的特定行為，是算法本身還是算法和數據的組合。圖 3 中概述的框架表明，以上的每個問題都有補充答案。探討如何改變工過程的參數可以改變智能機器的后續行為，因為它們和其他機器及人類的交互是從整體上理解機器行為的核心。

人機協作行為

盡管將研究分成人類塑造機器的方式會更方便，反之亦然，但大多數人工智能系統在與人類共存的復雜混合系統中起作用。對這些系統的研究具有重要意義的問題包括人機交互特征的行為，如合作、競爭和協調 。

例如，人類偏見與 AI 結合會如何改變人類的情感或信仰，人類發展趨勢與算法相結合會如何促進信息的傳播，如何在大量無人駕駛汽車和人力驅動汽車的混合街道上改變交通模式，以及如何通過人與算法交易智能體之間的交互來改變交易模式，以及哪些因素可以促進人與機器之間的信任與合作。

大量的人機協作系統已經應用于人類生產生活

該領域的另一個主題涉及機器人和軟件驅動的人力自動化。在這里，我們看到兩種不同類型的人機交互：

一種是機器可以提高人的效率，例如機器人和計算機輔助手術。

另一種是機器可以取代人類，例如無人駕駛運輸和包裹遞送。

這引出了一個新的疑問 ——最終機器是否會在更長時間內進行迭代或增強，以及人機共同行為是否將因此而演變？

上述例子強調，與混合人機行為相關的許多問題必須同時研究人類對機器行為的影響與機器對人類行為的影響之間的反饋循環。學者們已經開始研究標準實驗室環境中的人機交互，觀察到與簡單機器人的交互可以增加人類協調性，機器人可以在與人類之間的合作相媲美的水平上直接與人類合作。

然而，在人類越來越多地使用算法來做出決策且基于此來訓練相同算法的情況下，我們迫切地需要進一步理解自然環境中的反饋回路。

此外，在機器行為生態學領域的各種類型的問題中，對于特別強調人類的社會交往方式，可能會被智能機器所影響，我們需要關注這些混合系統的長期動態。

五、 展望：機器行為學如何發展？

要想最大限度地發揮人工智能對社會的潛在利益，我們就得了解機的行為。如果我們做出將人工智能體融入我們的生活這一有后果的選擇，必須依仗我們了解它們對社會可能的影響。為了提供這種理解和預期，我們需要一個新的交叉學科研究研究領域：機器行為學。為了讓這個領域順利發展，我們有許多要考慮的因素。

首先，研究機器行為并不意味著 AI 算法需要有獨立的代理人，也不意味著算法應該對其行為承擔道德責任。

如果狗咬人，則狗的主人應當負責。盡管如此，動物行為模式的研究是有助于我們理解和預測這種 “脫軌” 行為的。機器在更大的社會技術框架中運行，其人類利益相關者本質上應對部署它們可能造成的任何損害負責。

其次，一些人評論建議將人工智能系統作為個體研究，不用將重點放在對這些人工智能系統進行訓練的基礎數據上。

實際上，解釋任何行為都不能完全與訓練或開發該人工智能體的環境數據分開；機器行為也不例外。但是，理解機器行為如何因環境輸入的改變而變化就像理解生物體的行為根據它們存在的環境而變化一樣重要。因此，機器行為學者應該專注于描述不同環境中的人工智能體的行為，就像行為科學家渴望在不同的人口統計和制度環境中描述政治行為一樣。

第三，機器行為和動物、人類的行為有本質不同，因此我們必須避免過度將機器擬人擬獸。即使借用現有的行為科學方法被證明對機器的研究有效，機器也可能表現出與生命具有的特質不同的，甚至是迥異的行為。

此外，剖析和修改 AI 系統可是比修改有生命的系統容易多了。雖然兩個體系存在相似之處，但 AI 系統的研究必然會與生命系統的研究有所區別。

第四，對機器行為的研究將需要學科間的共同的努力，因為這些研究本身伴隨跨學科合作所帶來的挑戰。應對這些挑戰至關重要。大學、政府和資助機構可以在設計大規模，平等和可信的跨學科研究中起到重要作用。

第五，針對機器行為的研究通常需要現實條件下的實驗來研究人機交互。這些實驗介入可能會全面改變系統的行為，可能對一般使用者產生不利影響。諸如此類的道德考慮需要謹慎的監督和標準化框架。

最后，研究智能算法或機器人系統可能會給研究機器行為的研究人員帶來法律和道德問題。算法的反向工程可能會違反某些平臺的服務條款。例如，設置虛假角色或掩蓋真實身份。如果研究損害其平臺的聲譽，那么利益相關的系統的創建者或維護者可能會使研究人員陷入法律責難。此外，尚不清楚違反服務條款是否會使研究人員受到民事或刑事處罰（例如美國的計算機欺詐和濫用法案），這可能會進一步阻礙這類研究。

了解人工智能體的行為和性質，以及它們可能對人類系統產生的影響是至關重要的事情。社會發展可以從人工智能提供的效率扶持和決策增強中獲益匪淺。與此同時，將 AI 直接 “植入” 日常生活中的潛在缺陷我們也不能視而不見，盡可能避免其副作用，否則研究機器行為學帶來的好處可能會搖搖欲墜。

機器行為學，是一門研究人工智能如何與人類共存的學科