本文主要介紹阿里巴巴-搜索事業部算法團隊上半年在智能內容生成方向工作的一些實踐和思考。本文最早2017年10月初在集團內部發表，并獲得雙十一征文 "一騎絕塵" 獎，對外最早發表在阿里云云棲社區。

believe it or not，上圖中的文本內容就是智能內容生成的數據，并非人工篩選的結果，線上大量投放。接下來本文介紹下這些商品內容究竟是怎么生成出來的：

一、項目背景

1.1 什么是智能內容生成？更準確的定義應該是智能文本內容生成，指的是訓練機器模型，智能生成單品推薦理由、多商品清單文章一類的文本型內容，顯然，與智能內容生成相對的概念是達人內容生成。學界相關的技術領域為 NLG (Nature Language Generation)，我們在項目內部定義為Data2Seq（D2S），即根據結構化數據(Data)生成文本(Seq)。1.2 為什么要做智能內容生成項目？首先，內容化本身有著重要的業務價值。從手淘業務層面考慮，在移動互聯網時代的格局已定的大環境下，各個領域的APP都開始從粗放爭奪用戶量轉向精細化爭奪用戶時間，內容類公司也是愈發火熱。手淘從去年起開始逐漸進行內容化定位，用社區化、內容化去爭取用戶停留時間。從手淘首頁的變化不難管中窺豹，各種各樣的內容化場景層出不窮。因此搜索場景在這樣的大背景下自然不再只是承載成交轉化效率，內容化在搜索有很多場景可以落地且具備巨大業務價值。

其次，目前手淘下各個場景的內容化還是主要依賴達人內容生成，達人內容生成天然存在覆蓋商品量少、成本高的問題。

最后，從技術可行性角度考慮，近幾年深度學習的浪潮強勁，在圖像、語音、自然語言、信息檢索等很多領域都取得了突破，內部看搜索算法團隊在前沿技術深度積累更多用于搜索場景效率提升，有必要向更general更廣闊的場景轉移，用技術驅動業務創新。更為重要的是，時至今日，淘寶平臺已經積累了千萬級的達人訓練數據，具備了很強的可行性。而從團隊角度出發，我們在過去的工作中積累了一套完善的知識圖譜數據、商品理解能力和NLP領域的深度學習相關知識儲備，有能力提供系統化的文本內容生成解決方案。1.3 智能內容生成相對達人內容生成的優勢是什么？劣勢又是什么？智能內容生成除了批量化生成內容和低成本外，在電商三要素"人""貨""場"角度都有明顯的優勢：

貨：機器對商品有更深的理解，生成的內容可以有遠超達人的信息量。這也是我們最大的point所在，“機器的優勢不在于可以說一段類似達人流暢的話，更在于說出達人說不出的干貨”。達人對商品了解的信息量實際很有限，而我們擁有淘寶的海量靜態和行為數據，可以全面、精準和即時的感知商品信息和流行趨勢變化，真正的數據生成文本。

人：機器可以做到個性化的內容生成。從對用戶理解出發，我們有非常精細的UserProfile，知道用戶的喜歡哪些賣點，個性化內容推送的基礎是有個性化的內容生成，達人一般最多做到“場”粒度，顯然極難做到個性化粒度。

場：不同場景下，機器可以靈活的定制生成內容的樣式風格和所依賴的底層商品池。

機器的劣質其實也很明顯，盡管深度學習技術對智能內容生成的發展有了很大的推動，但其本質還是沒有脫離從海量數據中統計學習的思路，無法從小樣本學習，并且學習的空間其實是相對世界的一個非常小的子集，也基本無法做到像達人一樣旁征博引，可以生成更有創造力的文案。

1.4 項目目標是什么？其實寫出一段流暢的類似達人的內容文本并非難事，甚至簡單的N-Gram模型中也能挑出一些有意思的話，更大的考驗在于如果在工業界的線上場景穩定上線，需要很高的準確率和一套完善的質量提升方案。項目目標是能夠delivery一套智能內容生成的高質量、系統化的解決方案，在搜索場景和搜索外場景拓展應用，并為未來更好的發展內容生成技術打好基礎。

二、NLG問題綜述

智能內容生成在學界相關領域為NLG，NLG任務的目標是根據輸入數據生成自然語言文本，在NLP領域我們接觸更多的是NLU（Nature Language Understanding，如命名實體識別、文本分類等）類任務，NLU的目標則將自然文本轉化成結構化數據，顯然，NLG和NLU是一對相反的過程。

NLG本身其實是一個很寬泛的概念，如下圖所示，廣義上來講只要輸出端是自然語言文本的很多任務都屬于這個范疇，除了結構化數據到文本的Data2Text任務，比如機器翻譯、文本摘要等Text2Text類任務，ImageCaptioning等Image2Text類的任務都是NLG。在學界有關NLG最權威的定義是“根據非文本型的信息生成的自然文本的過程”(Reiter & Dale, 1997, 2000)，是狹義上講的NLG，特指Data2Text（完全等同于Data2Seq），即輸入端為Data（結構化數據）輸出端為Seq（自然語言文本）。比如根據溫度、風向等測量數據生成天氣預報文本是Data2Seq的一個經典范例。

事實上，Data2Seq領域在工業界有著非常大的應用價值，應用領域如天氣預報、體育報道、財經新聞和醫療報告等。一些典型的公司如Automated Insights已經撰寫了超過3億篇財經體育等領域報導，下圖是其根據Amazon的財報數據自動生成一篇文章的范例，國外其他知名的NLG公司還有ARRIA、NarrativeScience。

我們做智能內容生成項目最大的初心所在，我們的目標不僅僅是為了寫出一些達人能寫的描述，更在乎既然今天的淘寶擁有如此多的用戶數據、商品數據和行為數據，有足夠好的計算基礎設施，我們能夠知道消費者關注什么，知道哪些商品好，好在哪里，我們更要去用好這些data，驅動業務創新，也許是一個產品或品牌綜述，也許是多商品對比評測，項目名字之所以叫“阿士比亞”，也正是我們期望他能成為“阿里的莎士比亞”。

傳統的NLG的實現套路是將整個文本內容生成過程設計為宏觀規劃、微觀規劃和表層實現三個獨立的模塊串接而成的pipeline，如下圖所示，系統的輸入分為兩部分，一部分是在原始數據中發現的pattern，類比于我們下文將介紹的智能素材庫；另一部分是文本生成Goal，類似下文將展開介紹的Data2Seq模型的Control部分，比如在天氣預報場景中Goal可以是綜述過去N-day的溫度還是進行預測未來N-day天氣，目標不同則后續的宏觀規劃甚至微觀規劃也不相同。具體到文本生成pipeline里面，宏觀規劃階段解決“說什么”的問題，微觀規劃和表層實現則是解決“怎么說”的問題。具體的：

傳統NLG系統框架

宏觀規劃：也被稱為內容規劃或文檔規劃，主要目標是選擇出需要在文本內提及的內容和文檔結構，一般來講。類比到商品推薦理由生成里面，就是賣點選擇和賣點順序規劃過程。

微觀規劃：也被稱為句子規劃，顧名思義，就是在句子粒度的優化，這個階段的輸入為宏觀規劃選中的內容和結構，主要涉及到對句子進行規劃以及句子實現，要求最終實現的句子具有正確的語法、形態和拼寫，同時采用準確的指代表達。

表層實現：則是句子實現的最上層，類似于寫作中文筆潤色過程。

顯然以上這種pipeline結構的存在的最大問題是將任務拆分成獨立幾個部分，也就是非端到端，這本身就損失了很多信息上限顯然并不高。實際上，盡管NLG領域的研究起源比較早，但在學術界長期處于停滯狀態，原因主要在于NLG是一個簡單輸入復雜輸出的任務，問題的復雜度太大，至今沒能探索出一個準確高且泛化能力強的方法，不少場景下整體甚至低于人工規則。

另外，NLG領域至今也沒有一個客觀且準確的優化目標或者說評估標準，這也是限制該領域發展的重要原因。目前的主流的評估方法分兩類：人工評測和基于數據評估。人工評測的維度主要是流暢度、可讀性、信息量、正確性和冗余度；基于數據的評估主要有三個思路，基于n-gram匹配的BLUE和ROUGE等，基于字符距離的Edit Distance等和基于內容Coverage比率的Jarcard距離等。基于數據的評測在NMT場景還有一定意義，這也是NMT領域最先有所突破的一個重要原因，但在內容生成場景基本意義不大了，無法給出真正有意義的度量，我們在實際項目中基本依賴人工評測和分析為主。

近年來，隨著深度學習在廣義NLG問題上特別是NMT(Nerual Machine Translation)、Text Summarization領域的突破，基于深度學習的端到端的Data2Seq類模型的研究也越來越多，本文介紹的生成式內容生成模型Data2Seq正是處于這樣一個背景，第六章節會詳細闡述。另外，借鑒于文本摘要領域抽取式和生成式兩種方法的思路，結合淘寶商品數據實際，我們設計并實現了一套基于詳情頁的抽取式內容生成方法，將在本文第七章節詳細闡述。

三、現階段的產品形態

項目組現階段的產出是以商品單品的推薦理由為主，因此我們從覆蓋商品數量角度出發定義了兩種產品形態，即：單品的推薦理由和多商品的智能清單。在這里提前做下產品形態的簡單介紹，這樣大家讀起來會更加有體感。3.1 單品推薦理由顧名思義，就是有關單個商品核心賣點的描述。我們又從文本長度特征出發將單品推薦理由區分成兩類：單品的一句話導購短句和多句話短篇推薦理由。下圖是我們8月份在搜索-挑尖貨場景全量的一句話導購短句的應用實例。

單品推薦理由線上效果示意圖

3.2 多商品智能清單智能清單覆蓋商品數量一般在10-20個左右，清單內的單品介紹一般類似于單品短篇推薦理由，長度大致在30-40個字居多。智能清單內除了單品短篇推薦理由，還包括清單選品，清單標題兩部分。此外清單內的商品推薦理由不同于單品推薦理由的一點是，它既需要考慮清單的主題保持一致性，又要同時考慮其他商品生成的推薦理由以避免重復從而保證多樣性。

智能清單線上產品形態

四、整體技術方案綜述

下圖所列的是智能內容生成項目的整體框架。在上文的NLG綜述中已經介紹過，內容生成的輸入部分有兩個，一個是下圖中的智能素材庫，是內容生成的底料來源，另一部分生成目標則被集成到我們Data2Seq模型中了，在本文第六章節Data2Seq模型部分會詳細介紹。而內容生成核心問題兩大核心問題說什么(What to Say)和怎么說(How to Say)，即宏觀規劃、微觀規劃和表層實現在我們的方案中全部融入到深度學習的端到端模型中，同樣會在第六章節詳細展開。

智能內容生成系統框架庫

上圖主要包括智能素材庫和智能內容兩個部分，接下來分別做下介紹：4.1 基于知識圖譜和統計挖掘的智能素材庫智能素材庫中主要包括商品相關的動態和靜態兩類信息，靜態信息比如商品的品牌、風格、款式等，動態信息則是類似于流行趨勢、人群偏好、促銷優惠等。其中靜態信息的獲取是基于知識圖譜的商品理解模塊對商品的標題、屬性、詳情等文本進行理解的結果；動態信息則是基于用戶的行為日志和靜態信息的分析結果統計挖掘得到的。智能素材庫里商品的每個維度的靜態信息和動態信息我們統一定義為Topic，又因為全部來源于商品，下文用”Item Topics“或“商品賣點”代指智能素材庫中商品的動態靜態的結構化信息。智能素材庫的用戶有兩個，一個是提供給達人，達人寫作過程中作為參考用，目前已經在達人平臺上線；另一個就是提供給智能內容生成訓練和預測數據中的Item Topics部分。4.2 智能內容生成智能內容生成部分的核心是Data2Seq模型，它的訓練數據輸入包括部分：來自素材庫的Item Topics和基于知識圖譜的內容理解分析的達人內容的Target Topics，目標則是達人內容。模型部分除了Data2Seq模型，還有基于知識圖譜的Evaluator模型，事實上Evaluator模型不僅僅工作在預測Seq生成階段生效，在訓練數據和目標的的預處理和過濾同時生效。此外，整個訓練基于Pai-Tensorflow平臺進行。以上便是項目的整體技術框架，接下來會分別詳細闡述。

五、智能素材庫

智能素材庫的作用前面已經講的比較多了，該部分主要介紹下商品賣點設計、靜態信息計算的基于圖譜的商品&內容理解和動態信息計算中的統計挖掘的方法的一些細節。5.1 商品賣點設計

如下圖所示，商品賣點素材信息包括靜態信息和動態信息兩部分。靜態部分主要包括商品的基礎屬性元素，如品牌、款式、風格以及這些屬性元素相關的擴展信息，比如品牌的調性、產地，店鋪的資質等，這一部分的信息依賴知識圖譜和基于其的商品理解。動態部分包括促銷活動、上新、成交分布和趨勢、評價、搭配和LBS等，其中成交分布和趨勢的細分到屬性粒度依賴靜態信息的理解結果，典型的動態信息比如”最近一個月口紅的流行顏色趨勢“信息。目前我們基本已經涵蓋主要類目的靜態信息分析，動態信息上主要集中在成交分布&趨勢和上新方面。

5.2 基于知識圖譜的商品理解和內容理解

知識圖譜概覽：我們內部稱之為“云壤知識庫”。云壤內涵蓋兩類知識：詞條和關系。詞條知識覆蓋淘寶電商相關的30種類型知識（如品牌、材質、款式、風格、功能功效、人群等等）目前詞條數量1891w（其中品牌詞58.8w，品類詞8w，風格詞3.6k，產地詞3.8k，圖案詞10w，人群詞360等）。關系數據包括同義關系、上位關系、下位關系、沖突關系、父子品牌關系等類型，5636w+條關系。知識圖譜相應的詞條和關系的挖掘算法等接下來會有專門文章介紹，在這里就不再詳細展開了。

目前知識圖譜主要支持的線上業務是主搜索的query理解、屬性相關性(“絲綢之路”)、產品庫和平臺治理負向發布端管控、搜索端管控等。下圖是云壤知識庫的前端界面。

云壤知識庫前端界面

基于知識圖譜的詞條和關系，我們有一套商品理解和內容理解系統，核心模塊包含詞條匹配和消歧兩個模塊，其中消歧模型的主要技術方案見下，主要是基于雙向LSTM+CRF的思路實現的，同上詳細的細節在本文不展開了，后面的圖是商品理解結果的前端示意圖。

消歧技術方案

基于知識圖譜的商品理解結果示意圖

5.3 基于行為日志的統計挖掘

具體的方法是我們在商品和人群端分別挖掘標簽，然后根據相互的笛卡爾積交叉得到各個維度計算排名和趨勢信號（其中趨勢信號用day-維度線性回歸即可），具體的計算過程見下圖。其中商品標簽來源于基于知識圖譜的的商品理解結果；人群標簽方面，我們主要依賴阿里巴巴數據超市的基礎Tag組合而成人群標簽，下面的表是人群標簽的幾個范例，標簽別名是在生成內容時為了增加多樣性而設置的不同說法。

5.4 達人用戶視角的智能素材庫

最后簡單介紹下提供給達人用的智能素材庫界面。如下圖所示，達人在給商品寫推薦理由時，通過素材庫可以獲得商品相關的靜態和動態信息，比如品牌Slogan/品牌故事，用戶關心的問題、評價熱點、詳情頁關鍵信息（數據由第七章節介紹抽取式詳情頁內容生成支持）等，可以快速的建立對商品多維度理解。這樣一方面加快了達人寫作速度，另外也更好的為智能內容寫手提供素材。

六、Data2Seq模型

該部分是基于深度學習的端到端解決方案，也是智能內容生成中最為核心的部分。本章節將按AI三駕馬車：數據、算法和計算三個角度依次展開，其中計算方面的優化我們和PAI-Tensorflow同學8月初開始立項合作優化，本文只關注在數據和算法部分，有關計算優化的詳細介紹請關注后續九豐和慕琢的項目分享。

6.1 數據訓練數據的數量和質量的對深度學習類任務的重要性就無須贅述了。有足夠大數據量且質量足夠好的訓練數據之后，簡單模型也足以取得相當好的baseline，數據也是一切復雜模型的基礎。具體介紹下我們在商品單品推薦理由訓練數據的處理方法：

訓練數據量：我們通過官方渠道背書和優質達人的數據擴展訓練數據。

官方渠道：有好貨、極有家、淘寶頭條、手淘行業其他卡片、清單商品推薦理由等。

優質達人：實際上，很多達人是不停在平臺生成內容的，但生產的內容中很多并沒有被官方渠道選中，也或許他們生產內容的動力不僅在于投稿也在于粉絲關注，我們根據達人的粉絲、歷史招投稿信息等圈中了優質達人，把這些達人每天的單品推薦理由內容設置為候選集。這些數據的增量還是非常可觀的，貢獻了約一半的訓練數據量。

訓練數據質量：事實上，原始訓練數據的質量遠沒有那么理想，除了一些語法錯誤外，有很多推薦理由甚至是商品原始標題，特別是優質達人來源數據質量更是非常低。因此這個部分我們開發了比較系統化的插件式的Evaluator模型，用于處理和過濾訓練數據，主要包括預處理和判別模塊。

預處理：基礎的繁簡轉換、大小寫歸一之外，對語法或冗余字符也做了過濾處理。

判別：判別模塊我們主要解決堆砌重復問題、badPattern、低置信語法和標點規范等維度問題。

最終我們使用的有效可用的推薦理由訓練數據量超過1600w，基本已經達到了目前淘寶平臺可用訓練數據的極限。6.2 模型Data2Seq領域近年的發展主要得益于參考NMT領域的突破，下圖是NMT中標準的Encoder-Decoder結構，在Encoder階段把輸入序列的信息通過RNN_forward encoder到固定向量h_|F|中，decoder階段根據h_|F|逐個解碼得到輸出序列。

但是標準的Encoder-Decoder結構中把源端信息都通過RNN_forward encoder到固定大小的向量中，但RNN本身存在長距離依賴問題，且把任意長度句子都encoder到固定長度會導致句子太長時無法充分表達源文本信息，句子太短時不但浪費存儲和計算資源，而且容易過擬合。顯然這時候該Attention登場了，Attention機制允許解碼時動態搜索源文本中與預測目標詞相關的部分，很好的解決了上面的問題。下圖就是大家都比較熟悉的Bahdanau-Attention對齊模型的算法原理和對齊效果示意圖，不展開介紹了。

我們的Data2Seq(D2S)模型，雖然主要借鑒與NMT的Attention-based Seq2Seq模型，核心的框架同樣也是Encoder-Decoder，但深入思考下兩個任務的特點，我們不難發現D2S與NMT有著比較大的差異，也正是這些差異決定了我們不能只是簡單的拿NMT領域適用的Encoder-Decoder結構去理解D2S模型。下面是NMT和D2S對比圖：

NMT相對D2S的最大不同在于它的任務中輸入輸出基本可以理解為一一對應的，且是可逆的。比如上圖中中譯英的例子，"團結就是力量"和"Union is strength"之間是可逆的，也就意味著他們在一個虛擬的“世界語”語義空間共享同一個編碼，這也是為什么NMT可以做遷移學習的一個重要原因，即有了中譯英和中譯法可以很容易翻譯出英譯法。

而在D2S任務中，即便是完全相同的輸入，不同的輸出都可能是對的，也就是說輸入輸出是一對多的，顯然輸出文本不可能再還原回輸入文本了。這個很容易理解，比如同一商品，不同的達人選擇的賣點和最終介紹的文本可以完全不同，但都可能是正確的。從這個角度出發，在輸入端額外設計控制條件是由D2S模型一對多的特點所決定的，甚至是必須的，模型最終因此擁有的控制能力則是果而非因，絕非為了控制而控制。從另外一個角度去理解，Control部分實際對應的是第三部分講的傳統NLG流程里面的Communicative Goal模塊。

所以基于以上考慮，我們提出了把整個D2S模型劃分為Data/Seq/Control三個部分：

Data端：涉及數據的表達和建模的方式，也就是素材庫內容如何體現。這部分會介紹下Data端的Encoder方法，重點介紹下我們在數據端的測試的三種模式以及動態數據的訓練。

Seq端：核心在于文本序列生成能力，一般來講，最簡單的Seq端就是N-Gram模型。Seq端指的是基于RNN(或其變形LSTM/GRU)的語言模型，我們在這里可以玩的是decoder設計更復雜或更精巧的模型、使用更多更準確的訓練數據，使得模型具備強大的表達能力。主要會介紹下深度殘差連接網絡的應用。

Control端：這也是D2S中特有且非常重要的部分，上文也提到了生成一段流暢的話向來不是難點，重要的是如何從不同維度精準的控制Seq端的生成，分別介紹下重復問題控制、結果正確性、確保主題相關、長度控制、風格控制、賣點選擇控制、多樣性控制等，這也是NLG領域研究的熱點所在。實現這樣的控制，既需要在模型的Encoder和Decoder端同時發力，同時需要在解碼預測同時控制。

下圖是D2S模型的整體結構，我們實際采用的模型是這個模型結構的子集，encoder端分為兩部分，encoder的方法包括RNN/CNN和簡單的Embedding，decoder端生成文本時通過Attention機制進行賣點選擇，控制信號在DecoderRnn的輸入端和預測下一次詞的Softmax層之前參與控制。接下來按照Data/Seq/Control端的順序分別介紹下我們的工作，最后再簡單介紹下我們在清單生成方面的工作。

D2S模型整體結構

6.2.1 Data端

6.2.1.1 Data的表示如下圖中所示，D2S中輸入數據（即一個"賣點"或"Topic"）通過Key和Value兩個field來進行共同進行表達。其中KEY是知識庫的詞條類型ID，即KID，Value是利用知識圖譜里面的同義詞知識歸一之后的詞條ID。比如商品原始文本有"Chanel"，對應模型的輸入topic為“KID=品牌；VAULE=香奈兒”。且除了KID識別和同義歸一之外，我們還利用知識圖譜本身的擴展信息擴充了商品Topic的覆蓋，比如對于對于香奈兒，我們還會擴展出“品牌產地：法國”“品牌檔次：奢侈品”等信息，以此豐富我們的輸入信息。

KID識別和同義歸一的處理則有兩個好處，首先KID的引入賦予了模型很強的泛化能力，能夠起到類似于"模板"的功能，對于一個稀有的Value，我們能夠通過KID知道該如何表達和描述，后面將介紹的動態信息的訓練中也正是借助KID實現的，其實本質上其實也是實現了Copy機制；其次，Value經過同義詞歸一之后，噪音數據更少，使得模型學起來更加容易，因為Data端更關心的是語義signal而非表達多樣性，語義歸一的必要性自然是非常必要的選擇。

在模型內的具體語義表達方面，topic的Key和Value分別有一個獨立的EmbeddingDict分別獲得其語義維度的表示，兩者concat起來得到的是模型內topic的表示。而對于整個輸入的表示，我們共對比測試了三種模式的encoder方法：RNN、CNN和Concat，最終使用的方案是Concat模式，即只用topic的Key和Value的Embedding語義編碼作為encoder階段的輸出，輸入端不用RNN或CNN提取feature。

Encoder用的Concat模式，乍聽起來比較奇怪，這里面除了降低計算復雜度的考慮之外，最重要的原因是RNN和CNN本質上都是通過捕獲局部相關性而起作用的，具體到自然語言領域，提取的是類似n-gram的信息。然而在Data2Seq模型的設計中，事實上不同的topic之間是獨立的且無序的，而CNN和RNN模型是無法在這樣的無序的假設條件下work的，否則對于同一輸入，擾亂順序后捕獲的語義表示就變了，顯然不是我們希望的。實際數據的測試也印證了我們的假設，即便在我們不太認可的ROUGE指標上和mle loss，RNN模型并沒有體現明顯優勢，具體的實驗數據還需要重新回歸。6.2.1.2 Data的內容和結構

解決了Data的表示后，Data包含哪些內容，采用什么結構就是亟待要解決的問題了。我們參考了類似百度寫詩的paper的做法，設計了一個Planning-Based的D2S模型。百度寫詩的訓練數據見下圖，其直接在目標內容（即詩句）中用textRank方法提取KeyWord（下圖第一列）作為Data部分，之前的詩句作為Context進行訓練。在預測階段（下面第二張圖）用戶的Query經過Keyword Extraction & Keyword Expansion階段后規劃處四個Keyword，然后逐步生成每行詩。

這種結構看起來還是很通暢的，好處是可以借助知識圖譜進行Keyword擴展，如下圖所示，輸入“奧巴馬”也可以規劃“西風/巴馬”“總統”“美國”“民主”。但這種方法存在最大的問題也恰恰是Planning的難度很高，另外詩歌場景前后兩句盡管有關聯，本質上還是有可以一定程度斷開的獨立的，所以不管是百度寫詩還是微軟小冰寫詩都可以用這樣的結構，但我們的商品推薦理由則是連續的一段話，不能在這個層面運用Planning-Based的方法，但可以嘗試比如在段落粒度運用Planning。

具體實踐中我們發現，Planning-Based的方法好處自然是我們可以任意的控制topic，但存在的具體的問題第一是規劃出的topic之間的搭配會導致較多不通順的case；另外就是這種模式只能學到直接的關系，比如輸入topic是“五分褲”，生成的文本基本很難出現“半褲”這樣的相近詞，也就是模型有點“直”。為了解決這個問題，下圖是后來我們在Data端的內容和結構做的設計：

如上圖，DATA部分總共有兩個來源，一個是圖中藍色部分來自商品理解后的結果，另一個是來自目標文本內容理解后的結果，且兩部分有一定的交集。Planning-Base mode就是我們前面講的，Data結構分成兩部分，一部分是核心topics，另一部分是context topics；第二三種模式都是只有一層扁平的輸入，區別是Item-Topics mode中topic全部來源于商品本身，而All-Topics mode則是匯聚了商品和目標的結果。

最終在模型中選擇的是All-Topics mode，預測中用Item-Topics做預測。而終沒有用Item-Topics mode原因除了mle loss下降更明顯外，主要的原因是我們分析了下，實際上內容里面的topics和商品的topics交集遠沒有我們想象的高，大約只有20%左右，這就意味著模型會學到沒有賣點A但是還是寫出賣點A相關文本的模式，這種模式下就會導致很多生成的內容和源賣點不匹配的case。而內容提取的topics不完全存在于商品topics中是很好理解的，有些是達人通過圖片或很難提取信息的詳情頁獲取的，有差集是很正常的。

All-Topics mode最大貢獻在于確保預測結果的正確性，除此之外，這種方式相對Planning-Based mode最大的優勢在于賦予了模型賣點選擇的能力，下圖是我們8月份在搜索-挑尖貨場景全量的一句話導購短句的例子，同樣是短裙類目的商品，仔細看下四個商品的導購短句，每個商品被提到的賣點都還是很有其獨特性的。

6.2.1.3 動態Data的訓練以上的針對的主要是靜態數據訓練相關的設計，而前文已講到，D2S模型的一個很重要point是通過動態數據獲得更多的信息量，寫的更為干貨。但動態數據本身的樣本標注其實還是比較困難的，接下來以"流行趨勢"這類動態數據的訓練為例，簡單介紹下我們的做法。

訓練階段我們先通過先驗規則和W2V語義相似度挖掘出流行趨勢相關的詞，比如”流行“ ”大熱“ ”熱門“等，然后將其所在短句最可能的賣點原來的KID置換成”KID=流行“，在預測階段則對從數據中挖掘到的流行的賣點，將其KID替換成”流行“，生成的數據效果如下所示：

對于第一個商品我們將“KID=顏色 Value=深棕色“的KID替換成“KID=流行”之后，生成的單品推薦理由：“今年很流行這種深棕色的針織衫，很有女人味的一款套裝，穿在身上很顯身材，而且還能很好的拉長腿部線條，很顯高哦 。”就非常準確的描述了深棕色的流行趨勢，做到了言之有據，且有關流行趨勢的說法還是比較豐富的。

當然完全的把KID替換掉會導致商品丟失原始KID信息缺失，正在補一個采用雙KID相加后得到新KID方式的實驗。6.2.2 Seq端

6.2.2.1 基礎的單層RNN-語言模型簡單intro一下基礎的RNN-Language Model。語言模型本身是在計算一個句子E=e_1,e_2,...e_T(e_t是其中第t個詞)是自然語言的概率，語言模型的目標是

，不難看出語言模型的核心問題可以轉化成預測 P(e_t|e_1~e_t-1)，即根據e_1~e_t-1預估e_t，最簡單是基于統計的n-gram LM(Language Model)，即預估e_t時只考慮前面n-1個詞。下圖是基于Nerual Network的tri-gram LM，顯然在預估e_t時值需要考慮e_t-1, e_t-2即可。我們經常用的Word2Vec正是NN-LM的lookup表的一個中間產物。

但顯然NN-LM無法擺脫他本質是n-gram模型的缺陷，即建模的長度有限最多只能使用前n-1個詞，且在上圖的concat模式下加大n個數量，由于前面各個位置的權重是一樣的反而會導致模型學習效果下降。實際上自然語言中，長距離依賴的情況是非常常見的，比如下圖的例子中，預估"himself"和"herself"時，顯然分別要依賴于句子最前面的"He"和"She"。

下圖便是RNN-LM的公式，m_t是第t-1個詞的Embedding結果，與NN-LM不同的是，RNN-LM的輸入只有一個，原因是前面的信息都融入到h_t-1中了，這樣就不需要直接把更靠前的序列作為輸入了。當然RNN本身存在梯度消失問題，內容生成模型的decoder端實際使用的是RNN的一個variant LSTM。

6.2.2.2 多層殘差連接網絡由于我們使用的訓練數據量比較大，能夠支撐我們在模型的decoder階段進行復雜模型、大容量模型的嘗試。我們再這方面的主要嘗試從網絡寬度、網絡深度兩個角度出發。網絡寬度方面我們主要測試的是增加num_hidden size，效果還是比較明顯的，網絡深度方面我們測試的是下圖中的殘差連接方式的stacked RNN。

以下是不同版本的MLE loss上的變化，單層網絡-殘差連接方式loss下降說明在預估前一個詞時，直接將上一次詞作為輸入是有收益的，增加網絡寬度和深度loss都能有所降低，但受限于模型容量問題，目前在16G的單卡GPU只能最大測試到num_hidden=100，4層的殘差網絡。

這個部分計劃嘗試下Densely Connected深層網絡和Recurrent Highway Networks，受其他項目優先級的擠壓暫時先hold住了，待后續實驗后再補充。6.2.2.3 雙層RNN網絡的嘗試我們在Seq的網絡結構方面做了下雙層RNN雙層Attention的嘗試，網絡結構圖見下圖，核心點是在拆分出句子維度和詞維度的兩層RNN網絡，同樣的在賣點選擇方面也是雙層Attention共同作用。之所以嘗試雙層RNN的原因是希望模型有更好的能在長篇幅寫作能力，但暫時的實驗效果并不是很明顯暫時hold住了，分析主要原因是推薦理由的訓練數據不像詩歌類天然有好的斷句結果，達人的內容的斷句質量很差，對效果影響很大。

6.2.2.4 Copy機制Copy機制本質上是在combine生成式和抽取式模型。在這方面學界有很多的研究涉及該領域，主要為了解決OOV(Out Of Vocabulary)詞的問題。我們使用的做法把Pointer和Generator分離單獨訓練一個Pointer/Generator swich概率網絡，另外一種套路如上面的整體框圖所示，把源端的Attention向量的概率和每個詞的概率用P/G值加和求max，這種方法的原理是更合理，但訓練起來非常慢，實際并沒有采用。

事實上，我們訓練的數據足夠充分、網絡比較大的情況下，詞匯粒度OOV帶來的問題比較少，詞粒度收益測試并不明顯。而在Copy機制更深層次的考慮方面，我們更想嘗試的是如何把抽取式的內容生成和生成式內容生成有機的結合起來。比如我們分析了下達人的推薦理由數據和詳情頁句子的交集還是比較高的，也就是說達人在寫內容時候也是”參考詳情頁的內容“，這樣的”參考“動作就是Copy機制需要承載的，遠不是詞匯粒度的Copy而是句子或片段粒度的Copy。相信如果能解決好這個問題，對內容生成的技術領域的貢獻還是比較大的，這部分的工作我們還在推進中，在這里暫時留白后續有結果后補充下。6.2.3 Control端

6.2.3.1 軟硬結合的控制策略在控制端，需要完成對目標文本的控制，控制的策略總體上分為兩類：Soft類方法，即設計機制讓模型自己學習到對目標的方法；Hard類方法，即在Decoder過程中進行強干預。Soft類方法的好處是更能獲得一個整體效果比較高的提升，壞處是很難確保解決干凈。其實采用軟硬結合的方式做控制顯然是一個不需要過多論證的問題，道理我們都懂，重要的在于方法論。

我們在具體的控制策略上主要依賴InputFeeding機制和預測的Decoder階段Evaluator模型兩種方法。

a). Soft方法：Inform機制

由于各個細分問題的不同，在Soft方法上難有比較完全一致的的方法，但總歸大致的思路還是定義為InputForm機制，具體的做法如下圖所示，把控制信號在LSTM的輸入端和預估下一個詞的softmax層的輸入端生效，之所以在這兩個端同時生效還是有邏輯的：我們相信在RNN輸入能夠使得模型一定程度上感知目標的動態完成程度，Softmax端的輸入能夠讓模型始終感知最終目標是什么，實際的效果也驗證了這種方法的有效性。

b). Hard方法：Evaluator機制

在訓練數據的質量提升部分就提到過Evaluator模型，和這里是同一個模型。所謂Evaluator機制的Hard方法指的是在模型預測階段邊預測邊評估。

先簡單intro下Decoder過程：文本生成的的預測過程是word by word的方式進行的，每一步生成一個詞，面臨的選擇其實是整個詞匯空間，一般詞匯大小要到10w量級，也就是每一步解碼都有10w中選擇，如果平均序列長度n，最終候選序列也要10w的n次方可能，計算和存儲上是絕不可行的。實際常用的解碼方法是beam_search，每一步保留最優的前M個最大概率序列，本質上式壓縮版的維特比解碼。下圖所示的beam_search的beam_size=2，即每一步保留最佳的兩個序列，其他序列全部被剪枝掉（即下圖中X號）。

beam_search剪枝的過程依賴的模型控制的Soft機制和LM共同作用的概率，我們設計的Evaluator機制工作在同一個維度。具體的，在評估候選序列是否保留時，除了繼續考慮模型輸出的概率之外，額外增加下圖公式紅色部分的fuction_evaluator，函數輸入為已生成序列 e_1~t-1，具體的評估邏輯就取決于不同的控制目標，就比較有操作空間了。

6.2.3.2 重復問題控制重復問題在內容生成領域是一個比較常見的問題，問題的根本來源在于經典的Attention機制每次都是獨立的進行Attention計算，沒有考慮歷史已經生成的序列或Attention歷史，顯然是一種次優的做法。Attention機制帶來的這個坑倒是給學界的研究帶來了不小的空間，簡單介紹下我們解決重復問題的機制，自然是Soft和Hard并行解決的。

Soft的方法主要是在Data端避免重復注意和在Seq端避免重復生成兩種套路。

a). Data端避免重復Attention：Coverage機制、Intra-temporal attention機制

Coverage概念來源于傳統機器翻譯方法里面保留已經覆蓋翻譯的詞記錄的概念。我們采用的是一種”間接“的解決方法，如下圖公式，思路是保存下生成過程中已有的Attention權重向量，作為生成下一個詞的Attention計算的輸入，讓模型自己學習到避免重復的條件。NMT中還會增加一個Coverage loss，避免”過翻譯“和“欠翻譯”，需要注意的是內容生成中只需要避免”過翻譯“即可。

另外一種比較直接的方法就是直接根據已有的累計Attention weight對計算Attention的Softmax層前的結果降權，方法相對比較粗暴，并沒有對比測試。

b).Seq端避免重復生成：Intra-decoder attention機制

除了Data端避免重復注意外，對已生成的序列信息同樣需要inform模型，避免重復生成，我們設計的整體框架圖中的的DecContext就是在解決這個問題。

c).Hard方法：三個維度的重復檢測

而Hard方法則是比較簡單粗暴可依賴，我們對已生成序列進行賣點維度重復檢測、常用連接詞重復檢測和n-gram重復檢測三部分，命中這三種任何一種重復檢測的序列的score將設置的非常低。實踐中，這種方法對我們整體的重復問題的解決貢獻是最大的。6.2.3.3 語義正確性控制語義正確性的控制的soft方法在前文已經提到，就是在訓練模式上采用All-Topics模式，讓模型自己去學到賣點相關文本的生成需要在Data端有據可依的強條件，這點對我們語義正確性的貢獻還是很大的。

另外一個非常重要的解決語義錯誤問題的就是基于知識圖譜的Evaluator模型。具體的過程見下圖，知識圖譜中存儲有同義關系、上下位關系、沖突關系等多種類型的關系數據，在beamSearch解碼過程中，候選詞和n-gram粒度的詞和源端進行校驗，如果出現沖突關系則強制不出現，比如下圖中的候選token ”夏天“和Data端的”春秋“沖突關系，而比如是上位關系，下圖Data端有”連衣裙“，生成”裙子“則是可以的，反之則不行。

利用知識圖譜解決語義正確的一個好處是可以引入其他數據源生成的信息進行校驗，避免受數據偏差影響；另一個好處是實際的線上系統生效難免遇到badcase，利用補充知識的方式快速有效干預線上case實現一個很好的閉環，是必須的。

具體的實踐中，我們與知識圖譜中的平臺治理業務維護的違禁詞打通，因為模型生成內容是平臺背書，避免模型生成違禁信息，并且因為客觀屬性如品牌、材質、功能功效、季節、顏色的錯誤比起主觀屬性如風格等的錯誤影響更大，我們重點對客觀屬性的正確性問題進行了線下評測和知識補全。

6.2.3.4 品類相關控制品類相關性的控制我們單獨做了處理，在LSTM的輸入端和Softmax輸入端分別把葉子類目ID的signal輸入給模型，讓模型自己去學習到這些相關性，直接在loss上做處理反而效果不理想，也未必必要。

下圖分別背景墻瓷磚和女裝套裝兩個葉子類目的商品，topics中同樣包含”簡約“，且描述都是”簡約而不簡單“的情況下，后面跟的描述則分別是”為你的家...“和”更具時髦感“則是受類目的影響較多。嚴格的情況下應該對比有無類目控制的效果，實驗成本比較高待后續補一下。

6.2.3.5 長度控制長度控制的方法和品類相關控制套路是一樣的。我們采用的是商品&內容理解后的token作為詞，長度的控制是也是在”token“粒度。雖然沒有精確的統計過，但從我們看的case數據看，對token長度的控制是非常精確，且不是簡單的截斷。下圖是一個商品長度控制在10/20/30/40/50 token的范例，顯然隨著長度變長所選擇賣點的數量也逐漸在增加。

6.2.3.6 風格控制

這里的風格控制并不是嚴格意義上單純的風格控制，準確的說應該是賣點選擇和風格綜合的控制。原因是我們是依靠達人的UserID來實現風格控制的，不同達人的寫作除了風格不同外，選取的賣點可能不同。具體做法是：訓練階段將文章數量超過100篇以上的達人ID Embedding到20維的向量空間中；預測階段用Kmeans方法聚合出不同簇的UserID代表不同風格。

下圖是服飾類目最好的達人”追夢的小丫“和其Embedding距離最遠的簇中心”潮流匯bing“的同一商品的推薦理由對比，文本風格其實是一個很難量化的概念，從我們統計數據看，以”追夢的小丫“為UserID生成的內容以”這款“作為開頭推薦理由比例只有20%，而”潮流匯bing“的這一數據則達到了82%。以此管中窺豹，認為兩者的風格的差異還是體現出來了。且從下面的文本對比看，”追夢的小丫“文風似乎更有渲染力一些。

我們認為行業的最好達人生成內容最有吸引力，所以我們默認使用其UserID生成推薦理由。除此之外，我們同樣借用不同簇中心用戶賣點選擇的差異，用在清單維度多樣性上。

6.2.3.7 賣點選擇控制之所以需要做賣點選擇控制，主要用在下一小節的智能清單中。在All-Topics的模式下，模型的賣點選擇能力是通過Attention機制承載的，賣點的數量基本和長度控制的長度比較相關。

具體的實現控制的方法上，我們嘗試在訓練階段有選擇的進行0/1標注是否被選擇到，并把這種先驗的選擇輸入給模型的Attention計算部分，預測時通過0/1權重干預，效果還是比較直接。另一個就是對于單純的不寫某個賣點的需求，我們采用的是概率Drop機制，按概率強制從預測Data中去掉即可。6.2.3.8 多樣性控制詳細內容合并到清單多樣性中一起闡述。6.2.4 智能清單生成清單一般包括10-20個商品，核心依賴于單品推薦理由能力，但相對來講需要額外考慮多個商品間內容的多樣性和一致性，且還有獨特的清單標題生成和清單選品。目前我們的工作主要focus在解決清單多樣性和清單標題生成問題。6.2.4.1 清單多樣性清單多樣性主要解決的是生成多個商品推薦理由間的重復問題，解決這個問題的關鍵在于多商品間全局優化。

我們采用的方法是預測時把相同清單的商品放到同一個batch中，batch_size即為清單商品數，然后在Evaluator模型中維護當前清單維度、所在類目維度在賣點、常用連接詞、N-Gram維度的統計計數，然后根據出現次數以相應概率drop掉某些token，具體的概率計算方法就是經驗值了。

再好好思考下為什么模型多個商品寫作時會出現重復問題，根本原因在于解碼預測時采用的beam_search本質上選擇的是概率最大的序列，是不考慮多樣性的，這就難怪會導致模型生成的結果在賣點、句式上有些雷同了。而另外一種依賴概率的random_search解碼方法在語句通順的效果卻不慎理想，因此在beam_search中輔以多維度進行概率Drop的思路自然是合理的。

我們在實踐過程中發現，D2S模型相同句式的case比較多，比如”讓“這個詞用的頻率最高，我們做了一個強制不生成”讓“出現的實驗，見下圖。從對比可見，即便沒有最高頻的”讓“句式，模型仍然可以找到其他說法，比如把”讓人“換成”給人“，甚至直接換一個說法把”讓人愛不釋手“換成”深受廣大消費者人的喜愛“。因此這樣的多樣性控制策略我們不僅在清單中生效，同樣在單品中進行多樣性控制（即6.2.3.8部分）。

6.2.4.2 清單一致性清單一致性目的在于保持清單內內容和風格的連貫，這部分的工作剛剛開始展開，后續有實驗結論再回來填坑。6.2.4.3 清單標題生成清單標題的模型基本復用商品推薦理由的D2S框架，不同的是由于訓練數據量遠比推薦理由少，模型的復雜度下降了一個level。訓練數據主要來源于達人的清單和頭條的標題，Data是清單和頭條覆蓋商品的Topics，預測階段采用清單覆蓋商品的Topics作為輸入。清單標題的風格和推薦理由還是完全不同的，更加的寫意，隨性，富有渲染力！下圖是生成的清單標題數據貼出來感受下。

6.2.4.4 清單選品目前的選品策略還比較基礎，因為我們很多清單是在搜索場景生效，目前主要依賴query-category-user_tag維度的交叉，結合場景的底層商品池完成清單選品。當然目前的選品策略中還有一個統一的優質商家的優質商品。同樣的暫不展開闡述了。6.3 計算D2S模型是基于PAI-Tensorflow平臺運行的，模型比較重訓練起來也是很消耗資源，為了加速迭代我們8月初開始和PAI-Tensorflow團隊開展計算優化的合作。分別在本地、分布式和預測進行優化。本地優化累計提升了超過10倍以上的性能，意味著原本一個月的計算量，3天就搞定了，對D2S的快速迭代很是重要。

目前還在最后的優化分布式性能，具體的細節還請期待九豐和穆琢的分享，后續補充鏈接。

七、詳情頁抽取模型

D2S模型是生成式的內容生成模型，我們在上文的Copy機制部分也提到，達人寫作過程中其實也是邊”造“邊”抄“的過程，”抄寫“的來源大部分是商品詳情頁。商品詳情頁本身是一個寶庫，且是商品的詳細準確描述，比如下圖所示的詳情頁顯然如果都是非常好的推薦理由來源，最終目標是希望能夠融合抽取式和生成式兩種模式，現階段還是分離的，接下來簡單介紹下單獨的詳情頁抽取模型。

7.1 Boostrap方式的模型訓練詳情抽取模型本身可以抽象為文本分類問題，文本分類問題和模型相對都比較成熟了不過多展開，核心問題在于label的設置方式重點介紹下。

我們采用的方式是是先用達人的推薦理由作為正樣本，利用規則篩選負樣本，用Deep模型訓練一個基礎版本模型；然后再利用Deep模型的預測結果的高置信度的預測結果生成詳情頁本身的正負樣本，加入詳情頁特有的feature和Deep模型組合起來訓練最終的Deep&Wide模型，具體訓練過程見下圖：

Wide & Deep模型參考的就是google之前的DWL的paper了，見下圖，其中Deep部分用的是CNN提取深度feature，Wide主要特征有完成圖片維度(文本面積占比/不規范圖/小圖/上下文指示信息/圖片句子數量)和句子維度(字體大小/價格信息/黑名單詞/無中文/重復)特征等。

目前在挑尖貨場景數據已經全量，數據示例見下圖，詳情頁抽取的結果相對更加貼切和優質的。

7.2 目前的難點詳情頁本身是個含金量大的”金礦“，但”黃金密度“有限，噪音信號特別多，模型召回提升難度大。而且大部分詳情頁都是以圖片的形式存在的，依賴的OCR是單行粒度的，重新組合后會遇到各式各樣的奇葩斷句case，給Evaluator模型帶來很大挑戰。

除此之外，詳情抽取的短句和生成式模型D2S的融合目前還停留在提供item topics層面，我們還在繼續嘗試擴展Copy機制更有機的融合抽取和生成，留白，值得期待。

八、業務場景應用

目前我們的數據已經逐漸在搜索和搜索外場景應用，簡單介紹下，歡迎合作。8.1 單品推薦理由8.1.1 手淘挑尖貨場景我們第一個全量的場景就是搜索的定位于高端用戶的”挑尖貨“場景，上線的是一句話導購形式的推薦理由。8月份做了下AB-test測試核心指標都有提升，已全量。

挑尖貨場景導購短句效果圖

8.1.2 其余不再具體介紹

8.2 智能清單

8.2.1 手淘 - 搜索雙十一Tab和淘攻略

雙十一Tab是搜索結果頁的內容固定坑位中，會根據相關性等因素展示D2S的清單或招商的達人清單。下面是雙十一Tab和淘攻略場景的產品PRD圖，雙十一期間開始生效，左邊是SRP入口樣式，右邊是清單詳情頁。

8.2.2 其余場景也不再具體介紹

九、感想和未來規劃

做下來這個項目，最大的感受是既驚喜又敬畏。驚喜的是原本圖像是深度學習應用最為成功的領域，今天在NLP領域也可以完成過去想的到但做不了的事情，D2S模型寫出的文章竟然也能如此的生動、富有渲染力，甚至很多產品、運營同學紛紛反饋很難辨別文章究竟是機器還是達人寫作的。而另一層面則是這個過程中對人腦的敬畏，人類可以在創作中進行充分的演繹、聯想，從更加豐富的層面上進行創作，表達自己的觀點和立場，而今天的神經網絡本質上還只是一個不具備思維能力的模式識別機。

我們重新思考下機器和達人之間的關系，現在一定是共生存的關系，機器一定需要依賴達人去學習，但是今天的機器寫作可以去定義達人的入門門檻。像我們阿士比亞公眾號的那句話所說：”在人工智能替代一切的將來，唯有超越阿士比亞的內容創造無可替代“。集團內其他team也有很多同學focus在NLP(NLG/NLU)領域或深度學習其他領域，希望我們能加強交流，一道把這個門檻提的更高。

最后感謝項目推進過程中所有合作方和項目組同學的付出和努力，感謝各個團隊各位老大們的支持！

十、主要參考文獻

如果對NLG領域感興趣希望精讀一些paper，可以看下我們精選的NLG、NMT和TextSummarization領域的以下這些paper。

Context-aware Natural Language Generation with Recurrent Neural Networks

Neural Text Generation from Structured Data with Application to the Biography Domain

Semantically Conditioned LSTM-based Natural Language Generation for Spoken Dialogue Systems

Towards Constructing Sports News from Live Text Commentary

What to talk about and how? Selective Generation using LSTMs with Coarse-to-Fine

Chinese Poetry Generation with Planning based Neural Network 2016

Neural Machine Translation by Jointly Learning to Align and Translate 2015

Google’s Neural Machine Translation System- Bridging the Gap between Human and Machine Translation

Temporal Attention Model for Neural Machine Translation

Effective approaches to attention-based neural machine translation 2015

Abstractive sentence summarization with attentive recurrent neural networks 2016

A neural attention model for abstractive sentence summarization 2015

Abstractive Text Summarization using Sequence-to-sequence RNNs and Beyond

Get To The Point- Summarization with Pointer-Generator Networks

SummaRuNNer- A Recurrent Neural Network based Sequence Model for Extractive

A Deep Reinforced Model for Abstractive Summarization