【導(dǎo)讀】讓用戶在體驗(yàn)過(guò)程中關(guān)注主要部分，得先抓住用戶的眼球。

人每時(shí)每刻都在接收海量的信息，例如每秒進(jìn)入視網(wǎng)膜的數(shù)據(jù)量就達(dá)到了10的10次方比特，但人類會(huì)選擇性地關(guān)注一些任務(wù)相關(guān)或感興趣的區(qū)域以進(jìn)一步處理，比如記憶、理解和采取行動(dòng)等。

如何將人類的注意力進(jìn)行建模，即顯著性模型（saliency model）在神經(jīng)科學(xué)、心理學(xué)、人機(jī)交互（HCI）和計(jì)算機(jī)視覺(jué)等領(lǐng)域開(kāi)始得到廣泛關(guān)注。

預(yù)測(cè)「哪些區(qū)域可能吸引注意力」的能力在圖形、攝影、圖像壓縮和處理以及視覺(jué)質(zhì)量測(cè)量等領(lǐng)域具有許多重要應(yīng)用。

不過(guò)，使用機(jī)器學(xué)習(xí)和基于智能手機(jī)的凝視估計(jì)來(lái)加速眼動(dòng)研究需要專門(mén)的硬件，每臺(tái)成本高達(dá)三萬(wàn)美元，并不具備廣泛推廣的條件。

最近，谷歌的研究人員介紹了兩篇相關(guān)領(lǐng)域的研究論文，分別發(fā)表在CVPR 2022和CVPR 2023上，主要研究了如何利用「人類注意力的預(yù)測(cè)模型」來(lái)實(shí)現(xiàn)更好的用戶體驗(yàn)，例如用圖像編輯操作以最大限度地減少視覺(jué)混亂、分心或偽影等問(wèn)題，使用圖像壓縮來(lái)更快地加載網(wǎng)頁(yè)或應(yīng)用程序，并引導(dǎo)機(jī)器學(xué)習(xí)模型實(shí)現(xiàn)更直觀的類人解釋和模型性能。

這兩篇論文主要關(guān)注圖像編輯和圖像壓縮，并討論了在具體應(yīng)用場(chǎng)景下，對(duì)注意力建模的相關(guān)最新進(jìn)展。

注意力引導(dǎo)的圖像編輯

對(duì)人體注意力進(jìn)行建模，通常需要把眼睛看到的圖像作為輸入，如自然圖像或網(wǎng)頁(yè)的屏幕截圖等，并將預(yù)測(cè)的熱力圖作為輸出。

預(yù)測(cè)得到的熱力圖會(huì)根據(jù)「眼球跟蹤器」或「鼠標(biāo)懸停/點(diǎn)擊」等收集到的實(shí)時(shí)注意力近似值進(jìn)行評(píng)估。

之前的模型大多利用手工制作的視覺(jué)線索特征，如顏色/亮度對(duì)比度、邊緣和形狀等，最近也有一些方法轉(zhuǎn)向基于深度神經(jīng)網(wǎng)絡(luò)來(lái)自動(dòng)學(xué)習(xí)判別特征，使用的模型包括卷積、遞歸神經(jīng)網(wǎng)絡(luò)以及視覺(jué)Transformer網(wǎng)絡(luò)等。

谷歌在CVPR2022上發(fā)表的一篇論文中，利用深度顯著性模型（deep saliency models）進(jìn)行視覺(jué)逼真的編輯（visually realistic edits），可以顯著改變觀察者對(duì)不同圖像區(qū)域的注意力。

論文鏈接：https://openaccess.thecvf.com/content/CVPR2022/papers/Aberman_Deep_Saliency_Prior_for_Reducing_Visual_Distraction_CVPR_2022_paper.pdf

比如移除背景中分散注意力的物體可以降低照片中的雜亂程度，從而提高用戶滿意度；同樣，在視頻會(huì)議中，減少背景中的混亂度也可以增加對(duì)主要發(fā)言者的關(guān)注度。

為了探索哪些類型的編輯效果是可實(shí)現(xiàn)的，以及這些效果如何影響觀眾的注意力，研究人員開(kāi)發(fā)了一個(gè)優(yōu)化框架，以用于使用可區(qū)分的預(yù)測(cè)顯著性模型來(lái)引導(dǎo)圖像中的視覺(jué)注意力。

給定輸入圖像和表示干擾物區(qū)域的二元遮罩，使用顯著性預(yù)測(cè)模型對(duì)遮罩內(nèi)的像素提供指導(dǎo)并編輯圖像，降低遮罩區(qū)域內(nèi)的顯著性。

為了確保編輯后的圖像自然且逼真，研究人員精心選擇了四種圖像編輯操作符，其中包括兩個(gè)標(biāo)準(zhǔn)圖像編輯操作（即重新著色和圖像扭曲）；以及及兩個(gè)可學(xué)習(xí)的操作符，即多層卷積濾波器和生成模型（GAN）。

利用這些操作符，該框架可以產(chǎn)生各種強(qiáng)大的效果，包括重新著色、修復(fù)、偽裝、對(duì)象編輯、插入以及面部屬性編輯，并且所有這些效果都是由單個(gè)預(yù)訓(xùn)練的顯著性模型驅(qū)動(dòng)的，沒(méi)有任何額外的監(jiān)督或訓(xùn)練。

減少視覺(jué)干擾的例子，由顯著性模型與幾個(gè)操作符引導(dǎo)，干擾物區(qū)域被標(biāo)記在顯著性圖（紅色邊框）的頂部

需要注意的是，研究人員的目標(biāo)不是與產(chǎn)生每種效果的專用方法競(jìng)爭(zhēng)，只是演示如何通過(guò)嵌入在深度顯著性模型中的知識(shí)來(lái)指導(dǎo)多個(gè)編輯操作。

個(gè)性化的顯著性建模

之前的研究假定單個(gè)顯著性模型即可完成對(duì)全部人群的預(yù)測(cè)任務(wù)，不過(guò)人類的注意力在個(gè)體之間是不同的：雖然對(duì)顯著線索的檢測(cè)是一致的，但具體的順序、解釋和注視分布可以有很大的區(qū)別，這一問(wèn)題也提供了為個(gè)人或團(tuán)體創(chuàng)建個(gè)性化用戶體驗(yàn)的機(jī)會(huì)。

在CVPR2023的一篇論文中，谷歌的研究人員引入了一個(gè)用戶感知的顯著性模型，也是首個(gè)僅用單模型就可以完成預(yù)測(cè)某個(gè)用戶、一組用戶和通用人群注意力的框架。

論文鏈接：https://openaccess.thecvf.com/content/CVPR2023/papers/Chen_Learning_From_Unique_Perspectives_User-Aware_Saliency_Modeling_CVPR_2023_paper.pdf

該框架的核心是將每個(gè)參與者的視覺(jué)偏好與每個(gè)用戶的注意力熱力圖和自適應(yīng)用戶遮罩進(jìn)行組合，需要每個(gè)用戶的注意力標(biāo)注在訓(xùn)練過(guò)程中都是可用的，可用的數(shù)據(jù)集包括用于自然圖像的OSIE移動(dòng)的凝視數(shù)據(jù)集、網(wǎng)頁(yè)的FiWI和WebSaliency數(shù)據(jù)集。

該模型并沒(méi)有預(yù)測(cè)表示所有用戶的注意力的單個(gè)顯著性熱力圖，而是預(yù)測(cè)每個(gè)用戶的注意力圖以編碼個(gè)體的注意力模式。

此外，該模型采用用戶掩碼（大小等于參與者數(shù)量的二進(jìn)制向量）來(lái)指示當(dāng)前樣本中參與者的存在，使得模型可以選擇一組參與者，并將偏好組合成單個(gè)熱力圖。

預(yù)測(cè)注意力與GT值，EML-Net是最先進(jìn)模型的預(yù)測(cè)，對(duì)于兩個(gè)參與者/組具有相同的預(yù)測(cè)；Ours提出的用戶感知顯著性模型的預(yù)測(cè)，可以正確預(yù)測(cè)每個(gè)參與者/組的獨(dú)特偏好。第一個(gè)圖像來(lái)自O(shè)SIE圖像集，第二個(gè)圖像來(lái)自FiWI。

以顯著特征為中心的漸進(jìn)式圖像解碼

除了圖像編輯，人類注意力模型也可以改善用戶的瀏覽體驗(yàn)。

在上網(wǎng)時(shí)，最讓人感到不舒服的用戶體驗(yàn)之一就是等待加載帶有圖像的網(wǎng)頁(yè)，特別是在網(wǎng)速很慢的情況下，一種改善用戶體驗(yàn)的方式是圖像的漸進(jìn)式解碼，可以隨著數(shù)據(jù)逐漸下載再解碼，并顯示越來(lái)越高分辨率的圖像，直到全分辨率圖像準(zhǔn)備就緒。

漸進(jìn)式解碼通常按順序進(jìn)行（例如，從左到右、從上到下），使用預(yù)測(cè)注意力模型，就可以基于顯著性對(duì)圖像進(jìn)行解碼，從而可以首先發(fā)送顯示最顯著區(qū)域的細(xì)節(jié)所需的數(shù)據(jù)。

例如，在肖像中，用于面部的字節(jié)可以優(yōu)先于用于失焦背景的字節(jié)，因此用戶更早地感知到更好的圖像質(zhì)量，并體驗(yàn)到顯著減少的等待時(shí)間。

基于這個(gè)想法，預(yù)測(cè)注意力模型可以幫助圖像壓縮和更快地加載具有圖像的網(wǎng)頁(yè)，改善大型圖像和流媒體/VR應(yīng)用的渲染。

結(jié)論

上面兩篇論文展示了人類注意力的預(yù)測(cè)模型如何通過(guò)具體的應(yīng)用場(chǎng)景實(shí)現(xiàn)令人愉快的用戶體驗(yàn)，例如圖像編輯操作，可以減少用戶圖像或照片中的混亂、分心或偽影，以及漸進(jìn)式圖像解碼，可以大大減少用戶在圖像完全渲染時(shí)的感知等待時(shí)間。

文中提出的用戶感知顯著性模型可以進(jìn)一步為個(gè)人用戶或群體個(gè)性化上述應(yīng)用程序，從而實(shí)現(xiàn)更豐富、更獨(dú)特的體驗(yàn)。