1. 引言
視覺是我們最重要的感官之一，使我們能夠看到我們周圍的世界。我們的眼球運動包含重要的信息，我們的面部表情也是如此。通過觀察用戶的眼球運動，以及注視和面部表情，我們可以更多地了解潛意識過程。這可以通過眼球追蹤技術(shù)來完成。結(jié)合面部表情分析技術(shù)，這為用戶體驗、客戶偏好和欣賞提供了寶貴的見解。
長久以來表情和眼動分析就被用于用戶體驗研究的相關(guān)項目中，表情和眼動的定量化分析方法，能夠幫助用戶研究人員，更加準(zhǔn)確的了解和描述用戶的產(chǎn)品使用過程，為產(chǎn)品原型、產(chǎn)品素材、宣發(fā)材料等各種材料提供更加科學(xué)和客觀的驗證結(jié)果。
比如MEUX在21年與諾達思合作的一項研究中就通過眼動的方式探究視頻類APP，標(biāo)題在視頻窗口上方或下方，對用戶瀏覽模式的影響。
還有用戶體驗界大名鼎鼎的尼爾森諾曼集團，在2020年發(fā)表的文章中提到，他們在眼動分析項目中，發(fā)現(xiàn)用戶在瀏覽產(chǎn)品頁面時會存在“割草機模式”的瀏覽習(xí)慣，也即習(xí)慣從頁面內(nèi)容左上角開始，向右移動到末尾，然后向下折返瀏覽。
還有早在06年的時候，魯汶大學(xué)的研究者就是用FaceReader軟件，對用戶產(chǎn)品使用過程中的愉悅體驗進行測量，發(fā)現(xiàn)用戶瀏覽網(wǎng)站時，看到網(wǎng)站相關(guān)設(shè)計亮點時，會不自覺地流露出積極的面部表情，當(dāng)用戶遇到困難或者對內(nèi)容感到困惑時，會流露出負(fù)面的面部表情。
1.1什么是眼動分析？
眼動追蹤是一種測量眼球運動的技術(shù)，可以知道一個人在看什么，他們在看什么，以及他們的目光在特定位置停留了多長時間。用戶視線停止移動的區(qū)域稱為“注視”，注視是我們視覺注意加工信息的最基本單元，而用戶眼睛在注視點之間的移動稱為“眼跳”。通過可視化呈現(xiàn)，我們可以看到眼睛在頁面上的瀏覽路徑。
通過觀察我們?nèi)绾伍喿x文本，可以理解“注視”和“眼跳”這兩個概念。我們經(jīng)常聽到高效的讀者“掃描”文本。在眼球運動方面，一個高效的讀者往往有較小的注視點和更長的眼跳，而較弱的讀者往往有更長的注視時間和更短的眼跳。差異可以在下圖中清楚地看到。左邊的那個是一個更強的讀者，可以快速輕松地在文本中移動，而右邊的那個是一個較弱的讀者。
眼動分析一般是通過一個專用的硬件——眼動儀，捕捉用戶在使用產(chǎn)品時，用戶的注視點位置。眼動儀是一個比較精密的科研儀器，集成了外攝像機、紅外燈，以及最重要的眼球識別的技術(shù)。眼動分析的開展離不開專業(yè)的硬件，這也就意味著設(shè)備的使用成本較高，并且相關(guān)專業(yè)人員的培養(yǎng)也是不小的投入。由于這類的問題，使得眼動技術(shù)雖然能很好反應(yīng)用戶使用產(chǎn)品的完整過程，但只有在一些較大的公司才會使用到該技術(shù)。
1.2什么是面部表情分析？
面部表情分析則是通過一個AI算法，學(xué)習(xí)了人類分類表情的基本規(guī)則，進而定量化的輸出用戶在使用產(chǎn)品期間，或者關(guān)鍵的事件點上，表情變化的基本強度值。該算法能通過一個普通攝像機拍攝的畫面，自動找到用戶面部500個特征點，并進行建模，進而計算出用戶7中基本表情的強度值，和20個微表情動作單元的變化。由于是純軟件的算法，因此已經(jīng)有云分析平臺了，使用者只需要上傳自己希望測試的材料或者網(wǎng)頁連接，便能夠輕松完成大樣本的定量表情測試。
1.3結(jié)合兩種手段的優(yōu)勢
這兩種生物測量的技術(shù)手段在實際用戶體驗研究項目中各有優(yōu)劣，眼動能夠較好的還原用戶的認(rèn)知過程，比如用戶在尋找自己訂單信息時，首先會在哪些地方尋找，他看到哪些信息后，會產(chǎn)生點擊“我的”這個操作，這樣認(rèn)知信息的還原基本能回到產(chǎn)品體驗中遇到的70%的問題，而另外30%則是用戶使用產(chǎn)品過程中的情緒感受的結(jié)果。比如用戶尋找訂單時，哪些關(guān)鍵時刻讓他產(chǎn)生眉毛下降的表情動作，哪些版本的界面設(shè)計能讓用戶在較高情緒效價水平下完成任務(wù)。
因此很多的研究者也試圖同時使用這兩種工具，來進行產(chǎn)品相關(guān)研究，比如2015年的時候蒙德拉貢大學(xué)的研究者就提出了將兩者結(jié)合的方法，并將這種方法稱為眼臉分析系統(tǒng)，研究者使用這樣的多維度測量手段，能更加全面的對產(chǎn)品進行體驗評估。
Eyeface由兩個計算機工作站組成，每個工作站都運行特定的工具，即眼球追蹤和面部表情識別。對于這項研究工作中，Facereader的網(wǎng)絡(luò)攝像頭安裝在眼球追蹤設(shè)備的頂部。因此對普通的用戶研究人員，要使用這樣的多通道的分析技術(shù)，幾乎不現(xiàn)實，而所有問題的癥結(jié)就在于眼動分析需要有額外的硬件，沒法做到*的遠(yuǎn)程在線收集數(shù)據(jù)。
隨著近年來AI技術(shù)的逐步發(fā)展，和相關(guān)模型算法的完善，通過一個普通攝像頭識別用戶的眼動逐漸變得可行，基于這樣的背景下，諾達思公司聯(lián)合了位于阿姆斯特丹的VicarVision，一起開發(fā)了一套通過普通攝像頭識別用戶眼動的算法，并將該算法集成到了在線面部表情分析平臺中，使得以往只能在實驗室由專業(yè)研究者開展的測試，變成了一個人人都能夠使用的在線分析平臺。
2. AI同時識別眼動和表情的原理介紹
該技術(shù)發(fā)源于荷蘭地方政府資助的一個科研ICT高科技項目，Noldus和VicarVision花費了近24個月，開發(fā)一個突破性的系統(tǒng)，使用簡單的網(wǎng)絡(luò)攝像頭跟蹤眼球運動。結(jié)合現(xiàn)有的面部表情分析，就能夠提供先進的解決方案，用于測量使用筆記本電腦、平板電腦或智能手機的用戶的體驗感受。
2.1評估瞳孔大?。阂豁椌哂刑魬?zhàn)性的任務(wù)
對于瞳孔直徑的估計，我們實施并分析了兩種方法：一種是基于使用經(jīng)典計算機視覺（經(jīng)典CV）的方法，一種是基于深度學(xué)習(xí)的方法。兩種方法都對虹膜圖像進行了分割，使虹膜圖像中間的區(qū)域與眼睛的瞳孔相近，見深度學(xué)習(xí)方法（左上圖）和經(jīng)典CV方法（右圖）的處理步驟示例。在測試中，使用了手動標(biāo)注的圖片和Tobii nano pro（眼動儀）瞳孔直徑輸出?？梢苑治龅膱D片數(shù)量有差異，深度學(xué)習(xí)方法可以分析*的圖片，經(jīng)典方法可以分析70%的圖片。
在整個數(shù)據(jù)集中，我們對結(jié)果進行了充分的混合。一些被試的某些任務(wù)，測量的瞳孔大小和真值之間有很強的相關(guān)性（r = 0.86），但其他的任務(wù)卻沒有顯示出任何相關(guān)性。平均來說，有一個中度的正相關(guān)，兩種方法的表現(xiàn)相似（DL：r = 0.39 vs. CV：r = 0.37）。有幾個被試中發(fā)現(xiàn)了強烈的正相關(guān)，但這些人都是藍(lán)眼睛，沒有眼鏡。瞳孔和周圍虹膜之間的強烈對比對于瞳孔大小的估計很重要。這對顏色較深的眼睛和用光反射覆蓋瞳孔的眼睛來說是一個挑戰(zhàn)。相比之下，紅外光有一個優(yōu)勢，因為不可見的紅外光可以照亮虹膜而不干擾瞳孔的大小。另一個困難是缺乏合適的數(shù)據(jù)集。大多數(shù)可用的數(shù)據(jù)集只存在于紅外線中，缺乏可見光的特征問題。
我們的研究表明，在某些情況下，從USB攝像頭中估計瞳孔直徑是可能的，但還沒有準(zhǔn)備好實施。未來的研究可以通過增加可用數(shù)據(jù)量和進一步改進預(yù)處理步驟來優(yōu)化當(dāng)前的方法。
2.2眼動跟蹤：已經(jīng)可以落地使用
我們開發(fā)的EyeReader算法，可以估計用戶注視方向，并將其與屏幕上的圖像聯(lián)系起來。神經(jīng)網(wǎng)絡(luò)通過許多標(biāo)記的屏幕位置和視頻記錄的數(shù)據(jù)集進行訓(xùn)練，以學(xué)習(xí)眼睛的圖像和注視向量之間的關(guān)系。在一個校準(zhǔn)任務(wù)的幫助下，用戶跟隨屏幕上的點，屏幕上的2D X和Y點可以被定量解碼。用我們自己的驗證數(shù)據(jù)集進行的測試表明，該系統(tǒng)預(yù)測屏幕上的注視點的平均偏差為2.4厘米（屏幕的平均偏差為5.2%）。這與市面上其他競爭對手相當(dāng)。結(jié)果顯示，與單獨的屏幕相比，在筆記本電腦上執(zhí)行的任務(wù)的準(zhǔn)確度略高（見下面的左圖）。這可能是由于筆記本電腦的尺寸和固定位置。藍(lán)色和棕色的眼睛顏色之間沒有大的差別。眼鏡，當(dāng)它很厚并且有光反射時，在某些情況下會降低結(jié)果的準(zhǔn)確性。
2.3EyeReader
當(dāng)比較EyeReader和Tobii Nano眼動儀（科研級）的注視估計時，發(fā)現(xiàn)每個類別的總注視時間的估計之間有很強的相關(guān)性（見上面的右圖）。這些結(jié)果表明，EyeReader非常適用于研究現(xiàn)實的用戶體驗項目，可以通過該手段獲得一個非常清晰的眼動結(jié)果。你可以在一個靈活機動的實驗室環(huán)境中使用EyeReader，也可以在FaceReader Online平臺中進行在線測試（見下面的熱圖例子）。
2.4面部表情識別
面部表情識別系統(tǒng)，FaceReader是一個用于面部分析的軟件。它可以檢測面部表情。FaceReader已被訓(xùn)練為將表情歸入以下類別之一：快樂、悲傷、憤怒、驚訝、恐懼、厭惡和中性。這些情緒類別被心理學(xué)家Ekman描述為基本或人類統(tǒng)一的情緒。面部表情的強度各不相同，而且往往是各種情緒的混合。此外，人與人之間也有相當(dāng)多的差異。
FaceReader可以對上述的表情進行分類。也可以自己軟件添加自定義表情。除了面部表情之外，FaceReader還提供了一些額外的分類。例如，它可以檢測目光方向以及眼睛和嘴巴是否閉合。
FaceReader根據(jù)以下步驟對面部表情進行分類。
1.人臉識別。人臉在圖像中的位置是通過基于深度學(xué)習(xí)的人臉識別算法找到的，該算法在圖像中搜索不同比例的人臉區(qū)域。
該算法搜索圖像中不同比例的具有人臉外觀的區(qū)域。
2.面部建模。FaceReader使用了一種基于深度神經(jīng)網(wǎng)絡(luò)的面部建模技術(shù)。它合成了一個人工面部模型，描述了468個關(guān)鍵點的位置。
描述臉部468個關(guān)鍵點的位置。它是一種單程快速方法，可以直接估計臉部的全部關(guān)鍵點。在初步估計之后，關(guān)鍵點用主成分分析法進行壓縮。這導(dǎo)致了描述臉部狀態(tài)的高度壓縮的矢量代表。
3.面部分類。然后，通過訓(xùn)練有素的深度人工神經(jīng)網(wǎng)絡(luò)對面部表情進行分類，以識別面部的模式。
FaceReader直接從圖像像素中對面部表情進行分類。超過20,000張經(jīng)過人工標(biāo)注的圖像被用來訓(xùn)練人工神經(jīng)網(wǎng)絡(luò)。
該網(wǎng)絡(luò)被訓(xùn)練用來對Ekman定義的六種基本或普遍的情緒進行分類：快樂、悲傷、憤怒、驚訝、恐懼和厭惡。此外，該網(wǎng)絡(luò)還被訓(xùn)練用來對FaceReader中的面部動作單元進行分類，以識別 "中性 "狀態(tài)和分析 "輕蔑"。
3. FaceReader-Online在線面部表情眼動分析平臺
面部表情分析引擎自07年發(fā)布以來，經(jīng)過16年迭代，目前已經(jīng)到了第九版。16年間各地超過1000個研究單位使用該軟件，發(fā)表超過3000篇科研論文。諾達思在此AI引擎的基礎(chǔ)上，結(jié)合微軟Azure云的優(yōu)勢，開發(fā)了在線版的面部表情分析系統(tǒng)FaceReader-Online（以下簡稱FRO）。
FRO通過情緒的捕捉與分析,可以了解受測人員對商業(yè)廣告、電影預(yù)告片、網(wǎng)站等的喜好度、注意力等，從而為客戶提供更客觀的評價和見解。FRO可以創(chuàng)建一個或多個項目，簡言之，您只需給被試發(fā)一個測試鏈接，等待被試回應(yīng),完成測試后系統(tǒng)會自動分析，結(jié)果清晰可見,非常方便快捷。
2022年，在新技術(shù)的加持下，FRO的分析引擎也增加了眼動分析功能，能通過受試者的電腦攝像機，自動識別用戶在瀏覽網(wǎng)頁、使用產(chǎn)品原型時的情緒和注意力變化情況。
如何使用
只需三步便可完成FRO的相關(guān)設(shè)置：
1. 定義你的項目；
2. 邀請用戶測試，收集數(shù)據(jù)；
3. 查看分析結(jié)果。
3.1定義項目
在您從諾達思獲取賬號后，可以通過鏈接訪問FRO平臺，登錄之后只需要選擇新建一個分析項目即可。接下來您需要上傳您的測試材料，比如視頻廣告，或者相關(guān)App素材，測試原型鏈接等，之后您需要設(shè)置您的測試流程，如何時給用戶呈現(xiàn)視頻或圖片材料，原型測試鏈接的相關(guān)指引，測試時長有多少，結(jié)束后是否添加相關(guān)問題等。設(shè)置好試驗后，您可以進行相關(guān)的預(yù)覽和測試。
3.2邀請用戶
準(zhǔn)備好測試相關(guān)流程后，FRO會自動生成一個在線測試鏈接，您可以將該鏈接直接發(fā)送給被測試的用戶人群，也可以將該鏈接整合到你已有的問卷系統(tǒng)中。之后便可以輕松的在系統(tǒng)后臺中看到測試的進度，以及收集到的數(shù)據(jù)質(zhì)量。
3.3查看分析結(jié)果
FRO會對收集到的數(shù)據(jù)進行自動的分析，分析結(jié)束后我們便可以在后臺看到收集到的相關(guān)數(shù)據(jù)。分析數(shù)據(jù)前我們可以首先選擇對比的方式，我們可以對比不同用戶群體在使用同一個用戶界面時的結(jié)果和感受，也可以對比多個不同版本的用戶界面設(shè)計。除此以外，也能夠?qū)?shù)據(jù)做清洗，去除錄像效果較差的數(shù)據(jù)。
添加結(jié)果之后，FRO會以圖標(biāo)和表格的形式呈現(xiàn)數(shù)據(jù)，直觀對比不同版本的材料間，用戶在完成測試腳本期間表情的變化情況，如下圖示例中，可以看到新版網(wǎng)站用戶在尋找相關(guān)產(chǎn)品信息時，表情更加積極；用戶在瀏覽舊網(wǎng)站時，會有更多消極表情，而這些消極表情，主要是由于用戶瀏覽網(wǎng)站過程中的困惑，困難產(chǎn)生的，如用戶找不到相關(guān)信息時會不自覺的皺眉頭等。
眼動分析中，除了傳統(tǒng)的熱區(qū)圖以外，我們還能對感興趣的頁面區(qū)域做劃分，了解用戶進入當(dāng)前頁面瀏覽時第一次看到我們目標(biāo)區(qū)域花了多長時間（首視時間），看相關(guān)區(qū)域一共花了多長時間，以此可以定量對比不同版本的設(shè)計，對用戶產(chǎn)生的具體影響情況。
限于篇幅，我們僅就面部表情和眼動分析中的部分結(jié)果呈現(xiàn)做了展示，更多豐富的內(nèi)容可以進入查看。也可聯(lián)系我們進行免費試用。
4. 應(yīng)用前景
在豐富了FRO分析平臺從眼動到表情識別的分析能力后，FRO的應(yīng)用方向迎來了更多的想象空間，除了傳統(tǒng)的一些用戶體驗相關(guān)的視頻或者圖片素材的測試外，還能對一些概念原型做相關(guān)評估，包括但不限于如下內(nèi)容：網(wǎng)頁網(wǎng)站的可用性評估、廣告創(chuàng)意評估、圖片材料評估、產(chǎn)品貨架測試、產(chǎn)品包裝測試、虛擬門店測試、行為心理研究、預(yù)告片評估、精神疾病評估等。
FRO能使得以往需要耗費數(shù)萬元一次的線下眼動、表情測試，以標(biāo)準(zhǔn)化的線上測試的形式呈現(xiàn)，用以往五分之一的價格，便能完成一次表情+眼動的定量實驗研究，特別是在疾病流行的當(dāng)下，能幫助客戶更加高效的開展遠(yuǎn)程的用戶體驗測試項目。
關(guān)注諾達思公眾號，獲取更多產(chǎn)品信息及學(xué)術(shù)文章！
