經(jīng)過(guò)多年在人因工程技術(shù)創(chuàng)新領(lǐng)域的探索，津發(fā)科技自主研發(fā)的ErgoLAB人機(jī)環(huán)境同步平臺(tái)于2016年12月再次迎來(lái)重大更新并正式發(fā)布面部表情分析系統(tǒng)Facial Emotion Coding System(FECS)！

FECS面部表情分析系統(tǒng)簡(jiǎn)介

面部表情分析系統(tǒng) Facial Emotion Coding System(FECS)能夠?qū)崿F(xiàn)在人機(jī)交互過(guò)程中實(shí)時(shí)同步記錄面部表情并進(jìn)行數(shù)據(jù)分析。采用三維模型識(shí)別人臉并定位面部肌肉特征點(diǎn)的位置計(jì)算和分類(lèi)面部表情，可以全自動(dòng)分類(lèi)和識(shí)別七種表情下的情緒：

• 快樂(lè)(Joy)

• 憤怒(Anger)

• 驚訝(Surprise)

• 恐懼(Fear)

• 輕蔑(Contempt)

• 悲傷(Sadness)

• 厭惡(Disgust)

面部表情分析系統(tǒng) Facial Emotion Coding System(FECS)通過(guò)圖像和視頻可以自動(dòng)識(shí)別人的面部表情，可以區(qū)分心理狀態(tài)（積極，中性，消極），進(jìn)行面部特征識(shí)別（內(nèi)眼角、外眼角、鼻尖、嘴等），進(jìn)行檢測(cè)（挫敗、困惑），評(píng)估頭部動(dòng)作（頭部的三維轉(zhuǎn)動(dòng)度數(shù)，包括pitch, yaw, roll），測(cè)定注視方向（左面、前面、右面）等。

人臉表情識(shí)別技術(shù)

心理學(xué)家 Mehrabian的研究結(jié)果表明，感情表達(dá)=7%的言詞+38%的聲音+55%的面部表情（Mehrabian, 1968）。表情作為人類(lèi)情感表達(dá)的主要方式，其中蘊(yùn)含了大量有關(guān)內(nèi)心情感變化的信息，通過(guò)面部表情人們可以推斷內(nèi)心微妙的情感狀態(tài)。但是，讓計(jì)算機(jī)讀懂人類(lèi)面部表情所蘊(yùn)含的情感并非簡(jiǎn)單的事情。作為智能化人機(jī)交互的重要組成部分，人臉表情識(shí)別一直是備受關(guān)注的研究課題。人臉表情識(shí)別 （Facial Expression Recognition, FER）所研究的就是如何準(zhǔn)確、地利用人臉表情所傳達(dá)的信息進(jìn)行內(nèi)心情感分析，其研究涉及圖像處理、機(jī)器視覺(jué)、情感計(jì)算及心理學(xué)等多個(gè)學(xué)科。

面部表情研究

研究表明，面部表情對(duì)于快樂(lè)、憤怒、驚訝、恐懼、輕蔑、悲傷、厭惡這七種情緒的表現(xiàn)具有普遍性。達(dá)爾文(1872)*個(gè)提出面部表情對(duì)于情緒表現(xiàn)的普遍性這一觀點(diǎn)，他認(rèn)為情緒和它們的表現(xiàn)具有生物內(nèi)在性和進(jìn)化適應(yīng)性，情緒及其表現(xiàn)的相似性體現(xiàn)在不同的生物種系中。

Tomkins(1964)*次用實(shí)驗(yàn)證明了面部表情和情緒狀態(tài)相關(guān)。20世紀(jì)60年代，心理學(xué)家Paul Ekman提出了一套廣為接受的實(shí)驗(yàn)方法：他將帶有不同面部表情的西方人照片展示給遠(yuǎn)居世外的土著，然后問(wèn)他們照片中的人表達(dá)了怎樣的情緒。隨后眾多研究人員通過(guò)大量研究發(fā)現(xiàn)，不同文化下的人都能夠正確地識(shí)別出這七中情緒下的面部表情。同時(shí)，在這七種情緒產(chǎn)生時(shí)，不同文化下的人也會(huì)產(chǎn)生相同的面部表情。

到目前為止，科學(xué)研究的結(jié)果都有力地證明了面部表情對(duì)于快樂(lè)、憤怒、驚訝、恐懼、輕蔑、悲傷、厭惡這七種情緒表現(xiàn)的普遍性。因此對(duì)于人機(jī)交互或心理學(xué)研究人員來(lái)說(shuō)，分析面部表情能夠可靠有效地了解被試的情緒狀態(tài)，對(duì)于優(yōu)化人機(jī)交互過(guò)程具有重要意義。

表情分析技術(shù)應(yīng)用

以產(chǎn)品設(shè)計(jì)領(lǐng)域?yàn)槔?，研究人員能夠通過(guò)獲取消費(fèi)者使用產(chǎn)品過(guò)程中的面部表情，分析他們對(duì)于產(chǎn)品真正的感覺(jué)和喜好，而不是僅僅依靠主觀測(cè)評(píng)或問(wèn)卷來(lái)獲取相關(guān)信息，減少了研究中的主觀性和偏見(jiàn)。使用ErgoLAB人機(jī)環(huán)境同步平臺(tái)，還能夠在人機(jī)交互過(guò)程中同步采集和分析被試的腦電、眼動(dòng)、生理、行為、肢體動(dòng)作、生物力學(xué)、物理環(huán)境等數(shù)據(jù)，結(jié)合面部表情分析數(shù)據(jù)為產(chǎn)品的評(píng)估提供客觀的數(shù)據(jù)支撐。

研究領(lǐng)域

• 人機(jī)交互與人工智能：人類(lèi)情感計(jì)算可以基于面部表情數(shù)據(jù)形成數(shù)據(jù)庫(kù)，并進(jìn)行模式識(shí)別和機(jī)器學(xué)習(xí)，對(duì)于未來(lái)人機(jī)交互和人工智能研究具有重要意義。

• 人機(jī)界面設(shè)計(jì)與可用性測(cè)試：易用性和用戶界面的效率都能夠通過(guò)情感變化表達(dá)出來(lái)，面部表情在人機(jī)界面設(shè)計(jì)研究方面能夠提供非常有價(jià)值的信息。如在測(cè)試新開(kāi)發(fā)的時(shí)，了解測(cè)試者觀看時(shí)會(huì)出現(xiàn)怎樣的情緒，觀察他們是否能很輕松地瀏覽。此外，人們更感興趣的是當(dāng)測(cè)試參與者觀看的哪一個(gè)部分時(shí)，面部出現(xiàn)“喜悅”或“驚訝”的表情。

• 市場(chǎng)研究：對(duì)一個(gè)新型商業(yè)設(shè)計(jì)人們反應(yīng)如何？例如，一個(gè)廣告能否使人們?cè)谶m當(dāng)?shù)臅r(shí)刻發(fā)笑，或者在目標(biāo)人群間是否存在差異。

• 消費(fèi)者行為：研究參與者在特定的感覺(jué)測(cè)定系統(tǒng)中對(duì)刺激如何響應(yīng)，如研究?jī)和秤貌煌澄飼r(shí)的行為。

• 心理學(xué)：在恐懼研究中人們對(duì)特定的刺激如何反應(yīng)？使用面部表情分析系統(tǒng)去分析這些傳統(tǒng)刺激-反應(yīng)實(shí)驗(yàn)中的情緒表達(dá)，了解人們的反應(yīng)：驚訝，生氣，喜悅等等。

• 醫(yī)學(xué)：識(shí)別特定腦神經(jīng)心理活動(dòng)發(fā)生的時(shí)間。

面部表情分析與人機(jī)環(huán)境同步技術(shù)

津發(fā)科技自主研發(fā)ErgoLAB人機(jī)環(huán)境同步平臺(tái)正式發(fā)布了面部表情分析系統(tǒng)模塊Facial Emotion Coding System(FECS)，可實(shí)現(xiàn)與多元數(shù)據(jù)同步，完成多通道多模態(tài)大數(shù)據(jù)的整合統(tǒng)計(jì)與分析。隨著FECS面部表情分析功能模塊的發(fā)布，ErgoLAB人機(jī)環(huán)境同步平臺(tái)已經(jīng)能夠?qū)崿F(xiàn)在四種不同的實(shí)驗(yàn)環(huán)境下進(jìn)行定量的科學(xué)研究實(shí)驗(yàn)（VR虛擬現(xiàn)實(shí)環(huán)境、虛擬仿真環(huán)境、實(shí)驗(yàn)室和真實(shí)現(xiàn)場(chǎng)自然環(huán)境），實(shí)時(shí)同步采集腦電、眼動(dòng)、生理、行為、面部表情、動(dòng)作捕捉、生物力學(xué)和物理環(huán)境等多元數(shù)據(jù)，并進(jìn)行綜合分析。面部表情數(shù)據(jù)可與其他模塊數(shù)據(jù)進(jìn)行同步分析，例如觀察被試在露出害怕表情時(shí)心率、皮電的變化等。zui終數(shù)據(jù)可以用表格、圖表等可視化形式呈現(xiàn)并導(dǎo)出。

津發(fā)科技堅(jiān)持自主研發(fā)與創(chuàng)新的發(fā)展道路，致力于人因工程與工效學(xué)技術(shù)創(chuàng)新與進(jìn)步，為中國(guó)教育與科研事業(yè)的發(fā)展提供服務(wù)！

參考文獻(xiàn)

Darwin, C. (1872). The expression of emotion in man and animals. New York: Oxford University Press.

Mehrabian, A. (1968). Communication without words. Psychology Today, 2(4):53-56.

Tomkins, S. S., & McCarter, R. (1964). What and where are the primary affects? Some evidence for a theory. Perceptual and Motor Skills, 18(1), 119-158.