基于深度強(qiáng)化學(xué)習(xí)的主動(dòng)人臉感知技術(shù)研究.pdf

1、服務(wù)機(jī)器人是機(jī)器人行業(yè)重要的一個(gè)研究方向。近幾年，面向教育、醫(yī)療、家居等行業(yè)的服務(wù)機(jī)器人在市場(chǎng)上涌現(xiàn)，但是當(dāng)前服務(wù)機(jī)器人行業(yè)普遍沒有得到用戶的良好反應(yīng)，其主要原因在于技術(shù)積淀不足，很多技術(shù)問題尚未解決。例如服務(wù)機(jī)器人為了和人進(jìn)行友好的交互，一般需要服務(wù)機(jī)器人的感知器能夠主動(dòng)對(duì)準(zhǔn)人臉，實(shí)現(xiàn)面對(duì)面交流的效果。然而現(xiàn)有的方法只能在人臉已經(jīng)進(jìn)入機(jī)器人視野后，機(jī)器人才能意識(shí)到已經(jīng)有人出現(xiàn)，不能通過人的其他身體部位進(jìn)行判斷。另外，服務(wù)機(jī)器人的陌生人

2、報(bào)警和面向不同用戶進(jìn)行個(gè)性化交流的功能，都需要機(jī)器人進(jìn)行人臉識(shí)別，這就要求機(jī)器人能夠主動(dòng)感知人臉?biāo)谖恢?。這樣不僅能夠在感官上提升人和機(jī)器人的交互體驗(yàn)，更是正確識(shí)別不同人身份信息的重要條件。在現(xiàn)有的技術(shù)方案中，通常需要人配合機(jī)器人，自主移動(dòng)到機(jī)器人的視野中，然而在大部分情況下，人只是走進(jìn)了機(jī)器人的視野，機(jī)器人卻沒有或者很難感知到完整的人臉信息。如何讓機(jī)器人主動(dòng)的進(jìn)行人臉感知，并通過調(diào)整自身姿態(tài)來獲取更多有用的信息，這個(gè)問題就是本課題著重

3、解決的問題。
　　針對(duì)上文所提出的問題，我們希望通過訓(xùn)練得到一個(gè)決策網(wǎng)絡(luò)，該網(wǎng)絡(luò)能夠根據(jù)當(dāng)前機(jī)器人所獲得的信息推斷目標(biāo)位置并執(zhí)行相關(guān)動(dòng)作。這一過程被定義為主動(dòng)人臉感知問題。主動(dòng)人臉感知問題可以建模為馬爾可夫決策過程，從而采用深度強(qiáng)化學(xué)習(xí)算法訓(xùn)練智能體完成主動(dòng)人臉感知任務(wù)。
　　本文基于深度強(qiáng)化學(xué)習(xí)算法，實(shí)現(xiàn)了主動(dòng)人臉感知，完成的工作可以分為以下幾個(gè)方面:
　　1、介紹了主動(dòng)人臉感知問題的研究現(xiàn)狀，通過分析國內(nèi)外的研究成

4、果，結(jié)合服務(wù)機(jī)器人的實(shí)際情況，歸納出本文所解決的問題:在人臉未進(jìn)入機(jī)器人視野的情況下，如何主動(dòng)尋找人臉。通過對(duì)強(qiáng)化學(xué)習(xí)、深度學(xué)習(xí)和深度強(qiáng)化學(xué)習(xí)的理論研究，本文提出了一種采用深度強(qiáng)化學(xué)習(xí)算法進(jìn)行主動(dòng)人臉感知的方法。
　　2、詳細(xì)介紹了深度強(qiáng)化學(xué)習(xí)的基礎(chǔ)算法深度學(xué)習(xí)和強(qiáng)化學(xué)習(xí)，在總結(jié)他們的算法原理和優(yōu)缺點(diǎn)的基礎(chǔ)上，概況了深度強(qiáng)化學(xué)習(xí)在解決主動(dòng)人臉感知問題中的優(yōu)勢(shì)。
　　3、將主動(dòng)人臉感知問題建模為馬爾可夫過程。從理論上論證，本課

5、題提出的深度強(qiáng)化學(xué)習(xí)方法能夠訓(xùn)練策略網(wǎng)絡(luò)來解決人臉感知問題。
　　4、由于在實(shí)際場(chǎng)景中驗(yàn)證算法會(huì)花費(fèi)大量的人力物力，本工作先構(gòu)建了一個(gè)仿真的實(shí)驗(yàn)場(chǎng)景。在仿真場(chǎng)景中對(duì)算法進(jìn)行驗(yàn)證，確保算法可行性的基礎(chǔ)上，再將算法移植到實(shí)際場(chǎng)景中進(jìn)行驗(yàn)證。
　　5、本文把深度強(qiáng)化學(xué)習(xí)算法應(yīng)用在實(shí)際的場(chǎng)景中。采用一個(gè)主動(dòng)相機(jī)來模擬服務(wù)機(jī)器人，訓(xùn)練機(jī)器人在只看到人腳的時(shí)候，能夠主動(dòng)地尋找到人臉。通過實(shí)驗(yàn)驗(yàn)證，本文提出的方法有效地解決了主動(dòng)人臉感知問