基于深度強化學(xué)習的主動人臉感知技術(shù)研究.pdf

1、服務(wù)機器人是機器人行業(yè)重要的一個研究方向。近幾年，面向教育、醫(yī)療、家居等行業(yè)的服務(wù)機器人在市場上涌現(xiàn)，但是當前服務(wù)機器人行業(yè)普遍沒有得到用戶的良好反應(yīng)，其主要原因在于技術(shù)積淀不足，很多技術(shù)問題尚未解決。例如服務(wù)機器人為了和人進行友好的交互，一般需要服務(wù)機器人的感知器能夠主動對準人臉，實現(xiàn)面對面交流的效果。然而現(xiàn)有的方法只能在人臉已經(jīng)進入機器人視野后，機器人才能意識到已經(jīng)有人出現(xiàn)，不能通過人的其他身體部位進行判斷。另外，服務(wù)機器人的陌生人

2、報警和面向不同用戶進行個性化交流的功能，都需要機器人進行人臉識別，這就要求機器人能夠主動感知人臉所在位置。這樣不僅能夠在感官上提升人和機器人的交互體驗，更是正確識別不同人身份信息的重要條件。在現(xiàn)有的技術(shù)方案中，通常需要人配合機器人，自主移動到機器人的視野中，然而在大部分情況下，人只是走進了機器人的視野，機器人卻沒有或者很難感知到完整的人臉信息。如何讓機器人主動的進行人臉感知，并通過調(diào)整自身姿態(tài)來獲取更多有用的信息，這個問題就是本課題著重

3、解決的問題。
　　針對上文所提出的問題，我們希望通過訓(xùn)練得到一個決策網(wǎng)絡(luò)，該網(wǎng)絡(luò)能夠根據(jù)當前機器人所獲得的信息推斷目標位置并執(zhí)行相關(guān)動作。這一過程被定義為主動人臉感知問題。主動人臉感知問題可以建模為馬爾可夫決策過程，從而采用深度強化學(xué)習算法訓(xùn)練智能體完成主動人臉感知任務(wù)。
　　本文基于深度強化學(xué)習算法，實現(xiàn)了主動人臉感知，完成的工作可以分為以下幾個方面:
　　1、介紹了主動人臉感知問題的研究現(xiàn)狀，通過分析國內(nèi)外的研究成

4、果，結(jié)合服務(wù)機器人的實際情況，歸納出本文所解決的問題:在人臉未進入機器人視野的情況下，如何主動尋找人臉。通過對強化學(xué)習、深度學(xué)習和深度強化學(xué)習的理論研究，本文提出了一種采用深度強化學(xué)習算法進行主動人臉感知的方法。
　　2、詳細介紹了深度強化學(xué)習的基礎(chǔ)算法深度學(xué)習和強化學(xué)習，在總結(jié)他們的算法原理和優(yōu)缺點的基礎(chǔ)上，概況了深度強化學(xué)習在解決主動人臉感知問題中的優(yōu)勢。
　　3、將主動人臉感知問題建模為馬爾可夫過程。從理論上論證，本課

5、題提出的深度強化學(xué)習方法能夠訓(xùn)練策略網(wǎng)絡(luò)來解決人臉感知問題。
　　4、由于在實際場景中驗證算法會花費大量的人力物力，本工作先構(gòu)建了一個仿真的實驗場景。在仿真場景中對算法進行驗證，確保算法可行性的基礎(chǔ)上，再將算法移植到實際場景中進行驗證。
　　5、本文把深度強化學(xué)習算法應(yīng)用在實際的場景中。采用一個主動相機來模擬服務(wù)機器人，訓(xùn)練機器人在只看到人腳的時候，能夠主動地尋找到人臉。通過實驗驗證，本文提出的方法有效地解決了主動人臉感知問