眾包質量控制算法及評價框架研究.pdf

1、眾包技術通過招募未知工作者群體，利用群體的智慧來解決機器難以解決的問題。雖然眾包近年來已經得到了廣泛應用，但是眾包解決問題時需要從未知工作者收集答案，使得質量控制問題成為在線眾包平臺面臨的最大挑戰(zhàn)。平臺的工作者們可能缺乏必要的專業(yè)知識、存在偏見或者被惡意因素所驅使，因而會造成低質量甚至完全錯誤的眾包結果。
　　為了解決這個問題，本文提出了一種兩階段基于工作者過濾和期望最大化的質量控制算法。在第一階段，算法利用工作者應答時間和答案沖

2、突作為反饋，對工作者進行評價并過濾惡意工作者。在第二階段，算法通過采樣算法設定初始值，并通過期望最大化算法，估計用戶質量和任務的答案，得到高質量的聚合答案。該算法解決了傳統(tǒng)算法中隱式反饋未得到有效利用、惡意工作者影響答案質量以及期望最大化算法初始值設定等問題。
　　盡管相關研究已經提出多種質量控制算法，但研究中缺乏統(tǒng)一的評價標準和評價指標。本文針對這個問題，提出了眾包質量控制算法的通用評價框架，并提出了任務分配、惡意工作者比例、答