基于強化學(xué)習的MTO企業(yè)訂單接受決策模型研究.pdf

1、在競爭日益激烈的制造業(yè)環(huán)境下，為了快速地響應(yīng)顧客的個性化需求，從而獲得利潤和取得市場競爭優(yōu)勢，越來越多的制造型企業(yè)將面向訂單生產(chǎn)(Make-to-Order, MTO)的生產(chǎn)模式應(yīng)用到了現(xiàn)代化生產(chǎn)中。針對MTO企業(yè)訂單接受決策過程中的不確定性，研究如何對訂單的收益和其帶來的一系列成本進行權(quán)衡，從而選擇性的接受訂單，以最大化MTO企業(yè)的長期利潤這一問題具有很好的理論價值和實際應(yīng)用價值，已經(jīng)引起了企業(yè)界和學(xué)術(shù)界的廣泛關(guān)注。從現(xiàn)有情況來看，針

2、對不同訂單及MTO企業(yè)的特征，許多學(xué)者提出了解決訂單接受決策問題的模型和方法，可以給出較好的訂單處理策略，但是已有研究大多假定市場需求是靜態(tài)確定的，較少研究隨機動態(tài)環(huán)境下的訂單接受問題，并且較少將顧客等級、延期懲罰成本以及MTO企業(yè)生產(chǎn)能力限制等因素進行綜合考慮。此外，已有模型和方法難以針對復(fù)雜不確定的現(xiàn)實環(huán)境給予準確建模，且模型求解是NP-hard的，也較少針對MTO企業(yè)訂單接受決策支持系統(tǒng)進行研究?？梢姡瑢τ贛TO企業(yè)訂單接受決策問

3、題仍需要做進一步深入的研究。
　　已有研究成果表明，強化學(xué)習不需要對環(huán)境進行顯示的建模，適合于解決隨機動態(tài)環(huán)境下的復(fù)雜序貫決策問題;而多Agent技術(shù)與Web服務(wù)技術(shù)的結(jié)合，可以為訂單接受決策支持系統(tǒng)的實現(xiàn)提供有效的機制和理想的解決方案。因此，基于強化學(xué)習的MTO企業(yè)訂單接受決策及訂單接受決策支持系統(tǒng)的設(shè)計與開發(fā)問題，是一個值得關(guān)注的、具有現(xiàn)實意義的研究課題。鑒于此，本文開展了相關(guān)研究，主要完成的工作包括以下四個方面:
　　

4、(1)提煉了隨機動態(tài)環(huán)境下，綜合考慮有限訂單特征及MTO企業(yè)生產(chǎn)能力限制等因素的訂單接受問題。針對已有研究的不足，本文在綜合考慮生產(chǎn)成本、延期懲罰成本以及拒絕成本等前提下，引入顧客等級這一要素，提煉出了更加符合現(xiàn)實需要的隨機動態(tài)環(huán)境下的MTO企業(yè)訂單接受問題。
　　(2)給出了基于強化學(xué)習的MTO企業(yè)訂單接受決策模型及求解方法。針對本文研究問題，結(jié)合強化學(xué)習的思想，構(gòu)建了基于半馬爾科夫決策過程的訂單接受決策模型，并提出了基于SMA

5、RT算法的訂單接受決策模型求解方法。
　　(3)通過仿真驗證了基于強化學(xué)習的MTO企業(yè)訂單接受模型及求解方法的可靠性和有效性。首先，在三種不同情境下，驗證了基于強化學(xué)習的訂單接受策略表現(xiàn)均優(yōu)于基于先來先服務(wù)(FCFS)的訂單接受策略;其次，通過對是否考慮顧客等級的兩種情境進行對比，驗證了引入顧客等級這一要素的必要性和重要性。
　　(4)通過將基于強化學(xué)習的MTO企業(yè)訂單接受決策方法嵌入到多Agent系統(tǒng)中，設(shè)計和開發(fā)了MTO

6、企業(yè)訂單接受決策支持系統(tǒng)(Order Acceptance SupportDecision System，OA_DSS)。本文基于多Agent技術(shù)與Web服務(wù)技術(shù)，在給出訂單接受決策支持系統(tǒng)的詳細設(shè)計及實現(xiàn)的關(guān)鍵技術(shù)的基礎(chǔ)上，使用Eclipse等開發(fā)軟件，實現(xiàn)了OA DSS的原型系統(tǒng)。
　　本文提出的基于強化學(xué)習的MTO企業(yè)訂單接受策略和開發(fā)的MTO企業(yè)訂單接受決策支持系統(tǒng)，可以更好的輔助決策者快速準確的響應(yīng)顧客訂單請求。此外，本