3.上海移動(dòng)計(jì)費(fèi)中心-提高10086短信發(fā)送及時(shí)率

1、中國(guó)移動(dòng)通信集團(tuán)上海有限公司計(jì)費(fèi)信息中心移動(dòng)信使QC小組2009-03,提高10086短信發(fā)送及時(shí)率,一、小組概況,,一、小組概況,,專業(yè)術(shù)語(yǔ)介紹：,10086,,<60s,,,短信發(fā)送及時(shí)率,,,二、選擇課題,選題理由,二、選擇課題,樣本數(shù)n=90標(biāo)準(zhǔn)差s=0.55181平均值x=98.36%,10086短信日均及時(shí)率頻數(shù)分布表,選題理由,二、選擇課題,提高短信響應(yīng)速度,10086短信月均及時(shí)率≥99％,10086短信月

2、均及時(shí)率98.36%,提高10086短信發(fā)送及時(shí)率,,,,三、設(shè)定目標(biāo),,,我們將本次QC活動(dòng)的目標(biāo)設(shè)定為：,,現(xiàn)狀 98.36%,目標(biāo) 99.00%,四、目標(biāo)可行性分析,流程開始,接收用戶短信,手機(jī)尾號(hào)拆分,中間件進(jìn)程處理,回寫發(fā)送表,發(fā)送接入網(wǎng)關(guān),用戶收到短信,1,業(yè)務(wù)流程,2,主要問(wèn)題,,,,,,,20％,40％,60％,80％,100％,0％,中間件進(jìn)程處理,手機(jī)尾號(hào)拆分,接收用戶短信,回寫發(fā)送表,發(fā)送接入網(wǎng)關(guān),0,350,

3、100,50,150,超時(shí)短信數(shù)量(萬(wàn)條),,200,250,300,中間件進(jìn)程處理,各步驟超時(shí)情況排列圖,n=3954549,四、目標(biāo)可行性分析,無(wú)法解決的因素 1.25%,理論可行性,10086短信月均發(fā)送及時(shí)率≥99％,所有超時(shí)短信,對(duì)剩余98.75%進(jìn)一步抽樣分析可知：中間件超時(shí)的可解決程度為86.24%,98.75%,五、原因分析,,,,,,,,,人,機(jī),法,環(huán),值班人員延誤處理,網(wǎng)絡(luò)連接無(wú)響應(yīng),中間件主機(jī)性能不足,數(shù)據(jù)庫(kù)

4、連接易中斷,超時(shí)短信影響后續(xù)短信,調(diào)用其他系統(tǒng)緩慢,其他值班工作干擾,網(wǎng)絡(luò)瞬間中斷,主機(jī)CPU負(fù)荷高,主機(jī)內(nèi)存負(fù)荷高,程序缺乏自動(dòng)重連機(jī)制,進(jìn)程處理為串行,系統(tǒng)環(huán)境缺陷,中間件進(jìn)程占CPU過(guò)多,無(wú)法并行處理,程序反復(fù)連接無(wú)效地址,無(wú)法區(qū)分業(yè)務(wù)類型,短信告警處理要求缺失,制圖人：邱曉波 制圖時(shí)間：2008年5月5日,系統(tǒng)圖,,值班人員未按規(guī)定操作,其他值班工作干擾,其他值班工作干擾,中間件進(jìn)程處理超時(shí)次數(shù)多,短信告警處理要求缺失,值班人

5、員未按規(guī)定操作,程序反復(fù)連接無(wú)效地址,網(wǎng)絡(luò)瞬間中斷,主機(jī)內(nèi)存負(fù)荷高,程序缺乏自動(dòng)重連機(jī)制,無(wú)法區(qū)分業(yè)務(wù)類型,系統(tǒng)環(huán)境缺陷,告警處理要求未落實(shí),六、要因確認(rèn),六、要因確認(rèn),無(wú)法區(qū)分業(yè)務(wù)類型,進(jìn)程無(wú)法區(qū)分業(yè)務(wù)大類，易引發(fā)進(jìn)程僵死,是要因,確認(rèn)標(biāo)準(zhǔn)：4%,?,六、要因確認(rèn),程序反復(fù)嘗試連接無(wú)效地址,?,?,CPU負(fù)荷與程序反復(fù)嘗試鏈接無(wú)效地址有直接聯(lián)系,該問(wèn)題引起CPU負(fù)荷超出設(shè)計(jì)要求,確認(rèn)標(biāo)準(zhǔn)：50%,是要因,六、要因確認(rèn),主機(jī)內(nèi)存占用高,

6、非要因,確認(rèn)標(biāo)準(zhǔn)：70%,主機(jī)內(nèi)存負(fù)荷情況,?,六、要因確認(rèn),程序缺乏自動(dòng)重連機(jī)制,是要因,確認(rèn)標(biāo)準(zhǔn)：4%,六、要因確認(rèn),短信告警處理要求缺失,非要因,?,值班規(guī)范是否存在相關(guān)要求,,其他一般告警，如短信系統(tǒng)告警，必須在告警發(fā)生后15分鐘內(nèi)予以處理。,六、要因確認(rèn),非要因,？,值班人員遵照規(guī)范處理,值班人員未按規(guī)定操作,六、要因確認(rèn),網(wǎng)絡(luò)瞬間中斷,確認(rèn)標(biāo)準(zhǔn)：4%,非要因,六、要因確認(rèn),中間件超時(shí)次數(shù)多的要因?yàn)?無(wú)法區(qū)分業(yè)務(wù)類型,程序反復(fù)

7、嘗試連接無(wú)效地址,程序缺乏自動(dòng)重連機(jī)制,七、制定對(duì)策,八、對(duì)策實(shí)施,區(qū)分業(yè)務(wù)類型以實(shí)現(xiàn)多路并行機(jī)制,2,整理出所有業(yè)務(wù)類型共2933種，并進(jìn)行初步分類,進(jìn)行正交試驗(yàn)確定最優(yōu)方案,,看試驗(yàn)結(jié)果，第5號(hào)試驗(yàn)及時(shí)率最高，初定優(yōu)水平A2B2C3D1,,確定業(yè)務(wù)分4類，程序并行4個(gè)，輪詢時(shí)間1.5秒和每次取數(shù)據(jù)100條的方案為最優(yōu),看一看,算一算,計(jì)算位級(jí)、極差和均值，結(jié)果顯示A2B2C3D2效果為最優(yōu),1,因子水平表：選取四因子三水平正交表

8、,八、對(duì)策實(shí)施,區(qū)分業(yè)務(wù)類型以實(shí)現(xiàn)多路并行機(jī)制,效果檢查,實(shí)施有效,,超時(shí)比例：0.48%,預(yù)期目標(biāo)：4%,八、對(duì)策實(shí)施,剔除連接已失效地址代碼,效果檢查,1,2,確認(rèn)連接無(wú)效地址的程序列表，從全部68個(gè)中找出8個(gè)存在問(wèn)題的程序,實(shí)施有效,撰寫程序修改需求工單,預(yù)期目標(biāo)：50%以下,新流程開始,八、對(duì)策實(shí)施,建立自動(dòng)重連機(jī)制,舊流程開始,接收用戶短信,手機(jī)尾號(hào)拆分,中間件進(jìn)程處理,回寫發(fā)送表,發(fā)送接入網(wǎng)關(guān),用戶收到短信,,,,,,,手動(dòng)

9、重啟,耗時(shí)>5min,10秒自動(dòng)重啟,中間件進(jìn)程處理,,回寫發(fā)送表,,發(fā)送接入網(wǎng)關(guān),,用戶收到短信,耗時(shí)<10s,1,效果檢查,實(shí)施有效,超時(shí)比例：0.12%,預(yù)期目標(biāo)：4%,,為相關(guān)程序的處理流程設(shè)計(jì)優(yōu)化方案,2,從68個(gè)中間件程序中整理出11個(gè)缺乏自動(dòng)重連機(jī)制的程序列表,在舊流程下：,在新流程下：,九、效果檢查,實(shí)施前,實(shí)施中,實(shí)施后,鞏固期,目標(biāo)完成情況檢查,目標(biāo)：99%,九、效果檢查,,目標(biāo)完成情況檢查,,九、效果檢

10、查,TL,X,及時(shí)率分布檢驗(yàn),1,及時(shí)率分布得到有效改善,九、效果檢查,主要問(wèn)題解決情況,2,主要問(wèn)題得到有效解決,,,,九、效果檢查,1,2,減少超時(shí)短信共計(jì)4964462條,其中與用戶使用感知密切相關(guān)的短信營(yíng)業(yè)廳、低額提醒短信分別占13.9%和35.3%,合計(jì)2442515條。,社會(huì)效益,3,提高此類短信的發(fā)送速度，對(duì)于提升用戶感知度和滿意度起到非常積極的作用,九、效果檢查,每10條10086短信中約有2條是能夠產(chǎn)生經(jīng)濟(jì)效益的業(yè)務(wù)

11、辦理短信,實(shí)施前超時(shí)短信平均延遲155秒,實(shí)施后和鞏固期增加收入=((155-1.962)×4964462 ÷60÷60÷24÷30)×20%×120 =7034元,1,2,3,經(jīng)濟(jì)效益,上海移動(dòng)用戶每月平均通話費(fèi)120元,4,十、鞏固措施,1,2,針對(duì)對(duì)策一：提交短信中間件程序參數(shù)配置規(guī)范，規(guī)定了業(yè)務(wù)分4類，程序并行4個(gè)，輪詢時(shí)間1.5秒和每次取數(shù)據(jù)100條的設(shè)計(jì)

12、要求(文檔編號(hào)： BOSS-SMS-2008-9A),針對(duì)對(duì)策二：明確了系統(tǒng)發(fā)生變更時(shí)，短信程序必須作同步修改，刪除已經(jīng)失效的配置項(xiàng) (文檔編號(hào)： BOSS-SMS-2008-7A),3,針對(duì)對(duì)策三：制定短信中間件連接中斷的實(shí)時(shí)監(jiān)控，對(duì)于程序連接異常中斷的情況及時(shí)發(fā)出告警(文檔編號(hào)：BOSS-ETS-C12040),十一、總結(jié),提升了服務(wù)質(zhì)量，為提高客戶滿意度打下了良好的基礎(chǔ)，為公司創(chuàng)造了一定的經(jīng)濟(jì)效益。,1,2,3,本次QC小組活

13、動(dòng)取得了如下成果：,提高了10086短信發(fā)送及時(shí)率。,鍛煉了小組成員在工作中發(fā)現(xiàn)問(wèn)題，運(yùn)用各種QC的思想和方法來(lái)解決問(wèn)題的能力。,十一、總結(jié),下一步打算,1,低額提醒是一種免費(fèi)增值業(yè)務(wù)，能夠在用戶余額低時(shí)提醒用戶及時(shí)充值以免停機(jī),2,如果低額提醒能夠及時(shí)送達(dá)用戶，那么對(duì)用戶來(lái)說(shuō)可以降低欠費(fèi)停機(jī)的風(fēng)險(xiǎn)，確保正常使用移動(dòng)業(yè)務(wù),3,對(duì)于公司來(lái)說(shuō)也能降低欠費(fèi)風(fēng)險(xiǎn)，對(duì)于用戶和公司都有利，是一種促進(jìn)雙贏的業(yè)務(wù),十一、總結(jié),下一次活動(dòng)的課題：《提高