搜索引擎用戶數據管理系統(tǒng).pdf

1、隨著時間的推移和用戶量的增長，“搜搜”搜索引擎產生的數據總量和數據種類都急劇增加，這些數據是提高搜索質量的重要依據和挖掘用戶需求的關鍵樣本。然而，龐大的數據卻沒有很好的統(tǒng)一管理平臺，每種數據都是由專門的人員自行管理，給工作效率帶來的極大的影響。因此，本人的工作任務就是給公司開發(fā)一套統(tǒng)一的數據管理平臺，方便數據的管理，節(jié)省溝通時間，提高工作效率。
　　本文設計和實現了一個支持大規(guī)模數據的管理系統(tǒng)，并且實現了負載均衡機制以及分布式內存

2、緩存架構。本人主要工作內容如下:
　　(1)結合項目背景，對系統(tǒng)的功能性需求和非功能需求分別進行詳細需求分析，并對每個系統(tǒng)模塊繪制詳細的用例。
　　(2)設計了系統(tǒng)總體架構，其中包括內存緩存的數據流程設計。設計了系統(tǒng)的數據概念模型和數據邏輯模型。詳細設計并實現了五大功能模塊。
　　(3)實現了分布式的內存緩存架構，創(chuàng)新性的設計并實現了緩存數據的主動過期機制，使得系統(tǒng)同時具備高性能和高數據實時性。設計并實現了緩存及數據庫