隨著計(jì)算機(jī)信息技術(shù)的普及，數(shù)據(jù)倉(cāng)庫(kù)與數(shù)據(jù)挖掘技術(shù)在我國(guó)金融業(yè)(如銀行、證券、保險(xiǎn)等行業(yè))得到了比較廣泛的應(yīng)用，但是在國(guó)內(nèi)期貨行業(yè)，由于資金、技術(shù)、人員等問(wèn)題，期貨公司還很少涉及這一領(lǐng)域，使其在對(duì)市場(chǎng)研究和品種研究上始終面臨著一個(gè)無(wú)法穿越的“瓶頸”。

　　我國(guó)期貨業(yè)數(shù)據(jù)倉(cāng)庫(kù)應(yīng)用現(xiàn)狀

　　我國(guó)期貨市場(chǎng)歷經(jīng)10多年的磨礪后，如今已經(jīng)進(jìn)入發(fā)展的“快車道”。期貨市場(chǎng)的“火熱”和上市品種的不斷豐富，吸引了大量的投資者進(jìn)入。由于期貨市場(chǎng)是一個(gè)高風(fēng)險(xiǎn)與高收益并存的市場(chǎng)，這就要求期貨公司必須在研究上下足功夫，盡量做到對(duì)期貨市場(chǎng)風(fēng)險(xiǎn)的可控性和可預(yù)知性。

　　我們知道，進(jìn)行期貨研究所需要的數(shù)據(jù)非常多而雜，涉及層面不管是宏觀的還是微觀的，都要進(jìn)行充分考慮和分析整合，從而對(duì)期貨公司建設(shè)數(shù)據(jù)倉(cāng)庫(kù)提出了迫切要求，而且對(duì)數(shù)據(jù)進(jìn)行深度挖掘也成為了期貨公司研究的重中之重。期貨公司的研究水平達(dá)到一定高度后，形成自己的核心競(jìng)爭(zhēng)力，不僅能對(duì)自身客戶投資起到一定的引導(dǎo)作用，而且還能吸引更多的投資者參與到市場(chǎng)中來(lái)。

　　行業(yè)整體研究水平高低會(huì)直接影響到市場(chǎng)發(fā)展的質(zhì)量和速度。國(guó)際期貨市場(chǎng)上，大型優(yōu)質(zhì)期貨公司如曼氏金融、瑞富都擁有自己的一套專業(yè)數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)，且經(jīng)常利用數(shù)據(jù)倉(cāng)庫(kù)的數(shù)據(jù)進(jìn)行定量分析，撰寫研究報(bào)告，為客戶提供投資方案。目前，國(guó)外期貨市場(chǎng)運(yùn)用定量方法進(jìn)行分析已經(jīng)非常廣泛，因此發(fā)展比較迅速，投資者認(rèn)知水平也比較高。而國(guó)內(nèi)期貨市場(chǎng)，雖然近幾年交易和持倉(cāng)規(guī)模迅速擴(kuò)大，期貨新品種不斷推出，但期貨公司整體研究水平并沒(méi)有緊緊跟上市場(chǎng)對(duì)研究的強(qiáng)烈需求。隨著我國(guó)期貨市場(chǎng)的發(fā)展，其不可避免地對(duì)期貨公司的研發(fā)水平提出了更高的要求。

　　借鑒國(guó)外期貨公司的經(jīng)驗(yàn)，國(guó)內(nèi)期貨業(yè)整體研究水平上不去的主要原因是絕大部分研究還局限在定性分析上，定量研究方法運(yùn)用得太少，直接導(dǎo)致期貨公司在對(duì)客戶投資交易的指導(dǎo)上表現(xiàn)得比較差。定量研究較少并非期貨公司研究人員不會(huì)或者不愿意，而是因?yàn)槎垦芯啃枰臄?shù)據(jù)太多，實(shí)際能找到或買到的數(shù)據(jù)太少。同時(shí)，定量研究往往不局限在單一品種數(shù)據(jù)的收集上，還與國(guó)內(nèi)外宏觀經(jīng)濟(jì)數(shù)據(jù)有關(guān)聯(lián)。目前，國(guó)內(nèi)期貨業(yè)沒(méi)有具體期貨品種數(shù)據(jù)的專業(yè)網(wǎng)站和數(shù)據(jù)倉(cāng)庫(kù)，即便是有也只是分散的少量數(shù)據(jù)，收集數(shù)據(jù)工作量非常大。期貨公司購(gòu)買的昂貴相關(guān)行業(yè)數(shù)據(jù)，也只限于一個(gè)品種和行業(yè)的數(shù)據(jù)，缺少宏觀經(jīng)濟(jì)方面的數(shù)據(jù)。在當(dāng)前上市品種不斷增加的情況下，這筆支出是一般期貨公司難以承受的，這也從另一方面增加了期貨公司進(jìn)行定量研究的難度。

　　研究能力是期貨公司發(fā)展和體現(xiàn)競(jìng)爭(zhēng)力的核心，其水平高低不僅會(huì)直接影響到公司客戶的盈虧，同時(shí)也會(huì)影響到公司業(yè)務(wù)的發(fā)展。而且隨著股指期貨的即將推出，期貨公司在提供專業(yè)化研究服務(wù)方面顯得更加重要。但是，我國(guó)期貨行業(yè)業(yè)務(wù)單一，競(jìng)爭(zhēng)激烈，國(guó)內(nèi)大部分期貨公司仍難擺脫虧損局面，或者是盈利能力并沒(méi)有隨著市場(chǎng)發(fā)展同步提高，多數(shù)公司面臨諸多的問(wèn)題：

　　一是在品種增加、研究人員數(shù)量增加有限的情況下，單個(gè)研究人員負(fù)責(zé)的品種越來(lái)越多，受能力及精力限制，研究難以深入。

　　二是雖然受市場(chǎng)發(fā)展的推動(dòng)，市場(chǎng)研究開(kāi)始由普遍信息處理、定性分析上升為定量定性結(jié)合，但由于國(guó)內(nèi)相關(guān)市場(chǎng)還不成熟，所需的研究數(shù)據(jù)不僅少，而且公布渠道不通暢，研究人員花費(fèi)在數(shù)據(jù)尋找上的時(shí)間過(guò)多，研究效率極低。

　　三是即使期貨公司購(gòu)買了相關(guān)收費(fèi)的專業(yè)資訊服務(wù)，但受端口限制，僅有少量人員能使用，相關(guān)信息并不能迅速便捷傳達(dá)到公司其他員工及客戶手里，即大量信息無(wú)法共享。另外隨著新品種的不斷推出，單一公司財(cái)力無(wú)法購(gòu)買所有品種的相關(guān)信息，新品種的研究進(jìn)度受到較大影響。

　　四是數(shù)據(jù)處理及分析的方法普遍處在低級(jí)水平，大量基礎(chǔ)原始數(shù)據(jù)轉(zhuǎn)化成可用數(shù)據(jù)的時(shí)間過(guò)長(zhǎng)，無(wú)法使用相關(guān)分析軟件進(jìn)行分析又導(dǎo)致最終分析的深度不夠。

　　五是研究人員的流動(dòng)（轉(zhuǎn)向業(yè)務(wù)或交易方面，或者直接離開(kāi)期貨公司或期貨業(yè)）直接導(dǎo)致期貨公司研究水平無(wú)法得到有效沉淀和積累。

　　以上存在的種種問(wèn)題使期貨公司的研究難以深入，從而構(gòu)成了為投資者提供正確投資指導(dǎo)的一塊“硬傷”。因此，對(duì)數(shù)據(jù)的收集與挖掘成為了期貨公司解決當(dāng)前存在問(wèn)題的唯一途徑。只有搜集到所需要的數(shù)據(jù)，然后通過(guò)各種方法對(duì)數(shù)據(jù)進(jìn)行深度研究與挖掘，撰寫出高水平的研究報(bào)告，才能提高期貨公司的整體研究和服務(wù)水平。

　　建設(shè)數(shù)據(jù)倉(cāng)庫(kù)的功能和目標(biāo)

　　為了解決期貨公司數(shù)據(jù)收集難的問(wèn)題，一些有能力的期貨公司對(duì)數(shù)據(jù)倉(cāng)庫(kù)進(jìn)行建設(shè)非常有必要。數(shù)據(jù)倉(cāng)庫(kù)的概念起源于W.H.Inmon的研究，他把數(shù)據(jù)倉(cāng)庫(kù)定義為面向主題的、集成的、非易失的，隨時(shí)間變化的數(shù)據(jù)集合，而且可以支持各種投資管理決策的數(shù)據(jù)庫(kù)系統(tǒng)。

　　期貨行業(yè)數(shù)據(jù)包括國(guó)內(nèi)外期貨品種歷史數(shù)據(jù)、品種基本數(shù)據(jù)、期貨公司營(yíng)業(yè)部交易結(jié)算數(shù)據(jù)、客戶交易數(shù)據(jù)、國(guó)內(nèi)外宏觀經(jīng)濟(jì)數(shù)據(jù)等，數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)能幫助期貨公司充分地利用這些信息資源。建立期貨公司數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)，主要實(shí)現(xiàn)以下功能和目標(biāo):

　　第一，建立數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)的目標(biāo)數(shù)據(jù)庫(kù)，集成期貨公司的相關(guān)數(shù)據(jù)。對(duì)各個(gè)營(yíng)業(yè)部交易數(shù)據(jù)、行情數(shù)據(jù)、其他業(yè)務(wù)系統(tǒng)數(shù)據(jù)進(jìn)行定期抽取，把異地系統(tǒng)的數(shù)據(jù)經(jīng)過(guò)抽取轉(zhuǎn)換，集中到公司總部的數(shù)據(jù)倉(cāng)庫(kù)中，為各種分析提供全局、一致的數(shù)據(jù)基礎(chǔ)，從而提高決策信息的及時(shí)性、準(zhǔn)確性、全局性和一致性。

　　第二，在數(shù)據(jù)倉(cāng)庫(kù)數(shù)據(jù)的基礎(chǔ)上，建立日常的投資決策支持查詢系統(tǒng)，包括報(bào)表查詢和動(dòng)態(tài)信息查詢，解決現(xiàn)有OLTP（聯(lián)機(jī)事務(wù)處理）系統(tǒng)中的投資決策支持查詢和報(bào)表能力的不足。

　　第三，實(shí)現(xiàn)重要專題分析。專題分析是針對(duì)特定范疇的決策支持領(lǐng)域進(jìn)行的分析，常見(jiàn)的專題分析包括客戶關(guān)系管理分析、賬戶分析、交易數(shù)據(jù)分析、財(cái)務(wù)分析、經(jīng)營(yíng)狀況分析、風(fēng)險(xiǎn)分析、利潤(rùn)/成本分析以及市場(chǎng)分析等。要求充分利用期貨公司的豐富數(shù)據(jù)，能夠從多個(gè)角度動(dòng)態(tài)分析這些專題。

　　第四，以數(shù)據(jù)倉(cāng)庫(kù)數(shù)據(jù)和專題分析為基礎(chǔ)，把一些信息和分析結(jié)果公布在網(wǎng)站上，為公司網(wǎng)站和CALLCENTER提供信息服務(wù)，為客戶提供個(gè)性化服務(wù)。

　　第五，逐步實(shí)現(xiàn)深層次的數(shù)據(jù)挖掘和投資決策分析，研究品種、市場(chǎng)行情、客戶、利潤(rùn)等數(shù)據(jù)中蘊(yùn)含的內(nèi)在關(guān)系。數(shù)據(jù)挖掘在期貨業(yè)的技術(shù)應(yīng)用方向主要有客戶分析、品種分析、客戶管理、交易數(shù)據(jù)分析、風(fēng)險(xiǎn)分析、投資組合分析等。

　　數(shù)據(jù)挖掘是數(shù)據(jù)庫(kù)建設(shè)成敗的關(guān)鍵

　　在完成對(duì)數(shù)據(jù)倉(cāng)庫(kù)的建設(shè)后，如何通過(guò)現(xiàn)有的數(shù)據(jù)源進(jìn)行數(shù)據(jù)挖掘，將是數(shù)據(jù)倉(cāng)庫(kù)建設(shè)成功與否的一個(gè)重要環(huán)節(jié)。數(shù)據(jù)挖掘是指從大量的、不完全的、模糊的、隨機(jī)的實(shí)際數(shù)據(jù)中提取隱含在其中但又是潛在有用信息和知識(shí)的過(guò)程。數(shù)據(jù)挖掘的過(guò)程可粗略分為:問(wèn)題定義、數(shù)據(jù)收集和預(yù)處理、數(shù)據(jù)挖掘算法執(zhí)行以及結(jié)果的解釋和評(píng)估。

　　1.問(wèn)題定義

　　問(wèn)題定義指的是利用數(shù)據(jù)挖掘可以分析哪些問(wèn)題。定義清晰的挖掘?qū)ο?，認(rèn)清數(shù)據(jù)挖掘的目標(biāo)是數(shù)據(jù)挖掘的第一步。數(shù)據(jù)挖掘的最后結(jié)果往往是不可預(yù)測(cè)的，但要解決的問(wèn)題是有預(yù)見(jiàn)性、有目標(biāo)的。在定義挖掘?qū)ο髸r(shí)，需要確定這樣一些問(wèn)題:從何處入手，需要挖掘什么數(shù)據(jù)，要用多少數(shù)據(jù)，數(shù)據(jù)挖掘要進(jìn)行到什么程度。在問(wèn)題定義過(guò)程中，數(shù)據(jù)挖掘人員必須和相關(guān)領(lǐng)域?qū)＜乙约白罱K用戶緊密協(xié)作，一方面明確實(shí)際工作對(duì)數(shù)據(jù)挖掘的要求，另一方面通過(guò)對(duì)各種學(xué)習(xí)算法的對(duì)比，進(jìn)而確定可用的學(xué)習(xí)算法。

　　2.數(shù)據(jù)收集和數(shù)據(jù)預(yù)處理

　　數(shù)據(jù)準(zhǔn)備又可以分為三步:數(shù)據(jù)選取、數(shù)據(jù)預(yù)處理和數(shù)據(jù)變換。在確定數(shù)據(jù)挖掘的業(yè)務(wù)對(duì)象后，就需要搜索所有與業(yè)務(wù)對(duì)象有關(guān)的內(nèi)部數(shù)據(jù)和外部數(shù)據(jù)，從中選擇出適合數(shù)據(jù)挖掘應(yīng)用的數(shù)據(jù)。如果數(shù)據(jù)挖掘是基于數(shù)據(jù)倉(cāng)庫(kù)的，那么數(shù)據(jù)的選擇比較簡(jiǎn)單，因?yàn)閿?shù)據(jù)倉(cāng)庫(kù)己經(jīng)為數(shù)據(jù)挖掘者準(zhǔn)備好了用于數(shù)據(jù)挖掘的基本數(shù)據(jù)。否則，就要從各種數(shù)據(jù)源中選擇用于數(shù)據(jù)挖掘的數(shù)據(jù)，這就意味著需要集成和合并數(shù)據(jù)到單一的數(shù)據(jù)挖掘庫(kù)中，并協(xié)調(diào)來(lái)自多個(gè)數(shù)據(jù)源數(shù)據(jù)的差異。對(duì)這些數(shù)據(jù)差異的協(xié)調(diào)是解決數(shù)據(jù)挖掘質(zhì)量的關(guān)鍵，多個(gè)數(shù)據(jù)源中出現(xiàn)的差異主要是在數(shù)據(jù)定義和使用方法上。在選擇好數(shù)據(jù)后，還需要對(duì)數(shù)據(jù)進(jìn)行預(yù)處理，進(jìn)行清洗，解決數(shù)據(jù)中的缺值、冗余、數(shù)據(jù)值的不一致、數(shù)據(jù)定義的不一致、過(guò)時(shí)數(shù)據(jù)等問(wèn)題。數(shù)據(jù)的應(yīng)用變換是為了使數(shù)據(jù)適用于計(jì)算需要而進(jìn)行的一種數(shù)據(jù)轉(zhuǎn)換，這種轉(zhuǎn)換主要源于兩方面的原因:一是現(xiàn)有數(shù)據(jù)不滿足分析需求而進(jìn)行的數(shù)據(jù)變換;二是應(yīng)用具體數(shù)據(jù)挖掘算法的需要。為了使計(jì)算結(jié)果更高效準(zhǔn)確，需要對(duì)數(shù)據(jù)進(jìn)行應(yīng)用變換。

　　3.數(shù)據(jù)挖掘

　　數(shù)據(jù)挖掘算法執(zhí)行階段，首先根據(jù)對(duì)問(wèn)題的定義明確挖掘任務(wù)或目的，如分類、聚類、關(guān)聯(lián)規(guī)則發(fā)現(xiàn)或序列模式發(fā)現(xiàn)等。在確定了挖掘任務(wù)后，就要決定使用什么樣的算法。選擇算法有兩方面的考慮:一是不同的數(shù)據(jù)有不同的特點(diǎn)，因此需要用與之相關(guān)的算法來(lái)挖掘；二是用戶或?qū)嶋H運(yùn)行系統(tǒng)的要求，有的用戶可能希望獲取描述性的、容易理解的知識(shí)，也有一些用戶只希望獲取預(yù)測(cè)準(zhǔn)確度高的預(yù)測(cè)性知識(shí)。

　　4.結(jié)果解釋與評(píng)估

　　數(shù)據(jù)挖掘階段發(fā)現(xiàn)的模式，經(jīng)過(guò)評(píng)估可能存在冗余或無(wú)關(guān)的模式，需要將其剔除；也有模式不滿足用戶要求的可能，這時(shí)則需要整個(gè)過(guò)程回退到前一階段，如重新選取數(shù)據(jù)，采用新的數(shù)據(jù)變換方法，設(shè)定新的參數(shù)值，甚至換一種算法等。另外，數(shù)據(jù)挖掘最終是要給人類用戶用的，因此要對(duì)發(fā)現(xiàn)的模式進(jìn)行可視化或把結(jié)果轉(zhuǎn)換為用戶易懂的另一種表現(xiàn)形態(tài)。數(shù)據(jù)挖掘算法執(zhí)行僅僅是整個(gè)過(guò)程中的一個(gè)步驟。數(shù)據(jù)挖掘質(zhì)量的好壞取決于兩方面因素:一是所采用的數(shù)據(jù)挖掘技術(shù)的有效性；二是用于挖掘的數(shù)據(jù)的質(zhì)量和數(shù)量。如果選擇了錯(cuò)誤的數(shù)據(jù)或不適當(dāng)?shù)膶傩裕驅(qū)?shù)據(jù)進(jìn)行了不適當(dāng)?shù)霓D(zhuǎn)換，那么挖掘質(zhì)量不會(huì)很好。整個(gè)數(shù)據(jù)挖掘過(guò)程是一個(gè)不斷反饋的過(guò)程，如果未能產(chǎn)生期望的結(jié)果，就需要重復(fù)先前的過(guò)程甚至從頭重新開(kāi)始，直至產(chǎn)生滿意的結(jié)果為止。

　　國(guó)內(nèi)數(shù)據(jù)倉(cāng)庫(kù)基礎(chǔ)建設(shè)存在的問(wèn)題

　　數(shù)據(jù)倉(cāng)庫(kù)和數(shù)據(jù)挖掘在我國(guó)起步較晚，都是最近幾年的事，但發(fā)展卻非常迅速。不過(guò)與國(guó)外相比，國(guó)內(nèi)在數(shù)據(jù)倉(cāng)庫(kù)基礎(chǔ)設(shè)施建設(shè)以及企業(yè)的行政支持環(huán)境等方面仍存在很多欠缺。

　　1.數(shù)據(jù)倉(cāng)庫(kù)基礎(chǔ)設(shè)施不健全，缺乏數(shù)據(jù)積累

　　我們知道，數(shù)據(jù)倉(cāng)庫(kù)是建立在企業(yè)原有業(yè)務(wù)系統(tǒng)基礎(chǔ)之上的，那么各業(yè)務(wù)子系統(tǒng)的建設(shè)是否完善，數(shù)據(jù)是否完整、規(guī)范，是決定未來(lái)數(shù)據(jù)倉(cāng)庫(kù)性能的關(guān)鍵因素。但由于國(guó)情所限，在數(shù)據(jù)庫(kù)的規(guī)模上，目前國(guó)內(nèi)企業(yè)與國(guó)外企業(yè)還存在一定的差距，更有甚者一些企業(yè)的數(shù)據(jù)庫(kù)因沒(méi)有資金維護(hù)而變成了“死庫(kù)”。

　　建設(shè)數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)，沒(méi)有數(shù)據(jù)積累是沒(méi)有任何意義的。一般來(lái)說(shuō)，我國(guó)可用于分析的數(shù)據(jù)庫(kù)平均規(guī)模較小，在幾十GB。而在信息化水平比較發(fā)達(dá)的國(guó)家，數(shù)據(jù)庫(kù)達(dá)到幾十TB的很多。此外，經(jīng)過(guò)多年的經(jīng)營(yíng)，雖然國(guó)內(nèi)大企業(yè)均建立了不同的業(yè)務(wù)理系統(tǒng)，但由于各種原因這些系統(tǒng)在文檔規(guī)范管理和數(shù)據(jù)清潔性方面做得不是很好。

　　2 .企業(yè)建立數(shù)據(jù)倉(cāng)庫(kù)行政支持不夠

　　數(shù)據(jù)倉(cāng)庫(kù)項(xiàng)目一般投資巨大，成本回收周期長(zhǎng)，中小企業(yè)根本無(wú)力在這方面做某些嘗試。大部分的企業(yè)決策者，雖然有建設(shè)數(shù)據(jù)倉(cāng)庫(kù)的現(xiàn)實(shí)需求，但同時(shí)又對(duì)其高投入、長(zhǎng)周期不能容忍，這使得他們對(duì)數(shù)據(jù)倉(cāng)庫(kù)的項(xiàng)目支持往往不能夠善始善終，即使能勉強(qiáng)做下去，也往往會(huì)偏離數(shù)據(jù)倉(cāng)庫(kù)的建設(shè)準(zhǔn)則。此外，由于對(duì)項(xiàng)目的長(zhǎng)期性、艱巨性認(rèn)識(shí)不足，一些用戶以為今天建立了數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)，明天就能夠解決商業(yè)競(jìng)爭(zhēng)中的所有問(wèn)題，能取得很大效益，這種沒(méi)有充分認(rèn)識(shí)到項(xiàng)目建設(shè)的長(zhǎng)期性和艱巨性、急功近利的思想也會(huì)影響企業(yè)有效應(yīng)用數(shù)據(jù)倉(cāng)庫(kù)技術(shù)。

　　3.數(shù)據(jù)挖掘人員參與力度不夠

　　數(shù)據(jù)挖掘的應(yīng)用，需要多方面人員共同參與，包括領(lǐng)域?qū)＜摇?shù)據(jù)管理員、數(shù)據(jù)分析人員、業(yè)務(wù)分析人員、數(shù)據(jù)挖掘?qū)＜业?。他們往往形成一個(gè)團(tuán)隊(duì)，其中每一個(gè)人都可能對(duì)數(shù)據(jù)挖掘的結(jié)果產(chǎn)生或好或壞的影響。現(xiàn)實(shí)中，用戶沒(méi)有參與數(shù)據(jù)倉(cāng)庫(kù)建設(shè)的需求分析，而數(shù)據(jù)倉(cāng)庫(kù)的最終用戶是企業(yè)的中高層領(lǐng)導(dǎo)或其助手，這與OLTP（聯(lián)機(jī)事務(wù)處理）系統(tǒng)直接面對(duì)具體的工作人員有明顯的不同。對(duì)許多企業(yè)來(lái)說(shuō)，要使最終用戶與信息技術(shù)人員真正在一起合作是比較困難的，且在項(xiàng)目初始階段，公司領(lǐng)導(dǎo)也往往提不出具體的目標(biāo)，只是希望信息技術(shù)人員對(duì)出現(xiàn)的問(wèn)題提供快速的解決方案，這必然導(dǎo)致最后開(kāi)發(fā)出來(lái)的系統(tǒng)難以滿足用戶的決策要求。

　　4.項(xiàng)目實(shí)施過(guò)程中管理混亂

　　建立數(shù)據(jù)倉(cāng)庫(kù)的目的是大力提高經(jīng)濟(jì)效益，而執(zhí)行有效的數(shù)據(jù)倉(cāng)庫(kù)策略的最大障礙往往不是技術(shù)方面的。集中式數(shù)據(jù)倉(cāng)庫(kù)具有可控性和可靠性，但靈活性不夠；分布式數(shù)據(jù)具有很大的靈活性，但可能會(huì)導(dǎo)致各部門之間不能有效地協(xié)同工作。因此，在確定數(shù)據(jù)倉(cāng)庫(kù)的功能規(guī)模上，經(jīng)常反映出存在機(jī)構(gòu)內(nèi)部關(guān)系復(fù)雜的問(wèn)題，也會(huì)遇到行政上的種種障礙，從而增加了技術(shù)實(shí)現(xiàn)上的難度。

　　5.具體實(shí)現(xiàn)過(guò)程中的技術(shù)問(wèn)題

　　數(shù)據(jù)倉(cāng)庫(kù)中的數(shù)據(jù)可能來(lái)自不同的數(shù)據(jù)源，它們分布在不同的硬件、數(shù)據(jù)庫(kù)、網(wǎng)絡(luò)環(huán)境中，為不同的業(yè)務(wù)部門服務(wù)。因此，對(duì)這些數(shù)據(jù)的整合可能會(huì)遇到很多技術(shù)困難，如果不能保證數(shù)據(jù)倉(cāng)庫(kù)中數(shù)據(jù)的高質(zhì)量，也就很難獲得有價(jià)值的決策信息。另外，數(shù)據(jù)分析工具的選擇問(wèn)題，目前仍沒(méi)有一種大眾化的、簡(jiǎn)單易用的集成工具。

　　中期數(shù)據(jù)庫(kù)分析系統(tǒng)主要功能

　　為了解決以上出現(xiàn)的一些問(wèn)題，增強(qiáng)期貨公司研究人員的研究能力，協(xié)調(diào)和引導(dǎo)公司各部門的基礎(chǔ)研究工作，避免重復(fù)投入，從整體上統(tǒng)一、規(guī)范、組織、管理和利用相關(guān)信息資源，以提供高質(zhì)量的研究報(bào)告，同時(shí)更好地服務(wù)公司進(jìn)行套期保值的企業(yè)客戶及VIP客戶，中期公司試圖建設(shè)一個(gè)可供研究與分析的期貨數(shù)據(jù)庫(kù)信息系統(tǒng)，以服務(wù)于公司各部門、各營(yíng)業(yè)部及VIP客戶的研究分析需要，并通過(guò)數(shù)據(jù)庫(kù)項(xiàng)目對(duì)公司研究及業(yè)務(wù)人員進(jìn)行統(tǒng)計(jì)分析軟件的相關(guān)培訓(xùn)，大幅提高員工普遍研究分析方法及水平。中期數(shù)據(jù)庫(kù)分析系統(tǒng)主要功能如下：

　　1.數(shù)據(jù)庫(kù)存取與顯示功能

　　一是收集影響各期貨品種價(jià)格的各類因素，從宏觀、行業(yè)到微觀層面。二是通過(guò)信息整理使各種因素系統(tǒng)化。三是根據(jù)分析者的需求提供各種數(shù)據(jù)組合。四是把數(shù)據(jù)信息變成直觀的圖表信息。五是把固定的換算關(guān)系模塊化，減少重復(fù)勞動(dòng)。

　　2.數(shù)據(jù)的分析功能

　　在集合以上大量數(shù)據(jù)的基礎(chǔ)上，根據(jù)各因素與分析對(duì)象之間的關(guān)系建立分析模塊，顯示直觀的可操作性報(bào)告。通常的研究方法可劃分為定性研究和定量研究，實(shí)際運(yùn)用中，多以定性研究實(shí)現(xiàn)研究的“寬度”，定量研究實(shí)現(xiàn)研究的“深度”。沒(méi)有定量分析支撐的定性分析結(jié)果就失去了說(shuō)服力。

　　在實(shí)際期貨價(jià)格研究中，每一影響因素的定性分析通常會(huì)有三種結(jié)論：漲、跌和振蕩。而影響價(jià)格的因素眾多，使得市場(chǎng)在任何時(shí)候都存在上漲或下跌的理由，定性分析一般不會(huì)清楚地表達(dá)出到底是漲還是跌（或者哪個(gè)概率大），漲跌幅度大概是多少，漲跌時(shí)間會(huì)持續(xù)多久等，大多數(shù)情況下很難做出令人信服的選擇。為了使定性分析的結(jié)論能有數(shù)字支撐，具說(shuō)服力，有必要對(duì)其進(jìn)行量化。

　　量化作為一個(gè)過(guò)程，不是一蹴而就的，它大致需要經(jīng)過(guò)幾個(gè)階段：因素分解→評(píng)分→匯總。其根據(jù)的是這樣一個(gè)思路：將定量分析的對(duì)象按照合理的方式分解成重要的幾個(gè)影響因素，對(duì)每個(gè)部分依照各自的標(biāo)準(zhǔn)進(jìn)行評(píng)分，然后將各部分的分?jǐn)?shù)乘以權(quán)值并相加，所得的分?jǐn)?shù)就是該對(duì)象的量化值。整個(gè)過(guò)程的難點(diǎn)和重點(diǎn)是“分解”并“確定”權(quán)重階段，要求執(zhí)行者對(duì)分析的對(duì)象有系統(tǒng)性的把握，了解分析過(guò)程中的各個(gè)因素并能優(yōu)化分配。“分解”包括兩個(gè)方面：“分類”與“分層”。分類是將研究對(duì)象中包含的因素分門別類；分層就是對(duì)不同類別的因素再次分類，并放入下一層次。分解其實(shí)就是一個(gè)分類、分層再分類的過(guò)程，如樹(shù)枝一樣向下延伸下去，形成一個(gè)如下圖所示的樹(shù)形結(jié)構(gòu)。

　　在分解時(shí)要注意，劃分的標(biāo)準(zhǔn)要統(tǒng)一，分類要精細(xì)，分層要清晰，但是類別和層數(shù)不能過(guò)多，否則會(huì)帶來(lái)非常繁瑣的計(jì)算過(guò)程，而且需要各層各類規(guī)定一個(gè)權(quán)值。同層同類的各部分權(quán)值總和為10。

　　在評(píng)分階段，各個(gè)因素采取的方法應(yīng)相同，量化標(biāo)準(zhǔn)也要一致。通常是將各部分因素值劃分為5個(gè)部分：明顯利多、一般利多、多空平衡、一般利空、極度利空，然后再轉(zhuǎn)化為“5、4、3、1、0”的分?jǐn)?shù)一一對(duì)應(yīng)。

　　匯總時(shí)將各部分的分?jǐn)?shù)乘權(quán)相加為上一層類別部分的分?jǐn)?shù)，再將類別部分的分?jǐn)?shù)乘權(quán)相加得出總的分?jǐn)?shù)就是量化值。如上圖所示的量化值：

　　O=[（A1×Pa1+A2×Pa2）×Pa]+[B×Pb]+[（C1×Pc1+C2×Pc2+C3×Pc3）×Pc]。

　　其中第一層的各類量化值分別為：

　　OA=（A1×Pa1+A2×Pa2），OB=B，OC=（C1×Pc1+C2×Pc2+C3×Pc3）。

　　如果希望總分不要太大，在由下層部分匯總分?jǐn)?shù)到上層類別時(shí)，可以統(tǒng)一乘以一個(gè)比例數(shù)字。如設(shè)定比例數(shù)為0.3，那么O=OA×0.3+ OB×0.3+OC×0.3，該比例數(shù)值一般以1除該層的類別數(shù)。上圖中的第一層類別數(shù)為3，所以設(shè)定比例數(shù)為1/3，取小數(shù)值為0.3。在此量化的過(guò)程中，工作量最大的是評(píng)分。首先要考慮采取什么方法來(lái)評(píng)。一般來(lái)講，包括：專家法、經(jīng)驗(yàn)法、觀察法等。期貨研究作為專業(yè)性的研究，通常由專家及經(jīng)驗(yàn)決定。

　　通過(guò)期貨公司研究部門和專業(yè)團(tuán)隊(duì)對(duì)品種深入研究的結(jié)合，該數(shù)據(jù)庫(kù)分析和運(yùn)用兩者協(xié)同，將對(duì)各品種分析提供強(qiáng)有力的理論及經(jīng)驗(yàn)支持，對(duì)數(shù)據(jù)庫(kù)數(shù)據(jù)進(jìn)行評(píng)分匯總，最終對(duì)各品種價(jià)格走勢(shì)做出強(qiáng)弱判斷。另外，通過(guò)運(yùn)用外部統(tǒng)計(jì)軟件，對(duì)要求的品種可以進(jìn)行后期價(jià)格走勢(shì)預(yù)測(cè)。

　　整體數(shù)據(jù)庫(kù)分析結(jié)論對(duì)品種研究及分析有極強(qiáng)的參考作用，有助于策略報(bào)告的撰寫，其對(duì)數(shù)據(jù)挖掘的設(shè)計(jì)主要有以下方面內(nèi)容：

　　第一，關(guān)聯(lián)規(guī)則的挖掘。關(guān)聯(lián)規(guī)則挖掘發(fā)現(xiàn)大量數(shù)據(jù)庫(kù)中各項(xiàng)集之間的關(guān)聯(lián)關(guān)系。隨著大量數(shù)據(jù)的增加和存儲(chǔ)，許多人士對(duì)于從數(shù)據(jù)庫(kù)中挖掘關(guān)聯(lián)規(guī)則越來(lái)越感興趣。從大量數(shù)據(jù)中發(fā)現(xiàn)有趣的關(guān)聯(lián)關(guān)系，可以幫助制定許多投資決策，如組合投資、價(jià)格預(yù)測(cè)等。目前，關(guān)聯(lián)規(guī)則挖掘已經(jīng)成為數(shù)據(jù)挖掘領(lǐng)域中的重要研究方向。關(guān)聯(lián)規(guī)則反映一個(gè)事物與其他事物之間的相互依賴性或相互關(guān)聯(lián)性，如果兩個(gè)或多個(gè)事物之間存在關(guān)聯(lián)，那么其中一個(gè)事物就能從其他已知事物中預(yù)測(cè)得知。所謂關(guān)聯(lián)規(guī)則是指數(shù)據(jù)集中支持度和信任度分別滿足給定閥值的規(guī)則，其形式化定義如下：設(shè)I={i1，i2，…im},i是m個(gè)不同項(xiàng)目的集合，給定一個(gè)交易數(shù)據(jù)庫(kù)D，其中每一個(gè)交易T是I中一組項(xiàng)目的集合，一條關(guān)聯(lián)規(guī)則就是X→Y的蘊(yùn)涵式，其中X、Y屬于I，且X交Y為空集。如果D中C%包含X的交易同時(shí)包含Y，那么關(guān)聯(lián)規(guī)則X→Y在D中置信度C成立；如果D中S%的交易包含X∪Y，那么關(guān)聯(lián)規(guī)則X→Y在D中具有支持度S。在進(jìn)行關(guān)聯(lián)分析時(shí)，用戶需要輸入兩個(gè)參數(shù)：最小置信度和最小支持度。關(guān)聯(lián)分析就是生成所有具有用戶指定的最小置信度和最小支持度的關(guān)聯(lián)規(guī)則。

　　第二，數(shù)據(jù)分類。分類在數(shù)據(jù)挖掘中是一項(xiàng)非常重要的任務(wù)，目前在商業(yè)上應(yīng)用最多。分類的目的是構(gòu)造一個(gè)分類函數(shù)或分類模型，該模型能把數(shù)據(jù)庫(kù)中的數(shù)據(jù)項(xiàng)映射到給定類別中的某一個(gè)，即要發(fā)現(xiàn)一些指定的商品或事件是否屬于某一特定數(shù)據(jù)子集的規(guī)則。要構(gòu)造一個(gè)分類模型，需要有一個(gè)訓(xùn)練樣本集作為輸入。訓(xùn)練樣本數(shù)據(jù)集也稱訓(xùn)練集，是由一個(gè)個(gè)數(shù)據(jù)庫(kù)記錄組成的，每一個(gè)記錄包含若干條屬性，組成一個(gè)特征向量。訓(xùn)練集的每一個(gè)記錄還有一個(gè)特定的類標(biāo)簽與之對(duì)應(yīng)，該類標(biāo)簽是系統(tǒng)的輸入，通常是以往的一些經(jīng)驗(yàn)數(shù)據(jù)。分類的目的是分析輸入數(shù)據(jù)，通過(guò)在訓(xùn)練集中的數(shù)據(jù)表現(xiàn)出來(lái)的特性，為每一類找到一種準(zhǔn)確的描述或者分類，由此生成的類描述用來(lái)對(duì)未來(lái)的測(cè)試數(shù)據(jù)進(jìn)行分類。盡管這些未來(lái)測(cè)試數(shù)據(jù)的類標(biāo)簽是未知的，但我們?nèi)钥梢杂纱祟A(yù)測(cè)這些新數(shù)據(jù)所屬的類。分類器的構(gòu)造方法有統(tǒng)計(jì)方法、機(jī)器學(xué)習(xí)方法、神經(jīng)網(wǎng)絡(luò)方法等，統(tǒng)計(jì)方法包括貝葉斯分類和非參數(shù)法，機(jī)器學(xué)習(xí)方法包括決策樹(shù)法和規(guī)則歸納法，前者對(duì)應(yīng)的是決策樹(shù)或判定樹(shù)，后者一般為產(chǎn)生式規(guī)則。

　　第三，聚類分析。聚類分析是對(duì)群體及成員進(jìn)行分類的遞歸過(guò)程。一個(gè)簇是一組數(shù)據(jù)對(duì)象的集合，在同一簇中的對(duì)象彼此類似，而不同簇中的對(duì)象彼此相異。將一組物理或抽象對(duì)象分組成為由類似對(duì)象組成的多個(gè)簇的過(guò)程被稱為聚類，在同一個(gè)簇中的對(duì)象之間具有較高的相似度，而不同簇中的對(duì)象差別較大。距離是經(jīng)常采用的度量方式。聚類分析是對(duì)輸入集中的記錄進(jìn)行分類，由聚類分析工具根據(jù)一定規(guī)則，合理劃分記錄集合，把相似的記錄放在一個(gè)聚集里，用顯式或隱式的方法描述不同的類別。聚類和分類的不同在于聚類不依賴于預(yù)先設(shè)定好的類，它要?jiǎng)澐值氖俏粗?、不需要?xùn)練集和帶類標(biāo)號(hào)的訓(xùn)練實(shí)例，它屬于無(wú)指導(dǎo)學(xué)習(xí)。

　　第四，序列模式。序列模式分析和關(guān)聯(lián)分析相似，其目的也是為了挖掘數(shù)據(jù)之間的聯(lián)系，但序列模式分析的側(cè)重點(diǎn)在于分析數(shù)據(jù)間的前后序列關(guān)系。幾個(gè)重要研究方向包括趨勢(shì)分析、相似性搜索、與時(shí)間有關(guān)數(shù)據(jù)的序列模式挖掘和周期模式挖掘。其中，時(shí)序序列研究能發(fā)現(xiàn)數(shù)據(jù)庫(kù)中形如“在某一段時(shí)間內(nèi)，顧客購(gòu)買商品A，接著購(gòu)買商品B，而后購(gòu)買商品C，即序列A→B→C出現(xiàn)的頻度較高”之類的知識(shí)，其描述的問(wèn)題是“在給定的交易序列數(shù)據(jù)庫(kù)中，每個(gè)序列是按照交易時(shí)間排列的一組交易集，挖掘序列函數(shù)作用在這個(gè)交易序列數(shù)據(jù)庫(kù)上，返回該數(shù)據(jù)庫(kù)中出現(xiàn)的高頻序列”。

　　中期數(shù)據(jù)庫(kù)的優(yōu)勢(shì)與效益

　　1.中期數(shù)據(jù)庫(kù)的優(yōu)勢(shì)

　　首先，該系統(tǒng)中的數(shù)據(jù)庫(kù)結(jié)構(gòu)完備，數(shù)據(jù)量大。目前，國(guó)內(nèi)期貨行業(yè)很少有涉及商品期貨及宏觀經(jīng)濟(jì)數(shù)據(jù)的數(shù)據(jù)庫(kù)，一般都是零星的品種數(shù)據(jù)。雖然國(guó)內(nèi)有不少專業(yè)咨詢公司數(shù)據(jù)信息非常專業(yè)，但品種門類不全，且宏觀方面的數(shù)據(jù)較少，尤其是針對(duì)即將上市的股指期貨。當(dāng)前也有一些公司擁有期貨數(shù)據(jù)庫(kù)，但主要是交易數(shù)據(jù)，缺少品種基本面數(shù)據(jù)。相比之下，中期期貨數(shù)據(jù)庫(kù)在數(shù)據(jù)結(jié)構(gòu)上非常齊全，包括期貨研究所需門類數(shù)據(jù)，如國(guó)內(nèi)宏觀經(jīng)濟(jì)、國(guó)際宏觀經(jīng)濟(jì)、國(guó)內(nèi)外證券市場(chǎng)數(shù)據(jù)、行業(yè)數(shù)據(jù)以及國(guó)內(nèi)外期貨市場(chǎng)數(shù)據(jù)。

　　其次，該系統(tǒng)具備分析預(yù)測(cè)功能。雖然形式上與一般的數(shù)據(jù)庫(kù)相似，但中期“Db-Plus期貨數(shù)據(jù)信息及分析系統(tǒng)”最明顯的一個(gè)特點(diǎn)是含有較為強(qiáng)大的數(shù)據(jù)分析及預(yù)測(cè)模塊，這一模塊不僅是國(guó)內(nèi)外數(shù)據(jù)庫(kù)不具備的，而且也是國(guó)內(nèi)金融投資行業(yè)運(yùn)用較少的先進(jìn)分析軟件。另外，以往主要是研究或?qū)I(yè)人員瀏覽并運(yùn)用數(shù)據(jù)進(jìn)行分析，而普通投資者由于相關(guān)專業(yè)知識(shí)有限，精力有限，大多很少看，也很難用于分析，但“D-Plus期貨數(shù)據(jù)分析系統(tǒng)”增加了多個(gè)數(shù)據(jù)分析預(yù)測(cè)模塊后，使運(yùn)用數(shù)據(jù)庫(kù)的人員范圍大幅擴(kuò)展，從而使數(shù)據(jù)運(yùn)用及分析預(yù)測(cè)可以走進(jìn)普通投資者的生活。

　　2.中期數(shù)據(jù)庫(kù)的社會(huì)效益

　　中期“Db-Plus期貨數(shù)據(jù)信息及分析系統(tǒng)”于2005年立項(xiàng)開(kāi)發(fā)，2006年年底完成初步設(shè)定功能并投入實(shí)際應(yīng)用，為公司和客戶都創(chuàng)造出了非常巨大的經(jīng)濟(jì)效益。而且，該系統(tǒng)于2007年在25位專家的一致鑒定下，獲得了深圳第三屆“金融創(chuàng)新獎(jiǎng)”三等獎(jiǎng)的榮譽(yù)稱號(hào)。

　　隨著公司異地營(yíng)業(yè)部以及VIP客戶不斷使用和運(yùn)用該系統(tǒng)，大幅提高了員工及投資者對(duì)數(shù)量分析的濃厚興趣，令其理性分析市場(chǎng)、理性投資交易的理念深入人心。另外，利用這個(gè)系統(tǒng)所具備的大量豐富數(shù)據(jù)，還增進(jìn)了公司與其他期貨公司、專業(yè)信息公司以及期貨交易所的相關(guān)合作。隨著對(duì)外交流與合作以及使用人數(shù)及范圍不斷擴(kuò)大，必然有助于整個(gè)期貨行業(yè)的快速發(fā)展。對(duì)期貨行業(yè)來(lái)說(shuō)，倡導(dǎo)理性分析、理性投資理念有助投資者快速成熟，有利期貨市場(chǎng)更快成長(zhǎng)。

　　總體上看，與國(guó)外期貨市場(chǎng)相比，目前我國(guó)期貨市場(chǎng)尚處于發(fā)展的初始階段，期貨公司整體盈利水平不高，許多研究尚處于較低層次。由于建設(shè)數(shù)據(jù)倉(cāng)庫(kù)所需的資金較大，加之對(duì)技術(shù)、人員的要求也比較高，目前對(duì)期貨公司來(lái)說(shuō)難度還比較大。當(dāng)然，中期公司在數(shù)據(jù)倉(cāng)庫(kù)的建設(shè)方面還處于探索階段，很多方面都需要進(jìn)行完善，而且也需要大量資金的投入。不過(guò)相信在未來(lái)的一段時(shí)期內(nèi)，國(guó)內(nèi)期貨公司都將會(huì)擁有屬于自己的、全面的數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)，從而提高研究水平，增強(qiáng)期貨公司的核心競(jìng)爭(zhēng)力。