金融工作的核心在于準(zhǔn)確把握金融的本質(zhì)，并堅持以人民為中心的價值觀。這一理念指導(dǎo)下，金融機(jī)構(gòu)正致力于保護(hù)消費者權(quán)益，并通過打造卓越的用戶體驗來重塑自身的核心競爭力。
清華五道口金融科技研究院在《金融科技新動力——數(shù)字化勞動力的應(yīng)用與前瞻》報告中提到，金融機(jī)構(gòu)中，客戶服務(wù)類（語音客服、外呼、綜合柜員等）、運營管理類、市場營銷類、內(nèi)控合規(guī)類（財務(wù)審計、服務(wù)質(zhì)檢、輿情監(jiān)控、內(nèi)容審查、合規(guī)評估等）、風(fēng)險管理類、投資交易類其替代程度和難度依次增加。
當(dāng)前，金融科技在客服類應(yīng)用中已逐漸成熟，但在以內(nèi)控合規(guī)類業(yè)務(wù)應(yīng)用中，還處于快速發(fā)展階段。典型的以服務(wù)質(zhì)檢為例，行業(yè)在覆蓋率、召回率和準(zhǔn)確率上，依然有相當(dāng)大的提升空間。
挖掘問題根源，攻堅克難
金融行業(yè)呼叫中心（Call Center）是一種集中式的、綜合性的客戶服務(wù)系統(tǒng)，通過電話、電子郵件、社交媒體等多種渠道與客戶進(jìn)行互動交流，不僅提供全周期的客戶服務(wù)，如售前咨詢、售后服務(wù)、投訴處理和客戶關(guān)懷，而且能夠進(jìn)行客戶數(shù)據(jù)分析、市場調(diào)研，為企業(yè)的市場和客戶服務(wù)提供策略支撐。為確保呼叫中心高效合規(guī)的服務(wù)客戶，金融機(jī)構(gòu)需對通話內(nèi)容進(jìn)行嚴(yán)格質(zhì)檢，而實現(xiàn)全量精準(zhǔn)質(zhì)檢一直是業(yè)界難題。
過去，傳統(tǒng)人工質(zhì)檢負(fù)責(zé)每日隨機(jī)抽檢客服錄音，并嚴(yán)格依照質(zhì)檢規(guī)則對樣本進(jìn)行評估打分，雖能保障100%準(zhǔn)確率，但覆蓋率常在3%以下，管理精細(xì)的同時伴隨著檢出效率低，全量覆蓋成本高等挑戰(zhàn)。作為每日處理大量客戶咨詢的樞紐，呼叫中心的客服人員經(jīng)常面臨巨大的工作壓力和負(fù)面情緒，所以優(yōu)化客戶體驗，確保服務(wù)質(zhì)量顯得尤為重要。
為突破人工質(zhì)檢困局，馬上消費金融股份有限公司（簡稱：馬上消費）率先引入智能質(zhì)檢系統(tǒng)。以實現(xiàn)覆蓋率100%，召回率（Recall， 也稱作“查全率”）和準(zhǔn)確率（Precision， 也稱作“查準(zhǔn)率”）雙目標(biāo)均達(dá)到80%為理想目標(biāo)，馬上消費的研發(fā)團(tuán)隊展開了長達(dá)兩年的不懈探索。然而，模型反復(fù)迭代，但雙目標(biāo)的驗證結(jié)果仍差強(qiáng)人意，總和僅在40%-70%之間徘徊，似乎難以逾越。技術(shù)自身的局限性以及召回率與準(zhǔn)確率之間的相互制約使得系統(tǒng)的表現(xiàn)仍與期望存在較大差距。主要原因包含四個方面：
一是AI技術(shù)發(fā)展存在一定局限性。一方面，語音識別技術(shù)（Automatic Speech Recognition， ASR）的轉(zhuǎn)譯準(zhǔn)確率平均水平不到90%，且坐席語速過快、方言及口音各異、背景雜音難識別等難題也相伴左右。另一方面，自然語言處理（Natural Language Processing， NLP）的語義理解準(zhǔn)確率僅為80%，在復(fù)雜語境、上下文理解、語音泛化理解等方面仍需攻堅克難。因此，雙向因素疊加影響，智能質(zhì)檢的準(zhǔn)確率和召回率難以達(dá)到100%。
二是召回率和準(zhǔn)確率是一對動態(tài)平衡的矛盾。理想狀態(tài)下，準(zhǔn)確率和召回率可以同時達(dá)到高值，然而實踐應(yīng)用中，兩者此消彼長，準(zhǔn)確率高，則召回率低，反之亦然。
三是在復(fù)雜客服場景下，AI在倫理和安全層面能力有限。比如，基于ASR和NLP能力，智能質(zhì)檢系統(tǒng)需要對“減免”相關(guān)上下文進(jìn)行意圖識別并鎖定人工坐席承諾的減免金額，比如“給你減免500、給你減免30%的剩余欠款或你只需要還7000元等”，此外，由于減免細(xì)則變化頻率較高，對智能質(zhì)檢系統(tǒng)的挑戰(zhàn)繼續(xù)增加。而據(jù)統(tǒng)計，復(fù)雜客服場景的占比卻高達(dá)1/3。
四是高危復(fù)雜場景可用存量不足，AI訓(xùn)練出現(xiàn)瓶頸。由于部分高危復(fù)雜場景，歷史違規(guī)量少，甚至歷年來無任何違規(guī)或僅有個位數(shù)違規(guī)，這導(dǎo)致模型訓(xùn)練語料稀少，且技術(shù)無法通過持續(xù)學(xué)習(xí)和訓(xùn)練快速實現(xiàn)模型準(zhǔn)確率提升。
完成根因突破，難題解碼
馬上消費組建了智能質(zhì)檢攻堅小組，在日以繼夜的腦暴后，決定從五方面解耦問題，尋找背后的解題思路。
一是客服一線現(xiàn)場調(diào)研：“攻堅小組”率先深入客服業(yè)務(wù)現(xiàn)場，在呼叫中心輪崗接聽客戶電話，了解到質(zhì)檢管理的愿景是能夠真正做到強(qiáng)合規(guī)、抓體驗、促效率。
二是數(shù)據(jù)分析研判重點：“攻堅小組”運用數(shù)據(jù)分析來系統(tǒng)性統(tǒng)籌違規(guī)情形分布情況。由于涉及不同情形下的處罰決策，因而現(xiàn)場違規(guī)數(shù)據(jù)表現(xiàn)對于智能策略實施顯得尤為重要。從傳統(tǒng)人工質(zhì)檢隨機(jī)抽檢數(shù)據(jù)多維分析對比發(fā)現(xiàn)，高危模型情形占比不足0.2‰，日機(jī)器檢出量也少，準(zhǔn)確率均不高。而非高危模型經(jīng)過調(diào)優(yōu)后，準(zhǔn)確率均還不錯。進(jìn)一步思考發(fā)現(xiàn)，嚴(yán)重違規(guī)情形數(shù)量少，危害大，適合采用召回率指標(biāo)，而一般違規(guī)情形數(shù)量大，危害小，更適合采用準(zhǔn)確率指標(biāo)來衡量。
三是訪談管理層探索業(yè)務(wù)本質(zhì)：“攻堅小組”通過訪談管理團(tuán)隊，一方面是尋求管理方法革新，更重要的是了解管理者對于智能質(zhì)檢項目的核心期望與戰(zhàn)略設(shè)想。在管理與業(yè)務(wù)之間，“攻堅小組”逐漸摸索到了技術(shù)邏輯與業(yè)務(wù)規(guī)律的平衡點，并順勢推動落地實施。
四是落實分類處置策略：“攻堅小組”在盡職調(diào)研后意識到過往“準(zhǔn)召雙抓”的實施策略需要做出適當(dāng)調(diào)整。但由于風(fēng)險程度不同，關(guān)注重心也應(yīng)有所聚焦并保證差異。經(jīng)過反復(fù)討論，“攻堅小組”負(fù)責(zé)人決定針對嚴(yán)重違規(guī)情形，聚焦召回率，而針對一般違規(guī)情形，則聚焦準(zhǔn)確率，從而達(dá)到消除高危項（強(qiáng)合規(guī)），降低一般違規(guī)發(fā)生量(抓體驗)的效果。
圖：按照嚴(yán)重程度和發(fā)生量制定跟進(jìn)策略
五是推廣質(zhì)檢作業(yè)新模式(人機(jī)協(xié)作):“攻堅小組”統(tǒng)籌考量了人工質(zhì)檢和智能質(zhì)檢的優(yōu)勢，最終決定引入人機(jī)協(xié)作的新模式。即由機(jī)器人負(fù)責(zé)全量智能質(zhì)檢及推送，而人工坐席負(fù)責(zé)復(fù)檢與管理的跟進(jìn)，復(fù)檢結(jié)果可不斷反哺給機(jī)器，以持續(xù)提升機(jī)器人檢出效果，最終達(dá)到合作雙贏的目的。
經(jīng)過一年試點與實踐，“攻堅小組”取得了階段性成果：嚴(yán)重違規(guī)情形平均召回率83%，一般違規(guī)情形平均準(zhǔn)確率85%，相較于傳統(tǒng)人工質(zhì)檢，智能質(zhì)檢系統(tǒng)的違規(guī)檢出率提升了近6倍。且隨著違規(guī)檢出率的不斷提升，單通違規(guī)檢出所消耗的人力成本也大幅下降至67%。
值得一提的是，馬上消費智能質(zhì)檢攻堅小組研發(fā)的分類處置策略和人機(jī)協(xié)作相結(jié)合的極致方案最終實現(xiàn)了錄音覆蓋率100%、違規(guī)檢出準(zhǔn)確率85+%的行業(yè)領(lǐng)先水平，并因此榮獲部委級一等獎的殊榮。
勇于打破界限，引領(lǐng)變革
市場多變、客戶多元，技術(shù)也在推陳出新。金融業(yè)務(wù)對于智能質(zhì)檢的標(biāo)準(zhǔn)越來越高，智能質(zhì)檢的創(chuàng)新與突破下探到了深水區(qū)。
2023年進(jìn)入大模型元年。馬上消費于當(dāng)年8月率先推出了金融大模型，并決定其應(yīng)用于多類業(yè)務(wù)場景，包括智能質(zhì)檢。在該環(huán)節(jié)，大模型憑其卓越的上下文記憶和語義理解能力，有效減少了誤召率。但由于大模型幻覺等特性，使得其在智能質(zhì)檢中的應(yīng)用依然存在挑戰(zhàn)。
于是，經(jīng)過慎重思考，馬上消費研發(fā)團(tuán)隊將“先驗規(guī)則+NLP+大模型”進(jìn)行“三?！比诤?，面對嚴(yán)重違規(guī)情形，采用三模并集，以提升召回率；而對一般違規(guī)情形，則采用三模交集，重在提升準(zhǔn)確率。從而與時俱進(jìn)，揚長避短，突破技術(shù)限制。攻堅小組通過技術(shù)的不斷精進(jìn)，再一次實現(xiàn)了召回率和準(zhǔn)確率雙指標(biāo)的二次躍升，再度突破行業(yè)天花板。
結(jié)語：
作為一家以技術(shù)驅(qū)動的數(shù)字金融機(jī)構(gòu)，馬上消費歷時4年分階段完成了呼叫中心質(zhì)檢系統(tǒng)從“人工”到“智能”的轉(zhuǎn)化。
馬上消費利用前沿技術(shù)夯實自身核心競爭力，最終尋找到技術(shù)邏輯與業(yè)務(wù)規(guī)律的平衡點，實現(xiàn)了用戶體驗質(zhì)的提升。這一過程，不僅僅是技術(shù)層面的突破，更是對組織結(jié)構(gòu)、人才資源以及企業(yè)文化等管理要素的深刻回歸與有機(jī)融合。
“工欲善其事，必先利其器”。 新一輪科技革命和產(chǎn)業(yè)變革正在重塑經(jīng)濟(jì)增長的新動能。未來，全球經(jīng)濟(jì)競爭的焦點集中體現(xiàn)在“對科技制高點的競爭”上。中國乃至全球金融業(yè)下一階段的較量一定圍繞戰(zhàn)略性新興技術(shù)的規(guī)模化應(yīng)用。
