韓國(guó)先進(jìn)的移動(dòng)運(yùn)營(yíng)商構(gòu)建包含數(shù)百億個(gè)參數(shù)的大型語(yǔ)言模型，并使用 NVIDIA DGX SuperPOD 平臺(tái)和 NeMo Megatron
框架訓(xùn)練該模型。
在韓國(guó)受歡迎的 AI 語(yǔ)音助手 GiGA Genie 每天會(huì)與 800 萬(wàn)人交談。
這款 AI 賦能的揚(yáng)聲器由電信公司 KT 提供，不僅能控制電視和提供實(shí)時(shí)流量更新信息，還能根據(jù)語(yǔ)音命令完成大量其他家居輔助任務(wù)。得益于大型語(yǔ)言模型
(LLM)（能根據(jù)龐大的文本數(shù)據(jù)集識(shí)別、理解、預(yù)測(cè)和生成人類語(yǔ)言的機(jī)器學(xué)習(xí)算法），這款揚(yáng)聲器掌握了以極為復(fù)雜的韓語(yǔ)進(jìn)行對(duì)話的技能。
該公司構(gòu)建了包含數(shù)百億個(gè)參數(shù)的 LLM，并且使用 NVIDIA DGX SuperPOD 數(shù)據(jù)中心基礎(chǔ)架構(gòu)平臺(tái)與 NeMo Megatron
框架來(lái)訓(xùn)練和部署這些模型。
毫無(wú)疑問(wèn)，韓語(yǔ) (Hangul) 是一種極為復(fù)雜的語(yǔ)言。它包含四種類型的復(fù)合動(dòng)詞，而且詞語(yǔ)通常由兩個(gè)或更多個(gè)詞根組成。
KT 是韓國(guó)先進(jìn)的移動(dòng)運(yùn)營(yíng)商，擁有超過(guò) 2200 萬(wàn)用戶。該公司通過(guò)開發(fā)包含大約 400 億個(gè)參數(shù)的
LLM，提高了智能揚(yáng)聲器對(duì)此類詞語(yǔ)的理解能力。此外，通過(guò)與 Amazon Alexa 進(jìn)行集成，GiGA Genie 也可以使用英語(yǔ)與用戶交談。
KT 的 LLM 開發(fā)團(tuán)隊(duì)負(fù)責(zé)人 Hwijung Ryu 說(shuō)道：“借助基于 Transformer 的模型，我們顯著改善了 GiGA Genie
智能揚(yáng)聲器和我們客戶服務(wù)平臺(tái) AI 聯(lián)絡(luò)中心 (AICC) 的品質(zhì)?！?
AICC 是基于云的一體式平臺(tái)，可提供 AI 語(yǔ)音代理和其他與客戶服務(wù)相關(guān)的應(yīng)用。
它可以接聽電話并提供客戶需要的信息，或者快速將客戶轉(zhuǎn)接到人工代理，以便對(duì)更詳細(xì)的詢問(wèn)進(jìn)行解答。Ryu 指出，無(wú)需人工干預(yù)的 AICC
每天可以管理韓國(guó)各地打來(lái)的 10 萬(wàn)多個(gè)電話。
他補(bǔ)充說(shuō)道：“LLM 使 GiGA Genie 能夠更好地理解語(yǔ)言并生成更接近人類語(yǔ)言的句子，而 AICC
能更快地對(duì)詢問(wèn)類型進(jìn)行匯總和分類，從而將咨詢時(shí)間縮短 15 秒。”
訓(xùn)練大型語(yǔ)言模型
開發(fā) LLM 可能是一個(gè)成本高昂且耗費(fèi)時(shí)間的過(guò)程，并需要深厚的專業(yè)技術(shù)知識(shí)和巨大的全棧技術(shù)投資。
NVIDIA AI 平臺(tái)簡(jiǎn)化并加快了 KT 的這一過(guò)程。
Ryu 說(shuō)：“我們利用 NVIDIA DGX SuperPOD 的強(qiáng)大性能以及 NeMo Megatron 的優(yōu)化算法和 3D
并行技術(shù)，更有成效地訓(xùn)練了 LLM 模型。NeMo Megatron 不斷采用新功能，這是我們認(rèn)為它在提高模型準(zhǔn)確性方面的巨大優(yōu)點(diǎn)?！?
3D 并行對(duì)訓(xùn)練 KT 的 LLM 至關(guān)重要，它是一種分布式訓(xùn)練方法，可將超大規(guī)模的深度學(xué)習(xí)模型分散到多臺(tái)設(shè)備上。Ryu 指出，NeMo
Megatron 使團(tuán)隊(duì)能夠以盡可能高的吞吐量輕松完成這項(xiàng)任務(wù)。
他補(bǔ)充道：“我們考慮過(guò)使用其他平臺(tái)，但很難找到從硬件級(jí)別到推理級(jí)別都能提供全棧環(huán)境的替代平臺(tái)。NVIDIA
還提供來(lái)自產(chǎn)品、工程團(tuán)隊(duì)等的出色專業(yè)知識(shí)，使我們輕松解決了多個(gè)技術(shù)問(wèn)題?！?
Ryu 表示，通過(guò)使用 NeMo Megatron 中的超參數(shù)優(yōu)化工具，KT 訓(xùn)練其 LLM 的速度比使用其他框架快 2
倍。借助這些工具，用戶可以自動(dòng)找到更適合 LLM 訓(xùn)練和推理的配置，從而簡(jiǎn)化和加快開發(fā)與部署過(guò)程。
KT 還計(jì)劃使用 NVIDIA Triton 推理服務(wù)器來(lái)提供優(yōu)化的實(shí)時(shí)推理服務(wù)，以及使用 NVIDIA Base Command Manager
輕松監(jiān)控和管理其 AI 集群中的數(shù)百個(gè)節(jié)點(diǎn)。
Ryu 說(shuō)：“得益于 LLM，KT
可以比以往更快地發(fā)布充滿競(jìng)爭(zhēng)力的產(chǎn)品。我們還確信我們的技術(shù)可以推動(dòng)其他公司的創(chuàng)新，因?yàn)樗梢杂脕?lái)增加價(jià)值和創(chuàng)造新穎的產(chǎn)品?！?
