2月28日,由《經(jīng)濟(jì)觀察報(bào)》、經(jīng)觀傳媒共同舉辦的“周期新變量 科技新格局”2024數(shù)字創(chuàng)新峰會(huì)于北京舉行。中電信人工智能科技有限公司平臺(tái)業(yè)務(wù)部首席架構(gòu)師畢然發(fā)表了《中國電信星辰智能體平臺(tái)賦能大模型產(chǎn)業(yè)落地實(shí)踐》主旨演講。
畢然認(rèn)為,對(duì)于傳統(tǒng)企業(yè)來說,人才是企業(yè)發(fā)展的第一要?jiǎng)?wù);而對(duì)于下一代新型企業(yè),企業(yè)中有效智能體的數(shù)量將成為發(fā)展的關(guān)鍵。
以下為演講實(shí)錄:
隨著近期DeepSeek技術(shù)的不斷發(fā)展,大模型技術(shù)及其產(chǎn)業(yè)落地受到了越來越多的關(guān)注。我們先來看一下,大模型技術(shù)在當(dāng)前的技術(shù)和市場上呈現(xiàn)出哪些新的趨勢(shì)。
首先,全國產(chǎn)化的趨勢(shì)越發(fā)明顯。除了模型的構(gòu)建和應(yīng)用軟件的開發(fā)之外,硬件推理和計(jì)算也在不斷實(shí)現(xiàn)國產(chǎn)化。端到端的國產(chǎn)化已成為當(dāng)前技術(shù)發(fā)展的重要方向。其次,強(qiáng)化學(xué)習(xí)模式逐漸成為大模型訓(xùn)練的關(guān)鍵。與傳統(tǒng)的指令學(xué)習(xí)(SFT)相比,強(qiáng)化學(xué)習(xí)能夠顯著提升大模型的思維鏈能力,這也是DeepSeek等大模型不斷突破的重要?jiǎng)恿?。第三,多模態(tài)大模型正逐漸成為業(yè)界應(yīng)用的主流。多模態(tài)大模型綜合了語言、語音、視覺等多種模態(tài)的理解和生成能力。一方面,視覺信息可以幫助語言模型更好地理解空間位置和邏輯關(guān)系;另一方面,語言的語義表示也能增強(qiáng)視覺信息的深度語義理解,而不僅僅是圖像中的物體標(biāo)簽。最后,大模型技術(shù)與具身智能的結(jié)合日益緊密。隨著機(jī)器人、機(jī)器狗、無人機(jī)等智能硬件的發(fā)展,大模型在真實(shí)世界中的應(yīng)用邊界不斷擴(kuò)展。那最后我們會(huì)看到目前整個(gè)大模型的一個(gè)技術(shù)的演進(jìn),會(huì)跟我們的具身智能有很好的一個(gè)結(jié)合。
除了技術(shù)演進(jìn),市場上也有三個(gè)顯著特點(diǎn)。首先,大模型通過蒸餾技術(shù)轉(zhuǎn)化為小參數(shù)化模型,以加速其在服務(wù)器端或端側(cè)設(shè)備上的應(yīng)用。在端側(cè)設(shè)備上部署小尺寸模型,可以顯著提升大模型的響應(yīng)速度和用戶體驗(yàn)。其次,大模型單獨(dú)落地產(chǎn)業(yè)應(yīng)用的難度較大,而將其包裝成智能體——一種新型的AI原生軟件形式——并應(yīng)用于產(chǎn)業(yè)場景,已成為當(dāng)前的發(fā)展趨勢(shì)。大模型與智能體的結(jié)合正在推動(dòng)各行業(yè)的變革,呈現(xiàn)出普遍開發(fā)的狀態(tài)。中國電信也推出了自己的星辰大模型,這是在李學(xué)龍老師帶領(lǐng)下,由中國電信AI研究院推出的語音、語義、多模態(tài)、多層次的星辰大模型系列。星辰大模型具有國家隊(duì)做模型的幾個(gè)特點(diǎn):首先是安全自主可控,能夠更好地控制大模型的輸出安全性;其次,星辰大模型扎根于眾多行業(yè)縱深應(yīng)用。中國電信多年來服務(wù)于政務(wù)、工業(yè)、應(yīng)急等國計(jì)民生行業(yè),為大模型的訓(xùn)練和應(yīng)用提供了豐富的場景和數(shù)據(jù);同時(shí),星辰大模型也在踐行央企使命,應(yīng)用于諸如校園防霸凌等公益場景。
接下來,我想重點(diǎn)談?wù)劥竽P图夹g(shù)的產(chǎn)業(yè)落地問題。盡管大模型技術(shù)不斷突破,但業(yè)內(nèi)普遍關(guān)注的問題是:大模型到底如何賦能應(yīng)用?我們希望看到大模型在千行百業(yè)中為經(jīng)濟(jì)生產(chǎn)和日常生活帶來巨大的改善和提升。然而,即使像DeepSeek這樣強(qiáng)大的模型,直接應(yīng)用于具體場景時(shí),其作用也相對(duì)有限。原因何在?
通用大模型相當(dāng)于一個(gè)高中生,如果直接將其派到職場,效果并不理想。我們需要讓這個(gè)“高中生”上大學(xué),學(xué)習(xí)專業(yè)知識(shí),將其轉(zhuǎn)化為行業(yè)大模型。畢業(yè)后,為了更好地完成具體工作,還需要對(duì)其進(jìn)行職場培訓(xùn),包括提供企業(yè)私有知識(shí)庫、文檔庫以及相關(guān)工具。例如,對(duì)于財(cái)務(wù)人員,提供財(cái)務(wù)精算軟件以輔助其完成報(bào)表。經(jīng)過這樣的培訓(xùn)后,“大學(xué)生”就變成了職場人,對(duì)應(yīng)到大模型,經(jīng)過提示詞、知識(shí)庫和工具的賦能,它就變成了一個(gè)智能體應(yīng)用。對(duì)于傳統(tǒng)企業(yè)來說,人才是企業(yè)發(fā)展的第一要?jiǎng)?wù);而對(duì)于下一代新型企業(yè),企業(yè)中有效智能體的數(shù)量將成為發(fā)展的關(guān)鍵。
接下來,我將重點(diǎn)介紹中國電信星辰智能體平臺(tái)的應(yīng)用展示。首先是會(huì)展助手。在大型會(huì)議中,參會(huì)者常常會(huì)詢問會(huì)議地點(diǎn)、周邊餐飲、會(huì)議主題、演講嘉賓等問題。這些問題可以通過星辰智能體平臺(tái)在1分鐘內(nèi)基于大模型搭建出應(yīng)用,代替人工回答這些問題。基于星辰智能體平臺(tái)的自主規(guī)劃構(gòu)建模式,可在1分鐘內(nèi)快速構(gòu)建會(huì)展助手智能體。該智能體能夠?yàn)闀?huì)議舉辦方及參會(huì)者提供會(huì)議信息查詢、行程規(guī)劃、邀請(qǐng)函發(fā)送等功能。開發(fā)者可以自定義會(huì)展助手的角色指令,包括角色定位、工具調(diào)用要求及限制條件。智能體還可以靈活選用二維碼工具快速分享會(huì)議網(wǎng)址,通過實(shí)時(shí)時(shí)間工具進(jìn)行日程提醒,生成海報(bào)助力宣傳,制定出差行程和聚餐安排,提供多語種會(huì)議邀請(qǐng)等。此外,智能體可自主配置會(huì)展議程等相關(guān)知識(shí)庫,自動(dòng)解析并作為回答來源,確?;卮鸬臏?zhǔn)確性。最后,預(yù)設(shè)開場白及常見問題解答,提升問詢效率。配置完成后,可以實(shí)時(shí)預(yù)覽及調(diào)試,確保滿足預(yù)期。完成發(fā)布流程后,即可獲得專屬的會(huì)展助手。
當(dāng)用戶查詢距離會(huì)議的天數(shù)時(shí),會(huì)展助手可以根據(jù)當(dāng)前時(shí)間迅速計(jì)算;當(dāng)用戶查詢會(huì)議議程時(shí),智能體會(huì)自動(dòng)檢索知識(shí)庫并提供精確回答;當(dāng)用戶提出關(guān)于展品的海報(bào)需求時(shí),會(huì)展助手可以一鍵生成精美海報(bào);當(dāng)需要向國際客戶發(fā)送邀請(qǐng)時(shí),助手可以快速撰寫并發(fā)送多語種邀請(qǐng)函;當(dāng)用戶需要分享會(huì)議信息時(shí),會(huì)展助手可以自動(dòng)生成會(huì)議官網(wǎng)二維碼;當(dāng)需要安排出差行程時(shí),會(huì)展助手可以自動(dòng)生成詳細(xì)的日程計(jì)劃;當(dāng)用戶有會(huì)議后的聚餐需求時(shí),會(huì)展助手可以提供會(huì)場附近的聚餐地點(diǎn)信息。這樣一個(gè)強(qiáng)大的會(huì)展助手,依托星辰智能體平臺(tái),僅需1分鐘即可快速搭建,為更多行業(yè)的智能化發(fā)展提供有力支持。
接下來,我為大家展示第二個(gè)案例——商品評(píng)論處理。在電商平臺(tái)上,客服每天需要處理大量商品評(píng)論,例如將好評(píng)置頂、將差評(píng)反饋給質(zhì)量部等。這是一個(gè)相對(duì)復(fù)雜的業(yè)務(wù)邏輯場景?;谛浅街悄荏w平臺(tái)的工作流模式,可在30分鐘內(nèi)快速構(gòu)建商品評(píng)論助手。該智能體能夠有效應(yīng)對(duì)海量評(píng)論中的敏感信息、圖文不符等問題,節(jié)省平臺(tái)客服的大量精力。當(dāng)用戶評(píng)論中包含違禁圖片時(shí),智能體會(huì)迅速識(shí)別并處理;對(duì)于不當(dāng)評(píng)論,智能體會(huì)快速介入并提醒用戶;當(dāng)用戶上傳圖文不符的評(píng)論時(shí),智能體會(huì)自動(dòng)處理并提示用戶。此外,智能體還可以快速區(qū)分好評(píng)與差評(píng),好評(píng)內(nèi)容基于設(shè)定流程高效處理,差評(píng)內(nèi)容則自動(dòng)推送至推送至售后部門處理。開發(fā)者可以依托對(duì)業(yè)務(wù)流程的理解進(jìn)行節(jié)點(diǎn)設(shè)計(jì),第一步是判斷用戶上傳內(nèi)容的類型及其合規(guī)性,可以添加并配置一個(gè)星辰多模態(tài)大模型節(jié)點(diǎn),明確商品評(píng)論員角色,并設(shè)定圖片內(nèi)容識(shí)別及圖文相關(guān)性技能要求。然后,智能體還可以對(duì)合規(guī)評(píng)論進(jìn)行自定義分類,包括正面評(píng)論、質(zhì)量問題等,并據(jù)此設(shè)定相應(yīng)處理流程,靈活應(yīng)對(duì)復(fù)雜業(yè)務(wù)需求。
通過以上兩個(gè)案例,可以看到自主規(guī)劃智能體的本質(zhì)是讓大模型訪問知識(shí)庫并使用工具,在特定提示詞的指揮下完成具體任務(wù);而工作流智能體則更接近傳統(tǒng)的低代碼平臺(tái),但其執(zhí)行流程由大模型進(jìn)行控制和調(diào)度。大家可能會(huì)問,為什么不直接讓大模型完全自動(dòng)化控制整個(gè)軟件執(zhí)行流程,而是將傳統(tǒng)低代碼平臺(tái)與大模型控制相結(jié)合呢?這是因?yàn)楫?dāng)前大模型技術(shù)還不夠穩(wěn)定,在很多復(fù)雜場景下,大模型的準(zhǔn)確率無法達(dá)到99%以上。因此,我們常??吹酱竽P蛻?yīng)用在20%的場景下表現(xiàn)良好,但在80%的場景下可能出錯(cuò)。為了解決這一問題,星辰智能體平臺(tái)提供了漸進(jìn)式智能方案。在大模型表現(xiàn)良好的環(huán)節(jié),我們使用大模型進(jìn)行中控;在對(duì)準(zhǔn)確率要求極高且大模型穩(wěn)定性不足的環(huán)節(jié),輔以傳統(tǒng)代碼編寫方式。這樣,我們能夠漸進(jìn)式地將大模型應(yīng)用于新型智能化軟件中。
星辰智能體平臺(tái)的產(chǎn)品特性和架構(gòu)如下:首先,平臺(tái)非常靈活易用,支持1分鐘內(nèi)創(chuàng)建自主規(guī)劃智能體,也支持更復(fù)雜的工作流智能體。其次,我們的大模型在智能體環(huán)境下經(jīng)過專項(xiàng)優(yōu)化,例如星辰大模型、千問大模型以及DeepSeek等,以確保在智能體場景下表現(xiàn)更優(yōu)。第三,中國電信在多個(gè)產(chǎn)業(yè)領(lǐng)域擁有豐富的應(yīng)用經(jīng)驗(yàn),我們也將這些特性融入星辰智能體平臺(tái),提供15個(gè)以上行業(yè)的應(yīng)用和產(chǎn)業(yè)工具庫。與其他智能體平臺(tái)相比,我們的平臺(tái)能夠快速構(gòu)建深入產(chǎn)業(yè)業(yè)務(wù)邏輯的智能體應(yīng)用。最后,我們聯(lián)合北京大學(xué)、浙江大學(xué)等高校推出系統(tǒng)化培訓(xùn)課程,并頒發(fā)工信部認(rèn)證的職業(yè)證書。
在平臺(tái)架構(gòu)方面,我們通過架構(gòu)圖展示了智能體的基本特性。首先,平臺(tái)包含控制系統(tǒng)和規(guī)劃與進(jìn)化系統(tǒng)。規(guī)劃進(jìn)化系統(tǒng)由大模型主導(dǎo),追求業(yè)務(wù)執(zhí)行的靈活性;而控制系統(tǒng)則追求執(zhí)行過程的穩(wěn)定性,動(dòng)態(tài)選擇在大模型效果較好時(shí)使用其智能表現(xiàn),效果不穩(wěn)定時(shí)切換至穩(wěn)定程序邏輯。知識(shí)中心、產(chǎn)業(yè)工具庫和代碼解釋器是平臺(tái)的核心組件。知識(shí)中心負(fù)責(zé)知識(shí)庫和信息檢索利用;產(chǎn)業(yè)工具庫提供工具調(diào)用技術(shù);代碼解釋器則與AI公司軟件工廠產(chǎn)品結(jié)合,當(dāng)大模型遇到難題時(shí),自動(dòng)編寫代碼生成動(dòng)態(tài)工具完成任務(wù)。平臺(tái)運(yùn)行過程中產(chǎn)生的大量日志通過低門檻開發(fā)平臺(tái)反饋至數(shù)據(jù)系統(tǒng),更新模型內(nèi)容,提升智能體表現(xiàn)。此外,智能體支持豐富的交互方式,包括語音交互、動(dòng)態(tài)生成GUI前端組件等,避免智能體僅限于對(duì)話聊天形式,可與傳統(tǒng)通訊軟件媲美,支持具身智能應(yīng)用。應(yīng)用部署支持通過API或Web SDK生成可執(zhí)行文件,部署至端側(cè)應(yīng)用場景。
我還想分享一下星辰智能體平臺(tái)的最新進(jìn)展。平臺(tái)已全面接入并融合DeepSeek,可以接入公有云或本地化部署的Deepseek服務(wù)。無論是自主規(guī)劃智能體還是工作流智能體,均全面適配DeepSeek,全流程使用DeepSeek模型提升效果。平臺(tái)應(yīng)用廣場提供大量基于DeepSeek的智能體應(yīng)用供用戶使用和參考。
接下來,我為大家展示中國電信基于星辰智能體平臺(tái)的產(chǎn)業(yè)應(yīng)用。首先是中國電信通話助手。在漏接電話時(shí),通話助手可以與來電用戶在線語音溝通,了解其需求并發(fā)送短信通知用戶,避免錯(cuò)過重要信息。通話助手智能體基于智能體平臺(tái)的語音和大模型能力升級(jí),可靈活處理來電需求,適用于個(gè)人生活助理、個(gè)人健康管理、來電漏聽管理等多個(gè)場景。當(dāng)有產(chǎn)品銷售電話接入時(shí),電話代理會(huì)迅速響應(yīng)并追問關(guān)鍵信息,總結(jié)產(chǎn)品詳情反饋用戶;當(dāng)好友來電邀請(qǐng)活動(dòng)時(shí),電話代理會(huì)記錄邀請(qǐng)信息并發(fā)送給用戶。這樣一個(gè)強(qiáng)大便捷的智能體,依托星辰智能體平臺(tái),基于大語言及多模態(tài)大模型快速搭建。
在電話代理智能體的業(yè)務(wù)場景中,由于涉及多環(huán)節(jié)和復(fù)雜業(yè)務(wù)邏輯,工作流編排模式可以高效整合這些環(huán)節(jié),提供靈活的自定義能力。工作流編排支持用戶根據(jù)業(yè)務(wù)實(shí)際情況自定義節(jié)點(diǎn)選擇與應(yīng)用,確保完全貼合業(yè)務(wù)場景需求。對(duì)每一個(gè)節(jié)點(diǎn)的參數(shù)支持個(gè)性化調(diào)整,提升節(jié)點(diǎn)決策的準(zhǔn)確性與效率。還可以根據(jù)業(yè)務(wù)規(guī)則靈活進(jìn)行節(jié)點(diǎn)串聯(lián)和流程定義,應(yīng)對(duì)更為復(fù)雜和多變的業(yè)務(wù)處理需求。流程搭建完成后,用戶可以實(shí)時(shí)對(duì)智能體進(jìn)行預(yù)覽及調(diào)試,每一步操作的可追溯性與安全性,增強(qiáng)了系統(tǒng)的透明度。星辰智能體平臺(tái)的魅力在于它的快速搭建與無限拓展,從電話代理智能體到更多業(yè)務(wù)領(lǐng)域,星辰智能體平臺(tái)都能以強(qiáng)大的靈活性與可擴(kuò)展性為我們帶來全新的智能化解決方案。
除了中國電信自身的應(yīng)用,我們還聯(lián)合多家央企實(shí)踐智能體在千行百業(yè)的落地。共同參與了基于星辰智能體平臺(tái)的培訓(xùn)和實(shí)戰(zhàn),技術(shù)人員將企業(yè)應(yīng)用場景和數(shù)據(jù)帶入平臺(tái),完成智能體方案和實(shí)踐作業(yè)。通過統(tǒng)計(jì)發(fā)現(xiàn),央企在各個(gè)領(lǐng)域都提出了大量基于大模型智能體的應(yīng)用方案。
例如,在營銷領(lǐng)域,智能體可以制定營銷方案,結(jié)合行業(yè)知識(shí)和市場情況,滿足多樣化營銷需求;在人力資源領(lǐng)域,智能體可以提供就業(yè)助手,查詢就業(yè)活動(dòng),根據(jù)市場需求修改簡歷,提供最新崗位和招聘信息;在工業(yè)和制造業(yè),智能體可以協(xié)助安全生產(chǎn),結(jié)合設(shè)備信息,保障生產(chǎn)有序執(zhí)行。通過多家央企的聯(lián)合實(shí)踐,我們發(fā)現(xiàn)智能體在千行百業(yè)中具有廣泛的應(yīng)用前景,平臺(tái)的成熟度和穩(wěn)定性也得到了驗(yàn)證。
最后,如果大家對(duì)DeepSeek大模型浪潮特別關(guān)注,希望結(jié)合企業(yè)應(yīng)用探索大模型落地,歡迎聯(lián)系星辰智能體平臺(tái)。我們聯(lián)合北京大學(xué)、浙江大學(xué)等高校創(chuàng)建了理論加實(shí)踐的大模型加智能體產(chǎn)業(yè)賦能課程。課程不僅教授理論知識(shí),還提供大量行業(yè)應(yīng)用案例和實(shí)踐操作,幫助學(xué)員掌握大模型技術(shù)在產(chǎn)業(yè)落地中的應(yīng)用。培訓(xùn)結(jié)束后,學(xué)員將獲得工信部認(rèn)證的“AI智能體開發(fā)工程師”證書和相應(yīng)大學(xué)的課程結(jié)業(yè)證書,全面提升企業(yè)人員運(yùn)用大模型技術(shù)的能力。
未來已來,時(shí)不我待。中國電信星辰智能體平臺(tái)愿與各界產(chǎn)業(yè)伙伴攜手迎接“行業(yè)+智能體”的新時(shí)代。
高露/文