在當(dāng)今快速發(fā)展的數(shù)字化時(shí)代，人工智能技術(shù)正成為推動(dòng)各行各業(yè)創(chuàng)新轉(zhuǎn)型的關(guān)鍵力量。大模型生態(tài)的發(fā)展日益完善，各項(xiàng)技術(shù)均在不斷進(jìn)步和創(chuàng)新。人工智能技術(shù)的發(fā)展路徑目前呈現(xiàn)出兩種技術(shù)路線：一類是通用領(lǐng)域大模型，通過(guò)極大參數(shù)的訓(xùn)練，不斷提升模型通用能力；而另一類則是在垂直領(lǐng)域應(yīng)用，追求對(duì)現(xiàn)有行業(yè)應(yīng)用軟件進(jìn)行“最后一公里”改造。
相較于通用大模型，垂直領(lǐng)域的AIGC應(yīng)用需要解決模型針對(duì)性、確定性、精準(zhǔn)性和安全性的問(wèn)題，同時(shí)客戶更重視投入的產(chǎn)出比，因此需要在有限算力投入下解決精準(zhǔn)計(jì)算的問(wèn)題。這給中科軟這類ISV提供了廣闊的業(yè)務(wù)機(jī)會(huì)，為了進(jìn)一步探索和實(shí)現(xiàn)AIGC技術(shù)在垂直領(lǐng)域的深度應(yīng)用，中科軟近期成功舉辦了為期兩天主題為“開(kāi)源軟件/產(chǎn)品基座下的垂直AIGC平臺(tái)（MaaS）及組織協(xié)同實(shí)施”的專題技術(shù)交流活動(dòng)。
垂直領(lǐng)域AIGC模型應(yīng)用需要“小而精”，采用小規(guī)模的模型作為底座，對(duì)向量集的規(guī)模（長(zhǎng)度）做“減法”，從而專注于精確的語(yǔ)義表達(dá)，能夠更有效地與行業(yè)應(yīng)用軟件的語(yǔ)義空間相匹配，不僅減少了對(duì)計(jì)算資源的需求，降低成本，而且提高了數(shù)據(jù)處理的精確度，這對(duì)于解決行業(yè)應(yīng)用軟件中的特定痛點(diǎn)至關(guān)重要。同時(shí)，為了提高實(shí)用精確度，模型推斷（歸納推斷）要與已有應(yīng)用軟件系統(tǒng)群的精準(zhǔn)體系（演繹推斷）混合集成使用。具有行業(yè)應(yīng)用軟件經(jīng)驗(yàn)的頭部ISV是“小而精”MaaS系統(tǒng)的主要踐行者，頭部ISV通過(guò)形成聯(lián)合體，將相關(guān)技術(shù)向現(xiàn)有客戶遷移，發(fā)揮其在技術(shù)實(shí)現(xiàn)和業(yè)務(wù)軟件系統(tǒng)重構(gòu)中的關(guān)鍵作用。
本次交流會(huì)榮幸邀請(qǐng)到來(lái)自華為、騰訊、浪潮、智譜、神州數(shù)碼等行業(yè)生態(tài)伙伴以及中國(guó)人壽財(cái)險(xiǎn)、大家養(yǎng)老、瑞眾人壽、大地財(cái)產(chǎn)、華泰人壽、和泰人壽、中韓人壽、中國(guó)漁業(yè)互助保險(xiǎn)社、泛華金控集團(tuán)、中國(guó)疾病預(yù)防控制中心、中版集團(tuán)新華聯(lián)合物流中心、北京大興發(fā)展融達(dá)融資擔(dān)保有限公司等各行業(yè)客戶的技術(shù)專家，以及中國(guó)科學(xué)院軟件研究所、中國(guó)科學(xué)院自動(dòng)化所等科研機(jī)構(gòu)的專家參與方案評(píng)審，共同探討AIGC系統(tǒng)方案在行業(yè)應(yīng)用軟件領(lǐng)域的前沿實(shí)踐與應(yīng)用。
? 中科軟AIGC系統(tǒng)方案
公司各事業(yè)群在各領(lǐng)域垂直AIGC平臺(tái)研發(fā)應(yīng)用的實(shí)踐過(guò)程中，積累了較多經(jīng)驗(yàn)及解決方案，場(chǎng)景涵蓋保險(xiǎn)領(lǐng)域客服、營(yíng)銷、理賠、核保、培訓(xùn)，以及非保險(xiǎn)領(lǐng)域數(shù)據(jù)審計(jì)、公共衛(wèi)生、院前急救、紀(jì)檢監(jiān)察、交通運(yùn)輸?shù)戎悄芑瘧?yīng)用，目前部分解決方案已在客戶端落地。同時(shí)今年中科軟在模型微調(diào)、精準(zhǔn)RAG知識(shí)庫(kù)、可視化LLM編排、監(jiān)控分析等領(lǐng)域的技術(shù)具有進(jìn)一步突破，使得大模型可以讓知識(shí)提取更加準(zhǔn)確、意圖識(shí)別更清晰、檢索結(jié)果更加精確。在本次技術(shù)交流活動(dòng)中，壽險(xiǎn)-保險(xiǎn)AI應(yīng)用開(kāi)發(fā)平臺(tái)、財(cái)險(xiǎn)-垂直AIGC平臺(tái)（MaaS)兩項(xiàng)方案獲評(píng)本次技術(shù)交流活動(dòng)優(yōu)秀方案：
? 壽險(xiǎn)-保險(xiǎn)AI應(yīng)用開(kāi)發(fā)平臺(tái)
大模型生態(tài)的發(fā)展日益完善，各項(xiàng)技術(shù)均在不斷進(jìn)步和創(chuàng)新。但是目前已有的基礎(chǔ)大模型很難直接應(yīng)用于各行業(yè)領(lǐng)域。通用大模型在理解、執(zhí)行、生成、持續(xù)進(jìn)化、多模態(tài)的能力上已經(jīng)相當(dāng)成熟和突出，但是它缺少企業(yè)所具有的領(lǐng)域知識(shí)、專業(yè)工具以及專家決策的能力。同時(shí)，大多數(shù)企業(yè)往往算力有限，而對(duì)于數(shù)據(jù)安全有極強(qiáng)的要求。自建大模型成本較高、通用大模型在行業(yè)問(wèn)題專業(yè)性、數(shù)據(jù)安全性方面存在問(wèn)題，因此開(kāi)源大模型的微調(diào)與應(yīng)用實(shí)踐是目前的主要方向。在這一方向上碎片化、周期長(zhǎng)是兩個(gè)比較突出的問(wèn)題。碎片化表現(xiàn)在面臨多種通用模型的選擇、多類硬件設(shè)備的適配、多種開(kāi)發(fā)框架的集成。周期長(zhǎng)主要是微調(diào)、評(píng)估、應(yīng)用的過(guò)程需要反復(fù)調(diào)試。
中科軟以面向平臺(tái)開(kāi)發(fā)為核心，深入探索保險(xiǎn)AI應(yīng)用開(kāi)發(fā)流程化、工具化、平臺(tái)化的全流程解決方案，幫助企業(yè)客戶更簡(jiǎn)單、更高效地走到AI應(yīng)用開(kāi)發(fā)的道路上，讓AI應(yīng)用開(kāi)發(fā)全民化、規(guī)?；?。保險(xiǎn)AI應(yīng)用開(kāi)發(fā)平臺(tái)，將大模型與多種編程語(yǔ)言和框架集成，使其能夠?yàn)椴煌I(lǐng)域的開(kāi)發(fā)者提供支持。提供開(kāi)放的API和擴(kuò)展性，以便用戶可以根據(jù)自己的需求定制和擴(kuò)展平臺(tái)的功能。提供常用開(kāi)源基座大模型，可以根據(jù)不同場(chǎng)景情況進(jìn)行選擇，并可滿足隨時(shí)調(diào)整替換。提供各種預(yù)先構(gòu)建的模板和代碼庫(kù)，以幫助用戶快速啟動(dòng)項(xiàng)目。用戶可以輕松地根據(jù)自己的需求定制和擴(kuò)展這些模板?？梢暬幊探缑?，讓用戶通過(guò)拖放組件和設(shè)置屬性來(lái)構(gòu)建應(yīng)用程序?？梢愿鶕?jù)用戶的需求和操作提供實(shí)時(shí)建議和指導(dǎo)。為用戶提供云端、私有化部署和管理功能并進(jìn)行監(jiān)控和維護(hù)，對(duì)數(shù)據(jù)、腳本、資源進(jìn)行回收。
平臺(tái)具備三大特性：一、“平凡”開(kāi)發(fā)，通過(guò)平臺(tái)搞定集成和擴(kuò)展，成為串連算力、模型、資源的總線，通過(guò)面向平臺(tái)的開(kāi)發(fā)變“平凡”為“不凡”；二、定制化、模版化提升開(kāi)發(fā)速度，做到即拿即用，有效減少算力無(wú)效損耗，降低開(kāi)發(fā)成本；三、簡(jiǎn)化部署、強(qiáng)化管理，將數(shù)據(jù)、腳本、服務(wù)器等寶貴資源進(jìn)行有效的管理和回收。整體平臺(tái)應(yīng)用架構(gòu)分為環(huán)境層、組件層、代理層、應(yīng)用層四層。環(huán)境層：兼容不同型號(hào)硬件、集成基礎(chǔ)環(huán)境能力、提供基礎(chǔ)框架使用；組件層：組件層是平臺(tái)功能的倉(cāng)庫(kù)，提供所有原子服務(wù)能力，涵蓋了數(shù)據(jù)處理、在線開(kāi)發(fā)、模型訓(xùn)練、部署推理全過(guò)程；代理層：將各組件統(tǒng)一裝載，支持本地大模型、開(kāi)源大模型以及商用大模型的切換，支持各類微調(diào)方法擴(kuò)展，兼容各類開(kāi)發(fā)框架；應(yīng)用層：將提示詞、知識(shí)庫(kù)、工具、大模型等串連起來(lái)構(gòu)建成Agent，利用多個(gè)Agent相互協(xié)作來(lái)產(chǎn)生更好的應(yīng)用效果。
模型訓(xùn)練的過(guò)程實(shí)際上是一個(gè)面向基礎(chǔ)環(huán)境的開(kāi)發(fā)過(guò)程，集成不同的硬件如英偉達(dá)、華為昇騰，不同的軟件框架TensorFlow、PyTorch、MindSpore，從面向基礎(chǔ)環(huán)境的開(kāi)發(fā)轉(zhuǎn)變?yōu)槊嫦蚱脚_(tái)開(kāi)發(fā)是構(gòu)建企業(yè)AI應(yīng)用開(kāi)發(fā)體系的第一步。整體系統(tǒng)通過(guò)K8S集群管理，支持Milvus向量數(shù)據(jù)庫(kù)存儲(chǔ)。開(kāi)發(fā)框架、推理框架集成JupyterLab、LangChain。通過(guò)底層的兼容集成來(lái)屏蔽大模型應(yīng)用開(kāi)發(fā)過(guò)程中的復(fù)雜性。
規(guī)劃設(shè)計(jì)平臺(tái)適配器讓AI應(yīng)用開(kāi)發(fā)真正“快”起來(lái)。開(kāi)發(fā)過(guò)程中只需要關(guān)注主方法和參數(shù)配置。通過(guò)模型適配、微調(diào)適配、開(kāi)發(fā)框架適配、GPU/NPU適配完成相關(guān)作業(yè)調(diào)度。
以鏡像的方式來(lái)管理不同版本環(huán)境，提供pytorch cuda、mindspore cann基礎(chǔ)鏡像，并可遠(yuǎn)程調(diào)用算力服務(wù)器。集成JupyterLab支持多工作環(huán)境選擇、支持vs code擴(kuò)展遠(yuǎn)程開(kāi)發(fā)。通過(guò)預(yù)置的參數(shù)指導(dǎo)，可視化編排可以快速構(gòu)建一個(gè)訓(xùn)練任務(wù)，一鍵執(zhí)行。支持設(shè)置定時(shí)任務(wù)重復(fù)調(diào)度。人工智能在保險(xiǎn)領(lǐng)域的應(yīng)用為保險(xiǎn)公司帶來(lái)了巨大的機(jī)遇和挑戰(zhàn)。我們也將持續(xù)迭代保險(xiǎn)AI應(yīng)用開(kāi)發(fā)平臺(tái)，兼容更多類型的基礎(chǔ)環(huán)境、提供更便捷的訓(xùn)練過(guò)程管理能力，為人工智能技術(shù)在保險(xiǎn)行業(yè)的廣泛應(yīng)用和深入發(fā)展投入綿薄之力。
? 財(cái)險(xiǎn)-垂直AIGC平臺(tái)（MaaS)
中科軟深耕財(cái)產(chǎn)保險(xiǎn)信息化二十多年，可幫助客戶基于領(lǐng)域業(yè)務(wù)需求進(jìn)行AIGC基座選擇，提供詞根表、樣本程序等知識(shí)推動(dòng)人工智能的語(yǔ)義空間收斂于行業(yè)應(yīng)用軟件，實(shí)現(xiàn)精準(zhǔn)計(jì)算，加大對(duì)領(lǐng)域的賦能。
憑借在財(cái)險(xiǎn)行業(yè)應(yīng)用軟件和AIGC技術(shù)研究方面的深厚積累，我們成功構(gòu)建了基于開(kāi)源軟件產(chǎn)品基座的垂直AIGC平臺(tái)，實(shí)現(xiàn)了從知識(shí)庫(kù)構(gòu)建到AI助手快速搭建的全鏈條技術(shù)轉(zhuǎn)移，為客戶提供了從基座選擇到AI應(yīng)用觸達(dá)的一站式服務(wù)，并在保險(xiǎn)客服、營(yíng)銷、風(fēng)控等多個(gè)場(chǎng)景中實(shí)現(xiàn)了成功的落地實(shí)踐。
在ToB市場(chǎng)中，模型的應(yīng)用面臨一系列特定挑戰(zhàn)：模型需高度裁剪、低算力環(huán)境高效運(yùn)行、數(shù)據(jù)安全等，這促使我們開(kāi)發(fā)出了“低配基座”即半成品模型，以便客戶或ISV能在此基礎(chǔ)上補(bǔ)充訓(xùn)練和調(diào)優(yōu)，以最大化場(chǎng)景的適用性。要實(shí)現(xiàn)這個(gè)目標(biāo)，就要求與已有行業(yè)應(yīng)用軟件系統(tǒng)群的語(yǔ)義空間對(duì)齊，基于以上背景，為用戶落地更多領(lǐng)域應(yīng)用場(chǎng)景，提供更為靈活的應(yīng)用探索模式，仍有較多痛點(diǎn)及瓶頸問(wèn)題需要解決：
中科軟針對(duì)如何實(shí)現(xiàn)模型能力在保險(xiǎn)垂直領(lǐng)域的眾多場(chǎng)景中落地，總結(jié)提出了垂直AIGC平臺(tái)（MaaS) 的整套解決方案，如圖所示。無(wú)論是構(gòu)建AIGC場(chǎng)景輸出還是模型服務(wù)能力的管理，平臺(tái)都提供了一系列的API、工具及策略，為用戶提供訓(xùn)練、部署和使用模型的一站式解決方案。同時(shí)，方便、快捷的機(jī)器學(xué)習(xí)模型部署和使用方式，使用戶無(wú)需關(guān)注底層的模型訓(xùn)練和推理過(guò)程，只需調(diào)用相應(yīng)的API接口進(jìn)行模型的集成和使用。平臺(tái)可劃分為基礎(chǔ)設(shè)施層、工具平臺(tái)層、模型生態(tài)層、數(shù)據(jù)沉淀層、AIGC工程化體驗(yàn)平臺(tái)層及開(kāi)放平臺(tái)層等多個(gè)層次。包含了工程化策略、服務(wù)安全、評(píng)價(jià)體系、協(xié)同實(shí)施、AI-IDE及行業(yè)參考模型，讓模型與領(lǐng)域場(chǎng)景實(shí)現(xiàn)真正“雙向奔赴”。
在MaaS平臺(tái)中，基礎(chǔ)設(shè)施層包含了算力適配、各類模型及基座服務(wù)，其中算力適配提供了多種云適配和硬件支持，并為模型提供了容器化和服務(wù)化的部署；各類模型和基座服務(wù)通過(guò)適配引擎為 MaaS平臺(tái)提供了各方面功能支撐，功能包含了應(yīng)用構(gòu)建、知識(shí)管理、模型管理三大方面，并為企業(yè)的各崗位用戶提供了明確且清晰的操作指導(dǎo)路徑規(guī)劃和目標(biāo)。各企業(yè)用戶可根據(jù)場(chǎng)景需要構(gòu)建出不同的智能體，通過(guò)1個(gè)或多個(gè)智能體，形成不同的落地應(yīng)用，為用戶帶來(lái)了更為靈活的應(yīng)用探索。平臺(tái)核心部分的適配引擎，可大大降低用戶的使用成本，讓用戶無(wú)需關(guān)注底層技術(shù)和基座之間的差異性，同時(shí)也為生態(tài)合作伙伴或第三方基座軟件/產(chǎn)品提供了觸達(dá)應(yīng)用場(chǎng)景的“最后一公里”的快速通道。
在本次技術(shù)交流會(huì)上，與會(huì)的專家評(píng)委們充分肯定了中科軟在AIGC領(lǐng)域的技術(shù)研究和應(yīng)用實(shí)踐。特別是在垂直AIGC領(lǐng)域的應(yīng)用上，中科軟能夠準(zhǔn)確把握行業(yè)特點(diǎn)和需求，開(kāi)發(fā)出針對(duì)性強(qiáng)、實(shí)用性高的AIGC解決方案，為推動(dòng)整個(gè)AIGC技術(shù)的發(fā)展和應(yīng)用做出了積極貢獻(xiàn)。同時(shí)，多位行業(yè)資深專家明確表示了進(jìn)一步深化合作的愿望，希望共同探索AIGC技術(shù)的更多可能性，實(shí)現(xiàn)技術(shù)與行業(yè)需求的深度融合。此外，專家們對(duì)此次技術(shù)交流活動(dòng)給予了高度評(píng)價(jià)，認(rèn)為這次活動(dòng)不僅為公司內(nèi)部員工搭建了一個(gè)技術(shù)交流的平臺(tái)，而且促進(jìn)了行業(yè)內(nèi)外專業(yè)人士之間的思想碰撞、經(jīng)驗(yàn)分享和合作機(jī)會(huì)的探索。
未來(lái)，中科軟將不斷深化與各方的交流，為客戶提供更為智能、高效的行業(yè)應(yīng)用軟件解決方案，引領(lǐng)行業(yè)發(fā)展的新趨勢(shì)。
