久久免费看-久久免费久久-久久免费精品-久久免费精彩视频-午夜一区二区三区-午夜一区二区免费视频

        【億邦原創(chuàng)】11月6日，元象XVERSE公司宣布開源650億參數(shù)高性能通用大模型XVERSE-65B，無(wú)條件免費(fèi)商用，業(yè)界尚屬首次。XVERSE-13B模型全面升級(jí)，提高“小”模型能力上限。這將讓海量中小企業(yè)、研究者和AI開發(fā)者更早一步實(shí)現(xiàn)“大模型自由”，根據(jù)其算力、資源限制和具體任務(wù)需求，自由使用、修改或蒸餾元象大模型，推動(dòng)研究與應(yīng)用的突破創(chuàng)新。

        元象XVERSE創(chuàng)始人姚星表示：“面對(duì)研發(fā)時(shí)間緊、算力持續(xù)短缺等挑戰(zhàn)，團(tuán)隊(duì)依靠豐富經(jīng)驗(yàn)，三個(gè)月內(nèi)研發(fā)出多款高性能7B、13B模型，并最早為社區(qū)獻(xiàn)上一個(gè)‘大有可為’的65B模型，為研究、商業(yè)及生態(tài)創(chuàng)造三重價(jià)值。”

        XVERSE-65B底座模型在2.6萬(wàn)億Tokens的高質(zhì)量數(shù)據(jù)上從頭訓(xùn)練，上下文窗口擴(kuò)展至16K，支持中、英、俄、法等40多種語(yǔ)言。

        65B模型的性能主要表現(xiàn)在三方面：

        一、理解、生成、推理和記憶等基礎(chǔ)能力，到模型的多樣性、創(chuàng)造性和精度表現(xiàn)，從優(yōu)異到強(qiáng)大;

        二、擴(kuò)展了工具調(diào)用、代碼解釋、反思修正等能力，為構(gòu)建智能體(AI Agent)奠定技術(shù)基礎(chǔ)，提高模型實(shí)用性;

        三、顯著緩解7B、13B中常見且可能很嚴(yán)重的幻覺問(wèn)題，減少大模型“胡說(shuō)八道”，提高準(zhǔn)確性和專業(yè)度。

        元象大模型系列均為全鏈條自研，涵蓋多項(xiàng)關(guān)鍵技術(shù)與研發(fā)創(chuàng)新。

復(fù)雜分布式系統(tǒng)設(shè)計(jì)：

借鑒團(tuán)隊(duì)研發(fā)騰訊圍棋AI“絕藝”、王者榮耀AI“絕悟”等大系統(tǒng)上的豐富經(jīng)驗(yàn)，自研高效算子、顯存優(yōu)化、并行調(diào)度策略、數(shù)據(jù)-計(jì)算-通信重疊、平臺(tái)與框架協(xié)同等關(guān)鍵技術(shù)，打造高效穩(wěn)定的訓(xùn)練系統(tǒng)，千卡集群峰值算力利用率達(dá)58.5%，位居業(yè)界前列。

全面提升性能：

65B訓(xùn)練中采用FlashAttention2加速計(jì)算，3D并行基礎(chǔ)上采用虛擬流水線(virtual pipeline)技術(shù)，降低較長(zhǎng)流水線產(chǎn)生過(guò)高氣泡率，提升計(jì)算推理效率;上下文窗口長(zhǎng)度從8K逐步提升到16K，使其不僅能出色完成復(fù)雜任務(wù)，包括長(zhǎng)文理解、長(zhǎng)文生成和超長(zhǎng)對(duì)話，還拓展了工具調(diào)用、代碼解釋及反思修正能力，能更好構(gòu)建智能體(AI Agent)。

極致提升訓(xùn)練穩(wěn)定性：

因計(jì)算量龐大，通信擁塞、芯片過(guò)熱或計(jì)算節(jié)點(diǎn)故障成為65B訓(xùn)練常態(tài)，初期出現(xiàn)過(guò)一周最高八次故障的情況。通過(guò)集群基礎(chǔ)設(shè)施運(yùn)營(yíng)、資源調(diào)度、訓(xùn)練框架和調(diào)度平臺(tái)協(xié)同等持續(xù)優(yōu)化，元象打造出高穩(wěn)定、低中斷、強(qiáng)容錯(cuò)的訓(xùn)練系統(tǒng)，將每周有效訓(xùn)練率提升至98.6%。

        目前，元象大模型可在Github、Hugging Face、魔搭ModelScope等多平臺(tái)搜索“XVERSE”下載，簡(jiǎn)單登記后即可無(wú)條件免費(fèi)商用，能滿足中小企業(yè)、科研機(jī)構(gòu)和個(gè)人開發(fā)者絕大部分的應(yīng)用與迭代需求。

        元象同時(shí)提供模型訓(xùn)練、推理、部署、精調(diào)等全方位技術(shù)服務(wù)，賦能文娛、金融、醫(yī)療等各行各業(yè)，幫助在智能客服、創(chuàng)意寫作、精準(zhǔn)推薦等多場(chǎng)景打造行業(yè)領(lǐng)先的用戶體驗(yàn)。

        2023年10月，騰訊音樂(lè)率先宣布與元象大模型建立戰(zhàn)略合作，共同推出lyraXVERSE加速大模型、全面升級(jí)其音樂(lè)助手“AI小琴”，未來(lái)還將持續(xù)探索AI與3D前沿技術(shù)，引領(lǐng)音樂(lè)娛樂(lè)創(chuàng)新方向。

        姚星表示：“真實(shí)世界的感知智能(3D)，與真實(shí)世界的認(rèn)知智能(AI)，是探索通用人工智能(AGI)的必由之路，也是元象持續(xù)探索前沿科技的動(dòng)力。XVERSE開源系列致力于推動(dòng)大模型國(guó)產(chǎn)可替代與持續(xù)技術(shù)創(chuàng)新，為實(shí)體經(jīng)濟(jì)、數(shù)字經(jīng)濟(jì)發(fā)展注入強(qiáng)勁動(dòng)力。我們期待與企業(yè)和開發(fā)者攜手，共同開啟大模型應(yīng)用新時(shí)代!”

《電鰻快報(bào)》