欧美日一区二区|初爱ねんね播放|翘臀美深夜福利视频|欧美一区二区日韩一区二区|女人到达高清视频播放大全|国产精品麻豆精品A片|国产99视频精品免视看7

破10萬億!達摩院實現全球最大AI預訓練模型:遠超谷歌、微軟


破10萬億!達摩院實現全球最大AI預訓練模型:遠超谷歌、微軟


文章圖片


破10萬億!達摩院實現全球最大AI預訓練模型:遠超谷歌、微軟


在人工智能前沿領域 , 中國AI實現突破 。
11月8日 , 阿里巴巴達摩院公布多模態大模型M6最新進展 , 其參數已從萬億躍遷至10萬億 , 規模遠超谷歌、微軟此前發布的萬億級模型 , 成為全球最大的AI預訓練模型 。
同時 , M6做到了業內極致的低碳高效 , 使用512 GPU在10天內即訓練出具有可用水平的10萬億模型 。
相比去年發布的大模型GPT-3 , M6實現同等參數規模 , 能耗僅為其1% 。
M6是達摩院研發的通用性人工智能大模型 , 擁有多模態、多任務能力 , 其認知和創造能力超越傳統AI , 尤其擅長設計、寫作、問答 , 在電商、制造業、文學藝術、科學研究等領域有廣泛應用前景 。
與傳統AI相比 , 大模型擁有成百上千倍“神經元”數量 , 且預先學習過海量知識 , 表現出像人類一樣“舉一反三”的學習能力 。
因此 , 大模型被普遍認為是未來的“基礎模型” , 將成下一代AI基礎設施 。 然而 , 其算力成本相當高昂 , 訓練1750億參數語言大模型GPT-3所需能耗 , 相當于汽車行駛地月往返距離 。
今年5月 , 通過專家并行策略及優化技術 , 達摩院M6團隊將萬億模型能耗降低超八成、效率提升近11倍 。
10月 , M6再次突破業界極限 , 通過更細粒度的CPU offload、共享-解除算法等創新技術 , 讓收斂效率進一步提升7倍 , 這使得模型規模擴大10倍的情況下 , 能耗未顯著增加 。
這一系列突破極大降低了大模型研究門檻 , 讓一臺機器訓練出一個千億模型成為可能 。

同時 , 達摩院聯合阿里云推出了M6服務化平臺 , 為大模型訓練及應用提供完備工具 , 首次讓大模型實現“開箱即用” , 算法人員及普通用戶均可方便地使用平臺 。
達摩院還推出了當前最大規模的中文多模態評測數據集MUGE , 覆蓋圖文描述、文本生成圖像、跨模態檢索任務 , 填補了缺少中文多模態權威評測基準的空白 。

作為國內首個商業化落地的多模態大模型 , M6已在超40個場景中應用 , 日調用量上億 。
今年 , 大模型首次支持雙11 。 M6在犀牛智造為品牌設計的服飾已在淘寶上線;憑借流暢的寫作能力 , M6正為天貓虛擬主播創作劇本;依靠多模態理解能力 , M6正在增進淘寶、支付寶等平臺的搜索及內容認知精度 。
【破10萬億!達摩院實現全球最大AI預訓練模型:遠超谷歌、微軟】
M6生成的未來感汽車圖
達摩院智能計算實驗室負責人周靖人表示 , “接下來 , 我們將深入研究大腦認知機理 , 致力于將M6的認知力提升至接近人類的水平 , 比如 , 通過模擬人類跨模態的知識抽取和理解方式 , 構建通用的人工智能算法底層框架;另一方面 , 不斷增強M6在不同場景中的創造力 , 產生出色的應用價值 。 ”
據了解 , 達摩院語言大模型PLUG近期也已升級至2萬億參數 , 成為全球最大中文語言模型 , 其所屬AliceMind語言模型體系同樣推出了服務化平臺 。


    #include file="/shtml/demoshengming.html"-->