- $
浪潮推出CPU推理服務器支持DeepSeek和QwQ，元腦服務器加速AI普及
來源：www.305tijian.cn 發布時間：2025年03月27日
浪潮推出元腦CPU推理服務器，可運行DeepSeek和千問QwQ等新一代大推理模型。元腦CPU推理服務器NF8260G7和NF8480G7設計采用4顆高性能通用CPU和多通道內存系統，通過張量并行策略和AMX加速技術，單機即可運行DeepSeek-R1 32B和QwQ-32B推理模型，單用戶性能超20 tokens/s。
元腦CPU推理服務器NF8260G7和NF8480G7基于通用處理器架構進行軟硬協同優化，已經完成與DeepSeek-R1 32B和QwQ-32B等大模型的深度適配和優化。元腦CPU推理服務器通過采用張量并行策略和AMX加速技術，業界主流企業級大模型推理服務框架，實現多處理器并行計算，并使用AWQ（激活感知權重量化）技術，進一步提升推理解碼性能，成功實現單用戶20tokens/s的性能，為企業的AI大模型部署應用帶來流暢體驗。
面對CPU服務器部署大模型面臨算力和帶寬方面的挑戰，元腦CPU推理服務器采用了多項創新技術。
【相關文章】
-
微信二維碼 -
手機訪問
版權聲明：本網站所刊內容未經本網站及作者本人許可，不得下載、轉載或建立鏡像等，違者本網站將追究其法律責任。本網站所用文字圖片部分來源于公共網絡或者素材網站，凡圖文未署名者均為原始狀況，但作者發現后可告知認領，我們仍會及時署名或依照作者本人意愿處理，如未及時聯系本站，本網站不承擔任何責任。