中國報告大廳發布的《2025-2030年全球及中國伺服器行業市場現狀調研及發展前景分析報告》指出,近年來,隨著AI技術的快速發展,大模型在企業中的應用需求日益增長。然而,如何實現大模型的本地化高效部署成為許多企業的難題。近日,聯想集團宣布了一項重大技術突破——基於聯想問天WA7780 G3伺服器,首次實現單機部署DeepSeek R1/V3 671B大模型,並以低於行業公認標準(實際768GB顯存)實現了100並發用戶的流暢體驗,為企業的AI應用樹立了新標杆。
聯想研發團隊通過多項技術突破,成功解決了企業級大模型部署中的關鍵難題。首先,在顯存利用率方面,聯想通過專家並行優化和智能訪存架構升級等創新手段,大幅提升了系統的性能表現。這使得企業在有限的硬體資源下能夠支持更多用戶同時使用大模型,顯著降低了企業的採購成本。
聯想的實測數據顯示,在512token的標準測試環境下,該系統可支持100個並發用戶持續獲得每秒10token的穩定輸出。值得一提的是,首token響應時間被壓縮至30秒內,而在處理4K長序列複雜場景時,仍能保持25個並發用戶的同等性能表現。
在硬體配置方面,這台聯想問天WA7780 G3伺服器僅搭載了8張96GB顯存的GPU卡。然而,DeepSeek R1大模型本身需要占用約700GB顯存,這意味著剩餘空間極為有限(不到100GB)。如果不進行專門優化,僅能支持23個用戶接入。聯想通過萬全異構智算平台的精心優化,不僅實現了用戶關注的核心指標(首token延遲小於30秒、單token延遲小於100毫秒、支持2K以上長序列處理),還成功將成本節約了20%以上。
聯想基礎設施業務群與聯想研究院先進計算實驗室將繼續攜手合作,依託萬全異構智算平台對DeepSeek平台從AI預訓練到推理的全流程進行持續優化。這一技術突破不僅將加速大模型在企業的落地進程,也為推動新一輪生產力革命奠定了堅實基礎。
總結
聯想此次的技術創新不僅為行業樹立了企業級大模型部署的新基準,還通過高效利用硬體資源和優化算法,顯著降低了企業的應用門檻。未來,隨著技術的進一步優化和應用場景的不斷拓展,這一突破將進一步推動AI技術在企業中的廣泛應用,助力企業在智能化轉型中實現更大價值。
更多伺服器行業研究分析,詳見中國報告大廳《伺服器行業報告匯總》。這裡匯聚海量專業資料,深度剖析各行業發展態勢與趨勢,為您的決策提供堅實依據。
更多詳細的行業數據盡在【資料庫】,涵蓋了宏觀數據、產量數據、進出口數據、價格數據及上市公司財務數據等各類型數據內容。