中國清華大學工程學院計算機系教授鄭緯民分析出「3點」DeepSeek的成功原因,他表示目前業界對於DeepSeek的喜愛主要集中「技術層面」、「成本低廉」、「開源模型」。
1.技術層面:核心自主研發的DeepSeek-V3和DeepSeek-R1模型,其效能已與OpenAI的4o和o1模型相當。
2.成本低廉:DeepSeek研發的這兩款模型成本更低,僅為OpenAI 4o和o1模型的十分之一左右。
3.開源模型:DeepSeek把這一兩大模型的技術都開源了,讓更多的AI團隊,能夠基於最先進同時成本最低的模型,開發更多的AI應用程式。
鄭緯民指出,DeepSeek自研的MLA架構和DeepSeek MOE架構,為其自身的模型訓練成本下降,起到了關鍵作用。且MLA主要通過改造注意力算子壓縮了KV Cache大小,實現了在同樣容量下可以存儲更多的KV Cache,該架構和DeepSeek-V3模型中FFN 層的改造相配合,實現了一個非常大的稀疏MoE 層,這成為DeepSeek訓練成本低最關鍵的原因。
小補充:「KV Cache」是一種優化技術,常被用於存儲人工智能模型運行時產生的token的鍵值對(即key- value數值),以提高計算效率。