2025年开年,国内深度求索(DeepSeek)公司推出大语言模型DeepSeek R1引发全球轰动。
这款开源模型在有限算力条件下,复现出OpenAI最先进的闭源o1模型的能力,
让社会各界备受关注,感受到AI富有“灵性”的深度思考能力,这是迈向通用人工智能的重要一步。
从技术角度看,DeepSeek实现了算法创新驱动的效率革命。DeepSeek团队在缺乏参考的情况下,
成功复现媲美 OpenAI o1 模型的深度推理能力,而且应用程序接口(API)价格仅为后者的 1/30;
此前DeepSeek V3 模型通过模型架构和基础软硬件的深度集成优化,实现与 GPT-4o
相当模型能力的同时,单次训练成本仅为同水平模型的 1/10。这些均证明国内团队已具备顶尖
的算法创新能力,可以让大模型的训练和推理更加高效。
3月1日,DeepSeek接连传出两则重磅消息:
1、DeepSeek首次披露:其V3/R1推理系统的理论成本利润率高达545%,展现出显著的技术与成本优势。
2、潞晨科技宣布暂停DeepSeek API服务:用户需尽快使用账户余额,未使用部分将全额退款。
消息揭示了DeepSeek在技术创新与商业模式之间的双重挑战。
3月1日,DeepSeek在知乎平台开设了官方账号,并发布一篇技术文章——《DeepSeek-V3/R1推理系统概览》。
文章显示,DeepSeek-V3/R1推理系统的优化目标是实现更大的吞吐量和更低的延迟。为了达成这两个目标,
DeepSeek采用了大规模跨节点专家并行(EP)方案。这种方案虽然增加了系统的复杂性,但能有效提升性能。
DeepSeek在文章中详细介绍了如何通过EP技术增长批量大小、隐藏传输耗时以及进行负载均衡,
从而优化整个推理系统的性能。通过这些技术手段,DeepSeek能够处理更大规模的数据,同时保持或提高响应速度。
解码阶段也采用了类似的策略,但更加精细,将Attention层进一步细分为两步,使用了五阶段流水线
(5-stage pipeline),实现更流畅的通信-计算重叠。
在成本控制方面,DeepSeek的表现尤为突出。根据官方披露的数据,V3/R1的训练成本仅为557.6万美元,
不到OpenAI GPT-4o模型的1/30。其推理成本也极具竞争力,每百万token的定价仅为16元,
相比OpenAI低了近70%。基于这些优化,DeepSeek的理论利润率高达545%,显示出其在成本控制和效率
提升方面的巨大潜力。