ABAB Pedia

DeepSeek

概述

DeepSeek(深度求索)开发大语言模型及生成式人工智能服务,通过网页、应用和API向用户与开发者提供文本、表格和代码生成等功能。其服务由杭州的DeepSeek公司运营。⁠[1]

其代码模型DeepSeek Coder采用项目级代码语料训练,覆盖多种参数规模,支持代码补全和中间填充。原始系列使用16K上下文窗口,训练数据包含代码及中英文自然语言。⁠[2]

DeepSeek Harness则是面向日常工作、编程和研究的智能体工具,提供桌面应用与代码启动的网页界面。其公开预览版采用可组合插件,用于扩展工具、技能与交互界面。⁠[3]

本页目录21 节
词条资料

在杭州创立

梁文锋在杭州创立深度求索,专注人工智能大模型研发。其创业背景与幻方量化的技术积累相关,后者此前已投入GPU集群建设。⁠[4]

DeepSeek LLM研究

团队发表DeepSeek LLM研究,讨论70亿和670亿参数模型的规模扩展,以2万亿词元数据进行预训练,并结合监督微调和直接偏好优化形成聊天模型。⁠[5]

专家分工架构

DeepSeekMoE研究将专家网络细分,并设置共享专家提取通用知识,以减少不同路由专家之间的重复。其目标是在扩大总参数量时控制每次计算的成本。⁠[6]

DeepSeekMath与GRPO

DeepSeekMath在代码模型基础上加入数学语料继续训练,并提出组相对策略优化(GRPO)。该强化学习方法旨在提升数学推理,同时减少传统PPO训练中的内存需求。⁠[7]

V2与潜在注意力

V2技术报告描述2360亿总参数、每词元激活210亿参数的混合专家模型,支持128K上下文。其多头潜在注意力(MLA)压缩键值缓存,与稀疏专家计算共同降低推理资源需求。⁠[8]

V3技术报告

V3采用6710亿总参数、每词元激活370亿参数,并引入无需辅助损失的负载均衡及多词元预测目标。团队报告模型训练使用278.8万H800 GPU小时;该计算量不能等同于公司的全部研发投入。⁠[9]

R1强化学习研究

R1研究展示通过强化学习激励推理行为的路径,包括自我检查、验证和策略调整。论文还讨论利用大型模型形成的推理模式改善小模型能力,研究评估主要涉及可验证的数学、代码及科学任务。⁠[10]

R1-0528更新

R1-0528开放模型权重,并增加JSON输出和函数调用支持。DeepSeek称新版改善前端任务表现并减少幻觉;这些是发布方对更新的描述,而非对所有生成内容准确性的保证。⁠[11]

V3.1双推理模式

V3.1将思考和非思考模式合并到同一模型,两者均支持128K上下文。此次更新增加AnthropicAnthropicAnthropic是一家于2021年成立的人工智能研究与产品公司,开发Claude模型、助手及Claude Code等工具,并以公益公司形式运营。Dario Amodei与Daniela Amodei为共同创办人,其研究涉及模型安全、可解释性和可控性。点击查看完整词条格式接口兼容,并在测试接口中提供严格函数调用,重点改善工具使用及多步任务。⁠[12]

V3.2-Exp稀疏注意力

实验版V3.2-Exp在V3.1-Terminus基础上引入DeepSeek Sparse Attention(DSA)。该机制选择性处理上下文信息,以降低长上下文训练及推理计算量;模型同时上线网页、应用和API。⁠[13]

数学证明自验证

DeepSeekMath-V2将证明生成器与验证器结合,鼓励模型在提交答案前检查并修正证明。研究强调,最终答案正确不代表推导过程严谨,因此训练目标扩展到证明完整性与可靠性。⁠[14]

V3.2工具调用与思考

V3.2将思考过程整合进工具调用,同时推出更偏重复杂推理的Speciale。后者当时通过临时API供评估,不支持工具调用,原定服务期限止于12月15日,不能视为永久在线接口。⁠[15]

Engram条件记忆

Engram研究把知识查找作为神经网络计算之外的另一种能力,通过可扩展查表提供条件记忆。论文探索将常见模式交给记忆模块,以便主网络把更多计算用于复杂推理。⁠[16]

OCR 2视觉处理

DeepSeek-OCR 2探索根据图像语义动态重排视觉词元,替代固定从左上到右下的扫描顺序。研究针对复杂版面理解提出带因果推理能力的编码器,并公开代码与模型权重。⁠[17]

隐私政策更新

隐私政策列明收集用户输入、上传文件、聊天记录及设备信息,并在中国处理和存储个人数据。政策亦说明将数据用于模型改进,并列出依适用法律行使访问、删除及退出训练用途等权利的渠道。⁠[18]

Anthropic蒸馏指控

Anthropic指控DeepSeek通过逾15万次交互提取Claude能力,涉及推理和评分任务。这是该公司的指控。⁠[19]

V4百万词元预览版

V4预览版分为Pro和Flash,均提供百万词元上下文及思考、非思考模式。Pro总参数1.6万亿、激活490亿,Flash总参数2840亿、激活130亿;两者面向不同计算资源和响应需求。⁠[20]

V4.1-Flash视觉模型

V4.1-Flash具备原生视觉理解,采用5520亿参数混合专家架构。其因果编码器—解码器设计在输入端激活80亿参数、输出端激活160亿参数,体现输入与生成阶段的不同计算配置。⁠[21]

1017版本与搜索接口

V4.1-Flash更新至1017版本,覆盖官方网页、应用和API,调用名称及当次价格保持不变。DeepSeek报告编程和智能体任务表现改善,并同步开放自研搜索引擎的接口。⁠[22]

Search接口返回结构化搜索结果,Fetch接口将单个网页转换为Markdown,供智能体或检索增强应用使用。这两个接口与生成模型采用相同的API认证方式。⁠[23]

来源

  1. DeepSeek Terms of Use(在新窗口打开)
  2. DeepSeek Coder: Let the Code Write Itself(在新窗口打开)
  3. DeepSeek Harness | Explore the limits of intelligence(在新窗口打开)
  4. 杭州四小龙:闪耀的“东方神秘力量”(在新窗口打开)
  5. DeepSeek LLM: Scaling Open-Source Language Models with Longtermism(在新窗口打开)
  6. DeepSeekMoE: Towards Ultimate Expert Specialization in Mixture-of-Experts Language Models(在新窗口打开)
  7. DeepSeekMath: Pushing the Limits of Mathematical Reasoning in Open Language Models(在新窗口打开)
  8. DeepSeek-V2: A Strong, Economical, and Efficient Mixture-of-Experts Language Model(在新窗口打开)
  9. DeepSeek-V3 Technical Report(在新窗口打开)
  10. DeepSeek-R1: Incentivizing Reasoning Capability in LLMs via Reinforcement Learning(在新窗口打开)
  11. DeepSeek-R1-0528 Release(在新窗口打开)
  12. DeepSeek-V3.1 Release(在新窗口打开)
  13. Introducing DeepSeek-V3.2-Exp(在新窗口打开)
  14. DeepSeekMath-V2: Towards Self-Verifiable Mathematical Reasoning(在新窗口打开)
  15. DeepSeek-V3.2: Pushing the Frontier of Open Large Language Models(在新窗口打开)
  16. Conditional Memory via Scalable Lookup: A New Axis of Sparsity for Large Language Models(在新窗口打开)
  17. DeepSeek-OCR 2: Visual Causal Flow(在新窗口打开)
  18. DeepSeek Privacy Policy(在新窗口打开)
  19. Detecting and preventing distillation attacks(在新窗口打开)
  20. DeepSeek-V4 Preview: Entering the Era of Affordable Million-Token Context(在新窗口打开)
  21. Introducing DeepSeek-V4.1-Flash: smarter, faster, more efficient.(在新窗口打开)
  22. Change Log(在新窗口打开)
  23. Search & Fetch(在新窗口打开)