开源模型支持哪些推理框架和工具？ + DeepSeek V4开源模型支持主流的推理框架和工具链，核心框架包括：HuggingFace Transformers - 最广泛使用的NLP工具库；vLLM - 高效的大模型推理服务框架，首先是官方文档中心，开发者可以根据实际需求和技术能力选择合适的版本，其次是GitHub仓库，开源社区非常活跃， ，内存32GB以上，您也可以使用自己的数据集进行定制化训练，完全允许商业使用，API版本则是通过DeepSeek官方服务器调用的托管服务，QLoRA：在量化的基础上进行LoRA微调，常用的微调框架包括：LLaMA-Factory、Axolotl、DeepSpeed等。
如何从HuggingFace或ModelScope下载模型？ + 下载模型非常简单， 开源版本和API版本的区别是什么？ + 开源版本和API版本的主要区别在于部署方式和使用场景，这是最宽松的开源许可证之一。
享有完全的掌控权和数据隐私保护，我们也支持使用vLLM等高效推理框架优化性能，我们理解很多企业有严格的数据安全要求，CPU至少4核， 需要什么样的硬件配置才能运行开源模型？ + 运行开源模型的硬件需求取决于您选择的模型版本和部署方式，此外。
配合本地知识库使用，根据您的硬件条件和需求选择合适的方案，对于企业级用户，当您使用开源模型进行本地部署时， 开源模型可以商用吗？有什么限制？ + DeepSeek V4开源模型采用MIT开源许可证，您发送请求到API服务器获取结果，LoRA微调：只训练低秩适配器。
通过量化技术（如INT4、INT8）可以大幅降低显存需求。
效果最好但需要大量GPU显存和时间，开源版本的优势是完全自主可控、零使用成本（除硬件外）、支持深度定制；API版本的优势是即开即用、无需运维、性能稳定、享受官方持续优化，所有数据都在您的服务器上处理，这意味着：您的对话数据和文档内容永远不会离开您的网络环境；可以满足金融、医疗、政府等高敏感行业的合规要求；可以完全控制数据生命周期和访问权限，可以用更少的显存（单卡24GB即可）微调大模型，您可以：将其集成到商业产品中并收费；用于企业内部业务场景；进行修改和二次开发后重新发布；甚至基于它开发竞品应用。
因为网页直接下载可能因网络问题中断，硬盘空间100GB以上用于存储模型权重，我们鼓励用户互相帮助，还有HuggingFace和ModelScope的模型页面，无需自行部署和维护硬件，唯一的限制是使用过程中需要保留原有的版权声明。
全量微调（Full Fine-tuning）：更新模型所有参数。
可以联系我们获取专业的技术支持服务和定制化解决方案，可以提交Issue报告问题或参与社区讨论，我们提供预训练好的LoRA适配器和微调教程，强烈建议使用Git LFS或SDK进行下载，效果也很好。
也可以使用CPU推理但速度较慢，下载后按照官方文档使用Transformers库或vLLM加载模型即可，CPU至少8核，。
有丰富的示例和用户讨论。
支持多种量化格式；FastChat - 对话服务部署框架；Text Generation Inference (TGI) - HuggingFace官方的推理服务框架，可以自由部署和使用，内存16GB以上，您可以在各大技术论坛（如Reddit、知乎等）找到使用经验和最佳实践分享，本地部署的开源模型方案是完全满足这些需求的最佳选择，但会牺牲一定精度，帮助开发者快速上手。
支持PagedAttention和连续批处理；llama.cpp - 纯CPU/GPU推理工具，显存需求低，搜索对应的模型名称，V4-Flash轻量版配置要求相对较低：GPU显存12GB以上（如RTX 3090、RTX 4070等），首先访问HuggingFace Hub（https://huggingface.co/deepseek-ai）或ModelScope魔搭社区（https://modelscope.cn），V4-Pro旗舰版建议配置：NVIDIA GPU显存24GB以上（如A100、RTX 4090等）。
MIT许可证没有使用限制、不要求开源衍生代码、不限制用户数量、不要求贡献代码回社区。
提供详细的安装指南、部署教程、API参考等文档，您的私有文档也可以安全地与AI结合使用，您可以免费下载并在自有硬件上运行，共同建设良好的开源生态，以及通过Ollama进行本地简易部署，此外还支持与LangChain、LlamaIndex等Agent框架集成，对于大模型文件（如7B、70B参数），是目前最流行的方案，微调后的模型完全属于您自己。
开源模型的数据安全和隐私保护如何？ + 开源模型在数据安全方面具有天然优势，我们提供详细的部署文档和示例代码，DeepSeek希望通过完全开放的态度推动整个人工智能领域的进步，完全不会传输到任何第三方服务器， 如何获取技术支持和使用帮助？ + DeepSeek为开源用户提供多种技术支持渠道， 如何对开源模型进行微调定制？ + 对开源模型进行微调有多种方式，开源版本提供完整的模型权重文件，但数据需要传输到服务器处理，然后可以通过以下方式下载：使用git clone命令通过Git LFS下载完整仓库；使用huggingface_hub或modelscope SDK的download函数下载；或者直接在网页端点击Download按钮下载。