atlas部署deepseek

Searching…

blog.csdn.net

Atlas 800I A2实战:5小时搞定DeepSeek V3...

1 day ago · 本文详细介绍了在Atlas 800I A2服务器上实现DeepSeek V3模型W4A8量化的全流程,包括环境配置、权重预处理、显存优化技巧及服务化部署。通过实战验证的优化方案,显著提升量化效率并降低显存消耗,适用于单机部署场景,帮助开发者快速掌握高性能AI模型量化技术。

developer.baidu.com

Atlas 800...

Sep 25, 2025 · 本文详细解析Atlas 800 9000训练服务器(910A)本地部署Deepseek蒸馏版的全流程,涵盖硬件适配、环境配置、模型优化及性能调优,助力企业实现AI模型高效私有化部署。

www.hiascend.com

昇腾服务器/昇腾开发板部署DeepSeek-32Bw8a8+Dify知识库应用

Feb 3, 2025 · 基本思想:使用昇腾NPU处理芯片+昇腾Mindie推理框架+embeding分词+排序进行dify支撑,对外部客户使用,因为整套昇腾昇腾处理架构为aarch64位,所以整体docker镜像使用arm镜像,本教程以Atlas 800 9000为基础进行部署和测试,镜像文件和教程仅限于目前官方支持的驱动版本,后续官方有版本更新,一切以昇 ...

www.cnblogs.com

昇腾DeepSeek模型部署优秀实践及FAQ - 小滕t - 博客园

Apr 10, 2025 · 02 运行环境准备 推荐使用镜像部署 1、镜像部署 昇腾官方在Ascend hub提供环境示例镜像,含推理部署配套软件以及模型运行脚本,用户可参考构建运行环境镜像进行部署。 镜像部署及启动参照ModelZoo指南中“加载镜像”章节,该指南中还包含“容器启动”等指引 Ascend/ModelZoo-PyTorch - Gitee.com 镜像申请 ...

zhuanlan.zhihu.com

昇腾DeepSeek模型部署优秀实践及FAQ - 知乎

01 硬件要求及组网推荐参考配置如下,部署DeepSeek-V3/R1量化模型至少需要多节点Atlas 800I A2(8*64G)服务器。 本方案以DeepSeek-R1为主进行介绍,DeepSeek-V3与R1的模型结构和参数量一致,部署方式与R1相同。 02…

blog.csdn.net

手把手教你用MindIE在昇腾Atlas 200I...

2 days ago · 本文详细介绍了如何在昇腾Atlas 200I A2硬件平台上使用MindIE框架高效部署DeepSeek-R1大语言模型。从环境准备、驱动配置到模型调优和服务启动,提供完整的部署流程和性能优化建议,帮助开发者快速实现AI模型在边缘计算场景的高效运行。

cloud.tencent.cn

Video — click to view

1 day ago · DeepSeek系列模型,尤其是其2025年发布的 V3(1.75T参数) 与 R1(强化推理版),虽性能卓越,但其庞大的参数量与复杂的架构对本地部署提出了前所未有的挑战。 本文旨在全面梳理这些挑战,并提供切实可行的应对策略,助力开发者跨越AI落地的“最后一公里”。