东港股份企业级大模型本地化部署实践：超擎数智助力构建 DeepSeek AI 应用运行环境

随着大模型技术从通用能力验证走向企业业务应用，越来越多企业开始关注如何将大模型与自身业务数据、流程系统和内部知识体系结合起来，形成可落地、可管控、可持续迭代的 AI 应用能力。

对于企业级客户而言，大模型落地并不是简单调用公开模型接口，也不是单纯完成 GPU 服务器部署。真正有价值的是在本地可控环境中完成算力建设、模型部署、推理验证和微调流程跑通，使企业具备后续接入私域数据、构建知识应用和开展业务场景验证的基础能力。

围绕东港股份有限公司企业级 AI 能力建设需求，超擎数智为客户交付 6 台 H20 GPU 服务器和 1 台 SN9700 高速交换机，并完成设备上架、网络联调、DeepSeek 模型本地化部署，以及 SFT 监督微调任务运行协助，帮助客户从基础硬件环境建设迈向大模型本地化应用验证阶段。

本项目不是简单的服务器交付，而是一次面向企业大模型本地化部署的系统工程。超擎数智通过算力集群建设、高速网络部署、系统环境适配、模型服务部署和 SFT 微调运行支持，为客户构建可承载 DeepSeek 模型推理、微调验证和后续 AI 应用开发的本地计算环境。

一、项目背景：企业 AI 应用落地需要本地化大模型能力

随着企业数字化转型持续深入，客户在日常经营、业务服务、流程管理和内部运营中沉淀了大量文档、流程资料、业务规则和知识内容。如何利用大模型提升信息检索、文档理解、知识问答和流程辅助能力，正在成为企业探索 AI 应用落地的重要方向。

对于东港股份而言，企业级大模型应用需要兼顾可用性、安全性和可持续演进能力。一方面，模型需要在本地环境中稳定运行，满足企业对数据安全和系统可控性的要求；另一方面，模型还需要具备后续微调和适配能力，才能逐步结合企业自身业务语料和内部知识体系，提升回答准确性和业务贴合度。

因此，客户本次项目的核心目标不是单点测试大模型，而是建设一套本地 AI 计算与模型运行环境，支撑 DeepSeek 模型部署、推理服务验证和 SFT 微调流程跑通，为后续企业级 AI 应用开发奠定基础。

二、客户核心挑战

1. 大模型应用需要本地可控环境

企业内部数据、业务文档和流程资料具有较强的内部属性。若完全依赖外部模型服务，可能面临数据外传、访问边界不清和系统可控性不足等问题。

客户需要将大模型部署在本地环境中，使模型调用、推理结果和后续业务数据接入都在企业内部可控范围内运行，为后续知识问答、文档处理和业务流程辅助等应用提供基础环境。

2. DeepSeek 本地部署需要完整软硬件适配

DeepSeek 模型本地部署涉及 GPU 服务器、网络互联、操作系统、GPU 驱动、CUDA 环境、推理框架、模型权重、依赖组件和服务启动等多个环节。任一环节配置不当，都可能导致模型加载失败、显存占用异常、推理服务不稳定或性能无法释放。

因此，项目不仅需要完成硬件交付，还需要完成从系统环境到模型服务的整体部署和验证，确保客户能够真正使用本地大模型能力。

3. SFT 微调需要稳定的训练运行基础

企业后续若希望让模型更贴合内部业务，需要基于自有语料开展 SFT 监督微调。SFT 任务对训练环境、数据格式、显存管理、任务脚本、日志输出和训练稳定性都有要求。

客户需要先在本地环境中跑通 SFT 微调流程，验证训练任务能否正常调用 GPU 资源、数据能否正确加载、训练过程是否稳定、日志和结果是否可追踪。该能力是后续模型持续优化和业务适配的基础。

4. 多节点 GPU 环境需要规范部署和网络联调

本项目采用 6 台 H20 GPU 服务器和 1 台 SN9700 高速交换机构建本地 AI 计算环境。多节点环境下，服务器上架、线缆连接、端口规划、交换机配置、节点通信和链路稳定性都会影响模型部署和后续微调任务运行。

客户需要服务商完成从硬件部署到网络联调的工程化交付，降低内部团队自行搭建环境的复杂度。

5. 企业团队需要快速完成从设备到模型可用的转化

大模型项目落地的难点往往不在于硬件到货，而在于如何把 GPU 服务器转化为可运行、可验证、可继续开发的模型环境。系统版本、驱动、依赖、模型文件、推理服务和训练脚本之间存在较多适配工作。

超擎数智需要通过标准化交付流程，帮助客户缩短从设备上架到 DeepSeek 模型可用、SFT 微调流程可跑通的周期。

三、超擎数智解决方案：6 台 H20 + SN9700 + DeepSeek 本地部署 + SFT 微调支持

围绕客户大模型本地化部署需求，超擎数智提供覆盖硬件部署、网络互联、系统环境、模型部署和 SFT 微调运行协助的一体化方案。

1. 计算层：6 台 H20 GPU 服务器提供本地 AI 算力

本项目交付 6 台 H20 GPU 服务器，为 DeepSeek 模型推理和 SFT 微调任务提供本地算力资源。H20 GPU 服务器可支撑大模型权重加载、推理服务运行、批量文本处理、训练任务调试和模型微调验证等任务。

通过多台 GPU 服务器部署，客户能够根据项目阶段划分推理验证、微调测试、业务应用开发等资源，为后续多模型、多任务和多部门使用预留基础能力。

2. 网络层：SN9700 高速交换机保障集群互联

网络侧，超擎数智为客户部署 1 台 SN9700 高速交换机，用于连接 6 台 H20 GPU 服务器，形成稳定的本地集群互联环境。

在交付过程中，团队完成交换机上架、服务器连接、端口规划、链路检查和网络联调，保障多节点之间具备稳定通信基础。该网络环境可支撑后续推理服务访问、SFT 微调任务运行和集群能力扩展。

3. 系统层：完成 GPU 驱动与模型运行环境适配

在系统环境层面，超擎数智协助客户完成 GPU 驱动、CUDA、基础依赖、容器环境和模型运行组件部署，为 DeepSeek 模型本地运行提供稳定软件基础。

针对大模型部署中常见的驱动版本不匹配、依赖冲突、显存占用异常、模型加载失败等问题，团队通过标准化配置和现场调试，降低客户自行部署的试错成本。

4. 模型层：完成 DeepSeek 本地部署与推理验证

在模型部署阶段，超擎数智协助客户完成 DeepSeek 模型本地化部署，包括模型文件加载、推理服务启动、基础问答验证、运行状态检查和服务可用性确认。

通过本地部署，客户可以在内部环境中调用大模型能力，开展模型能力验证、应用接口验证和后续私域知识接入测试，为企业级 AI 应用开发提供基础。

5. 微调层：协助 SFT 监督微调任务跑通

除推理部署外，超擎数智还协助客户开展 SFT 监督微调任务运行，帮助客户验证后续基于业务语料优化模型的可行性。

团队围绕 SFT 数据格式、训练脚本启动、GPU 资源调用、显存占用观察、日志输出、任务状态检查和基础结果确认提供支持，使客户具备从“模型可用”走向“模型可调”的基础能力。

该环节为客户后续接入内部业务语料、构建企业专属知识能力和优化模型回答效果提供了实践基础。

四、实施交付：从设备上架到模型和 SFT 流程可运行

本项目交付重点是帮助客户快速完成从硬件环境到 DeepSeek 模型运行环境的落地。超擎数智按照设备部署、网络联调、系统配置、模型部署、SFT 验证和交付移交的流程推进。

1. 设备上架与基础检查

项目实施阶段，超擎数智完成 6 台 H20 GPU 服务器和 1 台 SN9700 交换机的上架、加电、基础状态检查和设备连接。团队对服务器电源、网卡、GPU 状态、交换机端口和链路连接进行逐项确认，确保硬件环境具备后续部署条件。

2. 网络布线与链路联调

针对多节点 AI 环境，团队完成服务器与 SN9700 交换机之间的线缆连接、端口映射、链路状态检查和网络连通验证。通过规范化布线和端口标识，保障后续运维过程中能够快速定位节点和链路关系。

3. 系统环境配置

在基础系统配置阶段，团队完成 GPU 驱动、CUDA、依赖环境和模型运行组件部署，并对 GPU 识别、显存状态、节点运行状态和基础工具链进行验证，确保 DeepSeek 模型具备本地运行基础。

4. DeepSeek 模型部署与推理验证

模型部署阶段，超擎数智协助客户完成 DeepSeek 模型在本地环境中的部署与启动，并通过基础推理测试验证模型服务可用性。测试内容包括模型加载、问答响应、显存占用、服务访问和运行稳定性检查。

5. SFT 微调任务运行协助

围绕客户后续模型优化需求，超擎数智协助开展 SFT 微调任务运行，帮助客户验证训练任务能否正常调用 GPU 资源、数据能否正确读取、训练脚本能否稳定执行、日志是否正常输出、训练过程是否可观察。

该环节使客户初步具备后续基于私域数据开展模型微调和业务适配的工程基础。

6. 交付文档与运维移交

项目完成后，超擎数智向客户移交基础部署信息、网络连接关系、模型部署说明、SFT 运行验证结果和基础运维注意事项，帮助客户掌握平台使用方式，降低后续维护难度。

五、客户收益：从硬件资源到大模型应用验证能力

1. 快速获得本地大模型运行环境

通过本次项目，客户不仅获得 6 台 H20 GPU 服务器和高速互联网络，更完成了 DeepSeek 模型本地部署和推理验证，具备开展大模型应用试点的基础能力。

2. 降低敏感数据外传风险

DeepSeek 模型运行在客户本地环境中，后续业务数据、文档内容和内部知识可在企业内部完成处理，为私域知识接入、文档问答和流程辅助提供更安全的技术基础。

3. 跑通 SFT 微调流程，为模型适配打基础

通过 SFT 微调任务运行协助，客户验证了本地环境下模型微调的基础可行性。后续可基于内部业务语料、操作规范、问答样本和典型案例继续开展模型优化，使模型更贴近企业业务表达和使用习惯。

4. 缩短 AI 项目落地周期

超擎数智提供从硬件上架、网络联调、系统配置到模型部署和 SFT 验证的端到端交付支持，帮助客户减少环境搭建和模型部署试错时间，缩短从设备到场到模型可用的周期。

5. 提升后续扩展能力

基于 6 台 H20 和 SN9700 交换机构建的本地 AI 环境，可作为客户后续扩展大模型应用、增加业务系统接入、建设知识库、开展多模型部署和资源调度平台建设的基础。

6. 为企业级 AI 应用探索提供基础支撑

本项目为客户后续围绕企业知识问答、文档处理辅助、档案检索支持、客户服务辅助和业务流程问答等方向开展 AI 应用探索提供了本地算力与模型运行基础。

六、后续应用方向

结合东港股份业务中存在大量文档、流程、知识和数据处理需求的特点，基于本次 DeepSeek 本地化部署环境，客户后续可围绕以下方向逐步开展应用验证：

1. 企业内部知识问答

将制度文件、业务手册、技术文档、服务规范等内容接入知识库，构建企业内部智能问答能力，提升员工查询、业务培训和知识复用效率。

2. 业务文档智能处理

利用大模型对业务单据、流程文件、客户资料和内部文档进行摘要、分类、关键信息提取和一致性检查，提升文档处理效率。

3. 档案与资料检索辅助

结合档案数字化和资料管理需求，探索基于大模型的语义检索、内容摘要和问答辅助能力，提升资料查询和信息利用效率。

4. 客户服务辅助

基于客户服务知识库和业务流程规则，构建智能客服或坐席辅助工具，帮助服务人员快速获取标准答案、流程指引和问题处理建议。

5. 私域模型微调与业务适配

后续可基于企业内部业务语料、问答记录、操作规范和典型案例，对 DeepSeek 模型进行 SFT 监督微调，使模型更熟悉企业业务语言、知识结构和服务流程。

七、结语：以本地化大模型部署推动企业 AI 应用落地

本次东港股份项目的顺利实施，标志着客户从基础算力建设迈向大模型本地化应用验证阶段。超擎数智不仅完成了 6 台 H20 GPU 服务器和 SN9700 高速交换机的硬件部署，也协助客户完成 DeepSeek 模型本地部署和 SFT 微调任务运行，为后续企业级 AI 应用开发奠定基础。

对于企业客户而言，大模型落地的关键不只是选择模型，而是要构建稳定、安全、可扩展的本地运行环境，并将模型能力与业务数据和业务流程结合起来。超擎数智通过算力、网络、系统环境、模型部署和 SFT 微调支持的一体化交付，帮助客户降低 AI 项目落地门槛，加快从“模型可用”到“业务可用”的转化。

未来，超擎数智将继续围绕企业大模型本地化部署、私域知识库建设、SFT 微调、推理优化和 AI 应用集成，为更多行业客户提供从硬件基础设施到模型应用落地的全流程支持。