选择你的第一个本地 AI 项目
本地 AI 让敏感数据不出内网、节省云成本、可离线运行。这份 NVIDIA 指南基于 RTX PRO 工作站(单卡最高 96 GB 显存)给出三个上手项目:ChatRTX 无代码 RAG 聊天机器人、本地 PDF 转播客、视频搜索与摘要智能体。

AI 正在迅速走出集中式的云与数据中心,成为可以直接部署在专业工作站上的强大工具。得益于先进的硬件与优化过的软件,你可以在办公桌前、甚至随时随地构建、运行并试验复杂的 AI 模型。欢迎来到本地 AI 开发的世界!
在工作站上本地运行与开发 AI,能为开发者与组织带来显著优势:更强的数据隐私与安全性、敏感数据留在企业内部、相比持续使用云服务节省成本、应用具备离线运行能力,以及一个无可替代的动手开发与迭代环境。推动本地 AI 走向强大、触手可及的,正是 NVIDIA RTX PRO Blackwell 系列这类高性能硬件,以及为释放其能力而构建的优化软件生态。
本文将借助专为专业工作流设计的 NVIDIA 生态系统,带你选出第一个规模可控的本地 AI 项目。
了解你的 NVIDIA RTX PRO 工作站
专业 AI 加速的核心是 NVIDIA RTX 专业 GPU:单卡显存最高 96 GB,配备企业级驱动与 ISV 认证,并具备增强的 NVIDIA Tensor Core 性能,AI 运算能力最高可达每秒 4000 万亿次。
因此,它们非常适合处理更大的数据集、训练更复杂的模型,以及运行复杂的 AI 推理任务。从 FP4、INT8 这类低精度格式,到 FP16、FP32 这类高精度格式,对广泛高级数据格式的支持让 AI 模型得以高效运行——这对快速迭代的开发周期至关重要。

图 1:NVIDIA RTX PRO AI 工作站
定义你的项目
有了 RTX PRO 工作站,下一步就是选一个合适的第一个项目。请考虑以下因素:
- 重点方向:集中掌握一项核心 AI 能力,例如高级文本分析、高分辨率图像处理,或特定类型的数据生成。
- 契合目标:选择与你的兴趣、工作或行业相关的领域,例如自动化数据分析、改进视觉工作流,或生成专业化内容。
- 资源评估:确保项目目标与你所用工作站的能力(尤其是 GPU 显存、CPU 性能与存储)以及你当前的 AI 技术水平相匹配。从一个你能完成、能学到东西的项目开始。
以下是一些基于 NVIDIA RTX PRO 工作站的上手项目。
项目 1:AI 聊天机器人
为本地 AI 聊天机器人项目选好起点是关键。让这类聊天机器人能够处理你专属数据的核心技术,是检索增强生成(RAG)。RAG 让聊天机器人底层的大语言模型(LLM)在生成回答之前,先访问并引用你的专属文档或知识库,从而确保回答准确、相关、立足于你的上下文,而不是仅凭 LLM 的通用训练数据。
从 NVIDIA ChatRTX 开始,创建无代码 RAG 聊天机器人:只需下载应用,把它指向本地文件夹(比如项目文档或笔记),在菜单中选择兼容的模型,然后开始提问。ChatRTX 会自动完成 RAG 流程——检索相关片段并将其提供给 LLM。
当你准备好动手写代码、构建更定制的 RAG 聊天机器人——加入特定逻辑或接入不同数据源——AI Workbench 可以帮你搭好开发环境。
下载适用于 Windows 或 Linux 系统的 AI Workbench 安装程序,它会替你管理 Git 等必要依赖、Docker 或 Podman 等容器软件,在 Linux 上甚至包括 GPU 驱动。Windows 用户需从 NVIDIA 驱动程序页面手动安装驱动。
要加速开发,可以使用预构建示例,例如多模态虚拟助手项目。在 AI Workbench 中克隆该项目即可抢先起步:一条可用的 RAG 管道已经就绪,你可以直接开始接入自己的文档、图像或视频,定义自定义数据检索方法,管理不同的 LLM,并对设计反复迭代,打造真正定制的对话式 AI 体验。
本地运行的 AI 聊天机器人正在各行各业涌现出具体应用。在建筑工程与施工(AEC)行业,有公司尝试用历史提案请求(RFP)与项目文档训练定制聊天机器人,帮助总结新的 RFP,或从过往答复中快速找到答案,从而简化投标流程。在金融服务业,合规团队可以利用安全存储在工作站上的大量监管档案与内部政策文件训练本地聊天机器人,快速查询与核对要求、查找先例——敏感数据全程不离开本地环境。
项目 2:PDF 转播客
把 PDF 文档——比如研究论文或手册——转换成引人入胜的音频内容。这一 PDF 转播客能力在工作站上本地运行,在多个领域都有用武之地。例如,法律专业人士可以把冗长、机密的案卷文件或披露材料转成音频来审阅,确保敏感的客户数据始终留在本地机器上。
工程或制药行业的研发团队则可以把艰深的技术规格、研究论文或内部手册转成音频,让专家在多任务处理或离开屏幕时也能吸收复杂信息,同时保护专有知识产权。
上手方法是在 AI Workbench 界面中从 GitHub 仓库克隆该项目——容器化环境配置与 GPU 访问的自动配置都会替你完成,设置因此大为简化。
默认实现使用基于云的 NVIDIA NIM 端点。不过,AI Workbench 让你可以灵活地把关键组件——包括 NIM 微服务——直接放到本地 RTX PRO 工作站上运行。这样,专有的 PDF 数据可以保持安全与私密,因为全部处理都可以留在本地机器上,而不必发送到云端。
这一蓝图灵活且可定制,你可以添加品牌定制、数据分析、实时翻译或数字人界面等附加功能来深化参与感,并直接在强大的本地硬件上测试、制作原型并自定义整条 PDF 转播客流水线。
项目 3:视频搜索与摘要智能体
自动搜索与总结视频内容的能力极具价值。从海量录像库——体育集锦与赛事转播、安防录像、会议存档或教学讲座——中解锁此前被埋没的洞见,能省下大量人工审看的时间。
你可以使用 NVIDIA AI 蓝图,在 RTX PRO 工作站上本地构建自己的视频搜索与摘要(VSS)智能体。这一蓝图提供一套完整的参考架构,将 NIM 微服务用于视频接入、视觉语言理解、LLM 推理与 RAG 等关键功能,全部本地部署。
蓝图的默认配置使用 meta/llama-3.1-70b-instruct LLM。在本地运行这个 700 亿参数的模型需要 140 GB 以上显存,可能超出 RTX PRO 工作站的容量。要在 RTX PRO GPU 上切实完成本地部署,可以修改蓝图配置,把 70B 模型替换为更小的 meta/llama-3.1-8b-instruct 版本——后者的显存需求大幅降低,非常适合直接在工作站上运行推理。
视频 1:了解如何为视频搜索摘要构建视觉智能体
开始你的 AI 项目
开始第一个 AI 项目时,请选择与你专业需求相符的项目,从小步可行的阶段做起,并善用 NVIDIA 开发者计划等可用资源。
对希望驾驭前沿技术的开发者而言,启动第一个本地 AI 项目是具有战略意义的一步。以 NVIDIA RTX PRO 工作站为计算基座,以 NVIDIA AI Workbench 简化开发,再以 NVIDIA AI Enterprise 软件提供生产级工具与支持——你已经装备齐全。


