技术博客
沉淀 AI 算力、无损网络、高速互联、集群验收和 AIDC 工程实践,帮助团队更快识别问题、验证方案和复用经验。

大语言模型推理中的 Prefix Caching 前缀缓存解析
深入解析前缀缓存如何通过跨请求复用 KV 缓存状态,优化大语言模型推理性能。涵盖其工作原理、与标准 KV 缓存的核心区别,以及在多轮对话、RAG 与少样本学习等场景中的实际应用。

ODCC AI存储实验室KV Cache评测再发布:英韧N3X以硬核SSD性能筑牢AI推理引擎
ODCC AI存储实验室正式发布新一轮KV Cache专项评测结果,英韧科技N3X系列主控SSD凭借极致的随机读写性能、低延迟特性与高稳定输出,在大模型推理KV缓存承载场景中表现突出,为AI推理引擎筑牢底层存储性能底座,帮助智算集群大幅提升推理并发能力。

NVIDIA DGX Rubin NVL8 技术解析:面向 AI 训练与推理的加速平台
NVIDIA DGX Rubin NVL8 搭载 8 颗 Rubin GPU,采用台积电 3nm 工艺与 HBM4 内存,配备第六代 NVLink 实现 28.8 TB/s 互联带宽,为大规模 AI 训练与高并发推理提供均衡、高效的硬件平台。

ODCC AI存储实验室首发KV Cache评测结果:焱融YRCache实现推理提速降本双突破
ODCC AI存储实验室正式首发KV Cache专项评测结果,焱融科技自研YRCache存储方案在大模型推理缓存场景中表现亮眼,突破传统显存容量限制,大幅提升KV缓存命中率,最终实现AI推理性能显著提升、部署成本同步下降的双重突破,为智算集群大并发推理场景提供了全新的高效落地方案。

AI训练 vs 推理:为什么你需要两种不同的网络架构
AI训练与推理对网络的需求截然不同——训练需要高带宽、无损、全局同步;推理则要求低延迟、弹性扩展、成本可控。本文系统解析两种工作负载的网络诉求差异,以及RoCEv2为何成为推理时代的主流选择。

RTX PRO 5000 性能实测:72GB 大显存让大模型推理更从容
基于Blackwell架构的NVIDIA RTX PRO 5000 72GB专业显卡,搭载1344GB/s高带宽GDDR7显存,在实测中可单卡流畅运行Qwen3-30B、Qwen3.5-35B等主流大模型,长上下文推理与多卡协同表现优异,大幅突破普通消费级显卡的显存瓶颈,让本地大模型推理部署更从容,是企业级AI推理场景的高性价比选择。

MTP®/MPO Jumper、Harness、Trunk如何选择?
在高密度数据中心和AI网络架构中,MTP/MPO光纤组件选型决定布线效率。本文基于距离、功能和布线层级,系统解析Jumper、Harness和Trunk的适用场景与选型要点,帮助快速做出正确决策。

MPO Trunk光缆是什么?结构、类型与应用场景全解析
MPO Trunk光缆是高密度数据中心主干布线的核心组件,支持48-192芯高密度并行传输,采用预端接设计与双护套结构,大幅提升部署效率与物理耐久性,为400G/800G AI算力集群提供稳定的光纤底座。

ODCC AI存储实验室揭秘:超擎数智提供高性能系统级实验室环境与测试技术服务,首批测试证书已颁发!
作为ODCC AI存储实验室的核心依托方,超擎数智提供了完整的高性能系统级实验室环境与全栈测试技术服务,在贴近真实智算集群部署的算网底座上,完成从部件、系统到应用端的端到端AI存储专项验证。目前实验室首批KV Cache专项测试已完成全流程验证,焱融科技、英韧科技等参与厂商正式获颁ODCC官方测试证书,为大模型推理存储领域输出可量化、可复用的行业评估基准。

