龙存为DeepSeek私有化部署打造极致存储引擎,释放国产智算新势能

 

国产大模型私有化浪潮下,如何构建高性能数据底座?

随着DeepSeek等国产大模型在公有云与私有化领域持续发力,企业对高性能、高弹性、安全可控的存储系统需求激增。龙存科技旗下的LoongStore集群存储系统,专为私有化部署场景设计,适配DeepSeek技术特性,助力企业轻松应对训练、推理加速及海量数据管理挑战,国产化+高性能双优势,成为智算时代的核心基础设施。

 

为什么选择LoongStore?

——六大核心价值赋能DeepSeek私有化部署

1. 龙存统一存储系统通过深度协议适配,为AI/ML全流程提供一站式数据访问

  • POSIX协议:为机器学习训练提供高性能文件共享访问,支持大规模并行计算任务(如TensorFlow / PyTorch分布式训练),消除跨节点数据共享瓶颈;

  • NFS协议:优化推理阶段轻量级数据读取,实现低延迟模型部署与实时推理加速;

  • S3协议:无缝对接公有云(AWS S3/Azure Blob)进行数据采集与跨境传输,支持海量标注数据快速上云,构建云端-本地混合训练架构;

  • 协议间数据互通:同一存储池内实现POSIX/NFS/S3/HDFS数据互通性能无损共享,避免重复存储,节省50%以上存储成本。

     

 

2. 全局RDMA加速,突破I/O性能瓶颈

  • 龙存存储系统提供了内核级别实现的完全POSIX兼容的并行文件系统客户端,实现了全局文件共享和高性能读写,并支持RDMA协议,实现存储节点间零CPU开销、低延迟的数据传输,可将端到端读写效率提升3-5倍,完美匹配大模型训练中高频次、大规模的数据吞吐需求,为模型迭代提速;

  • 在实际测试中,单台配置2颗INTEL Xeon Gold 5418Y处理器、8+2纠删码、22块NVME SSD(PCIE4.0)、400G*2 ROCE网络的全闪存节点,可以达到61GB/s 写性能、87GB/s 读性能;而180台同样配置的全闪存储节点,则可以提供超过14TB/s的聚合带宽;

  • 随着硬盘及存储节点的数量增多,聚合性能呈近线性增长。

 

 

3. 海量小文件聚合读写,优化文本数据处理效率

针对大模型训练中的海量小文件场景,LoongStore独创客户端聚合读写技术,将小文件在本地完成合并处理,显著降低存储系统压力,读写效率提升十倍以上。龙存单一文件系统存储超5000亿级文件,彻底解决了传统存储在小文件场景下的性能坍塌问题。

 

 

4. 灵活弹性部署,从单机到超大规模无缝扩展

DeepSeek支持中小规模轻量化部署,LoongStore亦提供了单存储节点起步、按需扩展的灵活架构:

  • 极简模式:单存储节点(容量 10TB~2000TB)即可承载DeepSeek私有化部署的存储需求,满足边缘场景快速上线需求;

  • 龙存单节点存储系统同样提供了高性能的内核态POSIX客户端,将小文件性能、读写带宽,以及IOPS提升35%以上

  • 弹性扩容:通过增加存储节点实现容量与性能的线性增长,轻松应对业务爆发式增长;龙存具有单套并行文件系统超过400台存储节点、容量超过100PB的实际大规模上线案例,保持长时间稳定运行;

  • 存算融合:存储侧按需分配容器、虚拟机等计算资源,实现按需融合部署DeepSeek,实现存算资源融合分配和管理。

     

 

5. 全国产化兼容,筑牢安全可控基石

LoongStore全面支持X86与国产化架构(鲲鹏、海光、飞腾等),提供从存储介质到操作系统、管理软件的全链路自主可控方案,完美适配信创政策要求。

 

 

6. 实战验证,服务多智算中心

LoongStore已在国产化智算平台、万卡集群场景落地,成功支撑AI训练、生物医药、气象模拟等领域的高性能计算任务。例如:

  • 为国产智算中心部署了基于文件对象融合技术的高性能存储系统LoongStore ,该系统由79台存储节点构成,每台节点配备36块20TB的存储设备;

  • 为万卡智算中心提供了一套LoongStore存储系统,此系统包含54台存储设备,每台设备配置22块15.36TB的NVMe硬盘;

 

 

典型应用场景

  • 企业私有化大模型训练:为DeepSeek私有化部署提供低成本、高性能的数据存储底座;

  • 科研与产业AI:加速科学计算、仿真模拟等场景的海量数据读写;

  • 国产信创生态:构建从芯片到应用的全栈国产化解决方案,满足合规性要求。

 

 
2025-03-18
首页    并行文件系统    龙存为DeepSeek私有化部署打造极致存储引擎,释放国产智算新势能