支持MPI-IO和RDMA的龙存并行文件系统

需求背景

在人工智能快速发展带来种种强烈的市场需求背景下,集群存储得到了快速发展,已经被广泛视为是新一代的企业级存储架构。其中集群技术应用于数据中心的服务器设备上已经有几年的历史了,效果显著。而集群存储作为集群技术的发展和延伸,具备了灵活的扩展性和极高的性价比。集群存储系统通过由若干个存储系统组成的cluster,能够让企业在兼顾性价比的同时轻松实现性能与容量的在线无缝扩展,还有效解决了文件共享的效率问题。

 

集群存储的优势主要体现在提高并行或分区I/O的整体性能,通过采用更高性价比的通用硬件来控制整体成本。目前,能源行业、广电行业和科学计算、互联网等领域的很多创新企业成了集群存储市场上首批用户,并且从集群存储带来的种种优势中获得了非常高的投资回报率。在诸多高性能HPCAI等场景中,龙存作为国内早期推出商业化集群存储系统的产品,提供了优化的高性能LoongStore文件系统POSIX客户端,支撑了诸多的高性能数据访问场景的需求。

分布式并行文件系统客户端

龙存 LoongStore集群存储系统提供了完全POSIX语义兼容的LeoFS文件访问接口客户端程序,支持XP及以上的全部Windows版本、内核2.6及以上的全系列Linux版本以及10.5及以上的Mac OS版本。用户可像使用本地硬盘一样,在WindowsLinuxMac OS操作系统上运行应用并使用LoongStore系统作为应用的数据存储。LoongStore存储系统完全兼容现有标准应用,无需二次开发。

 

龙存LoongStore存储LeoFS客户端运行在计算节点上,可同时连接多个存储节点,对上层应用提供标准POSIXMPI-IO接口,以获得更好的兼容性和更优的性能。

并行文件系统客户端的优势

支持MPI-IO,适配HPC生态

HPC场景中,多进程读写一个文件的典型IO模式下,需要多线程相互配合,避免读写冲突,MPI就是在这种背景下产生的一种交换消息的标准化方法。NFS是不支持MPI的,LoongStore LeoFS客户端通过支持MPI-IO,可大幅提升该模式的IO性能。

支持RDMA;单客户端可连接多存储节点,单客户端、单流性能更高;IO路径更短,客户端直接打散数据,负载均衡效果更佳

NFS标准协议一个客户端仅能连接一个存储节点,客户端性能受限于存储节点配置。

 

NFS协议数据写入时,数据需要先写入一个存储节点,该节点再把数据打散到其他存储节点,需要两次IO写入。

 

LoongStore可实现一个客户端以RDMA方式连接多个存储节点,消除存储瓶颈,同时提升单客户端性能和单流性能。

 

LoongStore可将数据在客户端打散后直接写入不同的存储节点,减少一次IO转发,获得更低的读写延迟。

 

支持Windows /Linux/Mac

LoongStore可同时提供内核驱动级别的Windows、Linux、Mac等多版本操作系统的客户端,满足更多应用场景的高性能文件读写需求。

 

 

2023-06-12
首页    RDMA MPI-IO    支持MPI-IO和RDMA的龙存并行文件系统