获取文档

一、领先的产品

 

　　龙存高端集群存储系统是面向海量数据存储和高并发访问的应用而设计的大规模通用集群存储系统，采用通用智能存储节点作为基本的构建单元，为应用提供全局统一的系统映像和完全POSIX兼容的API接口。

 

　　龙存高端集群存储系统采用了完全的分布式架构，将存储服务器集群和元数据服务器集群通过高速以太网络构建，具备良好的扩展性和可靠性。利用核心软件LeoFS的相关软件功能消除集群内的单点故障，避免因为故障而导致服务中断或者数据丢失等影响，并且打破了传统存储系统容量、文件数量的种种限制。

 

　　基于Hadoop大数据引擎套件是一款分布式大数据平台产品套件，提供数据接入、存储、查询、检索等基本数据管理功能，同时针对典型应用场景提供深度分析解决方案。龙存LeoFS作为大规模商用的成熟分布式文件系统，可以完整的替代HDFS模块支持Hadoop的前端业务，为前端业务带来更加完备、更高性能、更具备扩展能力的存储基础平台。

 

 

方案 龙存LeoFS HDFS
开发语言 C语言 Java
元数据服务器 集群架构 单Master架构，扩展性不好
兼容性 POSIX兼容、文件级、块级、RESTful API 不兼容，需要调整应用程序
文件支持 千亿级文件 千万级文件
数据保护 多副本、纠删码N+M 多副本
空间利用率 80%、60% 50%、33%
性能 硬件性能的80% 低于硬件性能的50%
适用场景 在线业务领域，性能更高，兼容性更好 线下数据分析，业务模式单一，连续性要求不高
支持前端业务 支持Hadoop之上的所有应用，如HBase、MapReduce
性能 LeoFS随机读性能是HDFS的两倍，其他性能都高出HDFS20%～30%，总体性能优于HDFS

 

1、数据存储层

　　支持海量异构数据的统一可靠的存储管理，对外提供统一的分布式调用接口。

 

2、数据总线

　　支持数据采集、过滤、缓存、中转分发调度等。数据总线是拉通计算与存储的枢纽，同时是内外数据交换的通道，完成数据在组件间及层次间中转、缓冲及调度。

 

3、数据处理层

　　基于支持多种计算模型的分布式计算框架，为上层业务系统提供专业的计算处理库，包括 文本处理、搜索引擎、数据挖掘等。

 

4、业务适配层

　　为上层业务系统提供各种不同协议和标准的访问接口。

 

5、高性能高可用

　　通过软硬件多方优化配置和深度研究，保证整个平台的高可用和高性能。

 

 

二、龙存产品具备如下技术特色

 

 

1、丰富存储类型支持

　　除了对传统关系型及KV类型支持外，龙存产品还支持对图类型、POSIX文件以及文档类型等支持。

 

2、数据生产与分析打通

　　通过统一底层存储，兼容POSIX，实现数据处理无缝链接。

 

3、高速流式处理框架

　　基于内存集群架构，支持对流式数据的清洗、过滤及实时分析。

 

4、兼容标准访问接口

　　各组件提供标准POSIX及REST等访问接口。

 

5、全方位运维管理平台

　　全方位运维管理平台 提供Web及CLI方式的运维及操作控制两套平台，分别面向系统管理员及数据分析师。

 

6、高可扩展及高可用

　　继承了Hadoop社区高可扩展的系统架构，同时提供定制化数据冗余策略，实现成本与可靠性的平衡。

 

 

三、产品组件

 

 

1、产品定义

　　LoongStore LeoFS是对应HDFS层的大规模通用集群存储平台。提供副本之外的低冗余高性价比建设方案；同时支持Posix/Hadoop/SAN兼容的生产/分析超融合方案；可构建于通用服务器之上。

 

2、核心功能

　　LoongStore LeoFS体系架构上采用out-of-band模式，可分别数据存储集群和元数据集群进行扩展，有效避免了传统NAS架构中的单点瓶颈；在接口层面为应用提供全局统一的系统映像和共享数据访问。网络方面集群各节点间可通过光纤及万兆以太网高速互联，提供极高聚合带宽。

 

 

 

3、产品优势

 

通用硬件：无需专用存储设备，可直接基于通用服务器平台构建，支持X86、MIPS等通用架构。可对既有设备充分利旧，保护用户已有投资。

 

在线扩展：LoongStore LeoFS提供在线的容量及处理能力扩展，包括数据存储节点及元数据处理节点，并自动在扩容后对全系统容量和热点访问进行均衡。

 

兼容POSIX/Hadoop：通过兼容hadoop接口，hadoop生态群的原生计算框架及组件可透明运行于LoongStore LeoFS之上，使得数据分析任务直接基于在线生产环境进行，拉通数据生产与分析环节，避免了大量的数据迁移操作。

 

兼容NFS/SAN：存储使用方式可支持文件接口和分布式块设备接口，可基于同一套x86服务器集群同时对外提供文件系统及块访问接口，因而可替换专用的存储SAN设备。支持通用x86服务器集群上部署Oracle Rac分布式数据库系统，而无需专用光纤盘阵，大大提升系统并发性能并降低成本。

 

低冗余高可靠：LoongStore LeoFS除了提供副本方式之外还提供基于Erasure code的N+M冗余方式。相比传统Hadoop副本使用方式，可在保证数据可靠的同时大幅提升存储利用率从而降低成本。

 

快速数据恢复：消除传统RAID恢复技术中单盘性能瓶颈，采用多对多的方式，从所有节点的所有磁盘并发进行数据恢复，可提供极高的聚合恢复带宽，从而有效缩短因设备出错导致的全系统降级运行时间。

 

高并发吞吐率：通过采用元数据节点集群技术及SSD加速技术，全系统吞吐率不存在性能瓶颈点。单2U存储节点IO带宽可达到3.5Gbps，并可随系统规模近似线性扩展。

 

标准易用：LoongStore LeoFS客户端支持目前所有主流Linux，Windows及IOS平台。使用时可以作为标准文件系统盘进行挂载。兼容本地文件系统使用方式。

 

四、应用场景

 

 

　　LoongStore LeoFS为大数据平台的通用存储层，可同时适用于离线hadoop分析+传统Posix生产场景+集群数据库场景；尤其适合海量非结构化数据的存储，比如图像、音视频、文档等文件。同时其可单独应用于存储虚拟化、云存储以及传统HPC高性能计算领域。

 

五、技术参数对比