生物制药AI存储案例

 

用户企业致力于打造新一代人工智能科学计算平台,并结合自研高通量生物实验技术,为研发人员提供微观世界分子计算、模拟与设计的智能系统。在新药开发领域,特别是大分子药物开发,创新性地使用AI重构药物开发流程,从而极大程度上提高新药研发速度和效率。

 

一、项目背景

 

用户企业在新药开发领域(尤其是大分子药物开发领域),创新性地使用AI重构药物开发流程,系统构建初期采用AI智药研发平台计算集群本地Nvme磁盘作为数据存储进行深度训练和数据存储,在这种构建方式下数据共享和训练效率均未达到用户构建平台的预期,后经过调研和对比,选择龙存高性能分布式文件存储系统LoongStore作为新一代AI智药研发计算平台的统一数据存储,从而极大程度上提高新药研发速度和效率。

 

二、龙存价值

 

龙存为基于人工智能技术的新药开发企业构建了全NVMe-SSD、IB网络的高性能集群存储系统。通过使用RDMA技术、小文件聚合技术以及优化后的分布式文件系统,保证集群存储系统内每块NVMe-SSD盘性能达到了4GB/s+,单台存储节点仅需要5块NVMe-SSD即可提供20GB/s的聚合读写带宽的性能,同时支撑当前系统下数千万小文件的快速访问,加速了企业新药开发的流程。

高效数据访问缩短新药开发流程

为了满足AI智药研发平台计算集群对文件存储极致的性能要求,LoongStore在架构和实现上采用了多项专利技术及高效的数据放置策略。

  • 双活元数据集群架构,提升系统OPS能力
  • 支持基于RDMA协议的IB网络,提供数据并发处理效率,降低数据访问延迟
  • 专用并行客户端,缩短IO访问路径,提升并发访问效率
  • 小文件聚合技术,缩短AI智药研发平台深度学习时间率。

海量文件承载能力

AI智药研发平台在深度学习训练过程中以海量文件为基础,数据量的规模一般是AI企业提升模型精度的关键手段,需要通过提取、分类、分析等处理流程对数以亿计的药物分子结构图片反复迭代,从而极大程度的提高新药研发的速度和效率。

  • 元数据集群在线按需灵活扩展,性能线性提升
  • 单文件系统可承载千亿级别文件数量,并且文件访问效率无衰减

 

三、存储构建方式

 

 

 

本项目中采用3台全闪存储服务武器,每台配置14块7.68TB的Nvme磁盘作为AI智药研发平台的统一共享存储系统,支撑前端55台NVIDIA A100 80GB计算服务器共440块型号为GA100-893的GPU卡进行深度训练和新药研发。

2023-10-11
首页    人工智能    生物制药AI存储案例