一家速递公司平均每天处理快递数量超过3000万件,那么由此产生的海量数据,到底该如何实现有效存储?全国31个省市自治区的7万多个服务网点,不同地点同步产生的数据又该如何实现存储,高效实现数字化运营?
用44台存储节点实现2.64 PB裸容量,这是国内数据存储领先企业XSKY星辰天合给国家5A级物流企业圆通速递的解决方案。
日前,针对圆通速递业务发展迅速面临的海量数据存储问题,XSKY通过分布式块、文件、对象的统一存储方式,以多样化、高性能和高安全稳定的存储服务,助力圆通速递实现存储架构转型,支撑其业务实现全面数字化转型。
据悉,7月15日XSKY星辰天合将在北京以“星辰天合 V5而来”为主题,召开新品发布会,用潜心打磨的国产自研产品和技术,重新定义统一存储的概念,为政企机构的数字化业务打造一个全协议统一、全场景统一的数据管理平台。届时,行业的技术大咖、产业精英,以及政企机构负责人将出席现场,共同交流行业热门话题、分享数据技术愿景、探索数字世界的未来。
现有存储架构三大局限
截至2020年12月,作为一家集快递物流、科技、航空、金融、商贸等为一体的综合物流服务运营商和供应链集成商,圆通速递全网拥有分公司4600多家,服务网点和终端门店7万多个,各类转运中心133个,员工45万余人,快递服务网络覆盖全国31个省、自治区和直辖市,县级以上城市已基本实现全覆盖。
与此同时,2020年全年圆通速递业务完成了达到126.48亿件。
每天产生着海量的数据,支撑着快递业务高速运转,但现有的存储架构,已无法满足不断快速增长的业务及随之产生的海量数据。
制约主要体现在以下三个层面:一是扩展性差,无法满足业务需求。现有SAN存储提供VMware虚拟化平台,60~70台宿主机。多达2000多台虚拟机,虚拟化平台主要承载着圆通速递前端业务系统、数据库、中间件等应用。由于SAN存储的性能、扩展性由“机头决定”,无法弹性扩容,无法快速响应业务系统对数据存储的需求。
二是无法满足对海量非结构化数据的有效访问。现有传统 NAS 承载企业文件共享、MySQL数据备份等业务,文件、图片、音频数据多达5000万量级。并且部分目录文件数量达到几十万甚至上百万,一次ls需要花费5~6min时间。随着物流信息化发展,未来将有更大量的图片、音频等信息需要存入,预计每天会产生上百万的数据量,整体数据量会达到上亿级别。
三是安全性低。现有架构存在单点故障风险,仅靠存储自身RAID保障数据安全,安全性较低。并且无法随着业务扩展,无法同时满足多种业务系统对数据存储的要求,无法快速在线扩展性能和容量。
为此,圆通速递与XSKY星辰天合展开深度合作,致力实现数据存储架构转型。
五大亮点,助力数据存储架构转型
针对上述圆通速递在数据存储架构面临的几大难点,XSKY星辰天合为其“量身定做”了一套新的数据存储方案,助力圆通速递实现架构转型。
具体而言,底层通过分布式存储架构保障性能,且由平台自身提供数据冗余机制,保障数据安全不丢失。此外,在后续业务扩大时,在线增加存储节点即可满足容量扩容、提升存储集群性能的需求,无需停止前端业务,由此保障业务连续性。未来随着业务发展,多种不同的应用系统上线,还可快速响应各种业务对存储数据的要求。
由于非结构化数据的增长最难预测,因此,XSKY的下一代文件系统XGFS成为本次存储架构的首选平台。
XGFS(XSKY Global File System)是 XSKY 提供的新一代分布式文件存储系统:
统一命名空间支持百PB容量
统一命名空间支持百亿文件数
标准文件协议客户端和私有客户端均访问统一命名空间
高级存储功能均可按需在任意目录上设置
元数据集群支持基于统一命名空间的元数据读写操作,支持完整的权限、ACL、Xattr等文件属性。元数据集群支持强一致性的复制保护机制,支持自动故障切换,增量恢复与全量恢复。元数据服务基于NVMe/SCM 高速介质,通过高性能KV数据库和独有专利的键值设计,实现高性能低延迟的文件元数据访问。元数据服务使用WAL日志保护机制,支持针对元数据盘的亚健康检查与隔离。
XGFS创新的分布式网关集群,支持高可用的DNS 存储域名解析服务,存储域名可按需绑定不同的负载均衡策略;同时支持配置多个VIP组成VIP 池,支持配置VIP 网关,并且任意VIP 支持自动故障切换。网关集群支持丰富的访问协议:SMB/CIFS、 NFS、FTP、POSIX/FUSE、CSI、HDFS,支持多协议同时访问同一文件目录,支持任意层级目录设置共享。支持完善的用户认证体系:本地、AD、LDAP,支持完善的权限管理:RWX、ACL。集群中所有网关均可并发读写统一命名空间,性能随着网关扩展而线性提升。网关支持以RoCE 高速网络协议访问元数据和数据池。
XSpeed 数据池给XGFS 中的文件访问带来极致的性能体验,所有文件数据IO 写到XSpeed 缓存层即返回。XSpeed 小文件后台合并和数据压缩功能,大幅提升XGFS 系统可承载的数据总量,轻松突破百PB 容量和百亿文件数。XSpeed 丰富完善的企业级功能:快照、恢复QoS、阈值管理,大大降低存储管理员的运维投入。
也正是基于XGFS的优势,XSKY根据圆通速递的需求,首期规划共44台存储节点,利旧X86服务器,整体约2.64PB裸容量,数据冗余安全采用三副本保护策略。
集群规划方面,则分别在生产网部署30台存储节点,测试网14台存储节点,两个集群提供相同存储服务,块接口用于VMware虚拟化平台,提供虚拟机存储访问,分布式文件接口用于数据库备份、图片、音频等非结构数据存储需求。
XSKY数据存储架构得到了圆通速递的高度认可。
在圆通速递看来,XSKY提供的数据存储架构解决方案,高效支撑了快递业的数字化转型升级,存储架构本身的亮点也十分突出:
一是成本可控。采用Scale-out架构,可实现在线扩容,按需建设,且在扩容节点数量的同时,不仅提高使用空间,还提升存储集群性能;
二是软硬解耦。新的存储架构不绑定硬件,兼容多种主流通用服务器,甚至可以利旧老服务器,相比专用存储,成本可控,运维更简便。
三是高性能。即支持存储百亿级别的文件数量,经过严格的测试,满足单目录100w文件2min的list性能,1亿小文件340M/S吞吐的存储需求。
四是安全性。由副本、EC、故障域等多种安全机制保障平台数据安全。
五是业务扩展性。未来随着业务系统扩增,不同业务系统对接存储数据的要求,存储平台可提供分布式块、文件、对象的统一存储方式,提供多样化、高性能和高安全稳定的存储服务。
助力上千家政企机构数字化转型升级
当前,数字化转型给物流行业带来巨大变革,智慧化、数字化智慧物流体系成为发展趋势,无人仓在其中扮演重要角色。智能物流的基础就是数据,而传统的存储架构,无法满足现代物流业对数据的汇、存、管、用的需求,存储架构的转型首当其冲。
XSKY星辰天合利用自己在分布式软件定义存储方面的创新成果,助力圆通速递加速企业数字化转型,已成物流业加速数字化转型升级的典型案例。
作为中国软件定义存储市场Top5唯一一家专业的软件厂商,XSKY星辰天合正在利用自身的技术优势和存储解决方案,帮助政务、金融、电信、广电、交通、公用、医疗、教育、物流等行业的上千家大中型政企客户,进行关键生产系统存储云化改造和数字化转型升级。
2023-11-14 京客网发布了 《京客网:企业为何要打好新闻推广和软文营销的“持久战”?》的文章
2023-11-14 京客网发布了 《京客网:新闻软文营销推广的直接作用是什么?》的文章
2023-11-14 京客网发布了 《京客网:绿春生态云茶.网址中文域名助绿春双财茶业互联网+数字化》的文章
2023-11-14 京客网发布了 《雅居乐集团上半年预售金额达人民币282.3亿元,多元业务占比提升》的文章
2023-11-14 京客网发布了 《2023 Z世代双十一消费行为报告:近6成年轻人选择购买国货品牌》的文章