大数据时代,存储基础设施日渐完善,软件定义存储技术让海量数据得以更好地存储。
同时,文件存储和对象存储的边界越来越模糊,应用数据的互连互通需求逐渐得到了满足,客户可以把更多的精力聚集在业务应用上。
业务数据流转能力如何增强?
通常,企业的业务流程较长,需要调用不同的计算服务才能实现完整的业务逻辑。除了各种数据处理能力以外,客户还需要考虑业务数据如何流转。
- 数据导入:如何实现本地、对象存储、文件存储等多种数据源统一高效的内容汇聚?在制造业场景中,客户拥有成百上千的机台设备,“登陆设备进行本地文件的上传”显然无法满足用户的接入需求。
- 数据目录:来自不同系统的数据源如果可以实现统一数据目录,将减少用户交互次数,有利于业务应用的高效执行。例如:直播行业中,通过域名和频道的关联,可以快速分析出观众的城市分布情况。
- 数据检索:客户需要从海量数据中快速检索所需文件及内容,而后再进行特定的处理。在交通监控场景中,用户需要快速搜索指定车牌号的拍摄信息,提高工作效率。
- 数据编排:如何贴近业务,自动化完成多种数据处理任务,简化数据流程?例如:上传图片文件后,自动完成图片缩略图,将缩略图进行涉黄涉恐检测,检测通过后,发布到不同的终端。
- 数据分析:客户希望从看似庞大无用的数据汪洋中获取价值信息,辅助决策,便利运维。
虽然客户可以通过组合编排不同的功能模块,解决数据流转、业务处理、数据分析等需求,但是使用门槛高,要具备一定的研发能力。面对湖仓一体、云原生的发展趋势,客户对于存储的期待早已不是简单的存储本身,未来如果把数仓和工作流融入存储,提供开箱即用的一站式数据内容平台,将大大简化客户业务构建过程。
开放内容平台 实现数字资产统一管理
XSKY星辰天合以“数据常青”为使命,围绕“汇-存-管-用”实践公司愿景。
为了解决客户数据内容管理的难题,此前已经分别发布了面向对象存储架构的 XSKY S3 Console 客户端、OCPF 开放内容处理框架。
现在,公司把 XS3C 、OCPF 重新做了结合和定位,推出了一款全新的产品——开放内容平台 XSKY Open Content Platform (简称XOCP),它可以与存储节点分离部署或者融合部署,满足日益增长的对象、文件数据统一管理和处理的需求。
XOCP 将针对结构化、半结构化、非结构化的全数据提供统一的数据内容平台。
通过数据探头实现多数据源入湖。例如:监控 Windows、Linux 等指定路径,将数据增量同步到存储平台;直接从 S3、NAS 等源端导入数据;采集日志、传感器等数据。
完成数据的结构化处理,提供数据目录服务,可以高效检索海量数据,辅助用户管理和使用数据。例如:XOCP 实现了元数据查询、内容检索、数据集管理等功能。
支持工作流编排、自定义服务,通过统一的数据处理引擎,调度部署不同的服务实例,自动完成全业务流程的处理。用户仅需简单编写应用层业务代码,无须了解大数据底层原理和集群的运维。
结合数据仓库及 BI 工具,实时监控、查询所需数据指标,填补数据“最后一公里”的空缺。
为了降低存储产品的使用门槛,XOCP 提供了专有的图形化客户端。除了可视化数据流转及处理,XOCP 还支持完善的数据基础操作能力,例如:上传、下载、元数据设置、标签管理、权限管控等。通过与文件存储、对象存储平台的深度对接,XOCP 能够及时感知数据变化,统一文件与对象存储使用方式,实现数字资产统一管理、高效利用。
应用场景:图片处理工作流
客户可以在本地工作站编辑图片,通过 XOCP 提供的数据探头自动将编辑后的本地图片导入对象存储平台 XEOS 中。根据预先定义的工作流,XOCP 可以对图片创建数据索引,而后通过“封面图”、“详情图”等不同的数据集,实现不同的图片处理逻辑,例如:针对封面图进行缩略图处理,对于详情图进行水印设置。图片处理完成后,XOCP 再将图片权限进行公开设置,以便终端用户可以实时访问。
总结
XOCP 可以让不熟悉存储的用户也能获得像本地盘一样的文件访问体验,同时提供与业务贴近的数据管理能力。管理员可以根据业务逻辑可视化编排数据的流转,完成数据闭环:数据采集--数据目录--数据检索--数据处理--数据洞察,降低数据内容使用及管理门槛。
XOCP 的发布有望给客户带来耳目一新的使用体验,助力企业时常激活数据,发挥数据价值。