• 【SDS V6 专题】开放内容平台,XOCP 助力数据常青




    大数据时代,存储基础设施日渐完善,软件定义存储技术让海量数据得以更好地存储。 同时,文件存储和对象存储的边界越来越模糊,应用数据的互连互通需求逐渐得到了满足,客户可以把更多的精力聚集在业务应用上。 业务数据流转能力如何增强?

    通常,企业的业务流程较长,需要调用不同的计算服务才能实现完整的业务逻辑。除了各种数据处理能力以外,客户还需要考虑业务数据如何流转。


    • 数据导入:如何实现本地、对象存储、文件存储等多种数据源统一高效的内容汇聚?在制造业场景中,客户拥有成百上千的机台设备,“登陆设备进行本地文件的上传”显然无法满足用户的接入需求。
    • 数据目录:来自不同系统的数据源如果可以实现统一数据目录,将减少用户交互次数,有利于业务应用的高效执行。例如:直播行业中,通过域名和频道的关联,可以快速分析出观众的城市分布情况。
    • 数据检索:客户需要从海量数据中快速检索所需文件及内容,而后再进行特定的处理。在交通监控场景中,用户需要快速搜索指定车牌号的拍摄信息,提高工作效率。
    • 数据编排:如何贴近业务,自动化完成多种数据处理任务,简化数据流程?例如:上传图片文件后,自动完成图片缩略图,将缩略图进行涉黄涉恐检测,检测通过后,发布到不同的终端。
    • 数据分析:客户希望从看似庞大无用的数据汪洋中获取价值信息,辅助决策,便利运维。

    虽然客户可以通过组合编排不同的功能模块,解决数据流转、业务处理、数据分析等需求,但是使用门槛高,要具备一定的研发能力。面对湖仓一体、云原生的发展趋势,客户对于存储的期待早已不是简单的存储本身,未来如果把数仓和工作流融入存储,提供开箱即用的一站式数据内容平台,将大大简化客户业务构建过程。


    开放内容平台  实现数字资产统一管理

    XSKY星辰天合以“数据常青”为使命,围绕“汇-存-管-用”实践公司愿景。 为了解决客户数据内容管理的难题,此前已经分别发布了面向对象存储架构的 XSKY S3 Console 客户端、OCPF 开放内容处理框架。 现在,公司把 XS3C 、OCPF 重新做了结合和定位,推出了一款全新的产品——开放内容平台 XSKY Open Content Platform (简称XOCP),它可以与存储节点分离部署或者融合部署,满足日益增长的对象、文件数据统一管理和处理的需求。

    9bb421f2c4872f48b6f707a5080272cf.jpeg


    XOCP 将针对结构化、半结构化、非结构化的全数据提供统一的数据内容平台。


    • 通过数据探头实现多数据源入湖。例如:监控 Windows、Linux 等指定路径,将数据增量同步到存储平台;直接从 S3、NAS 等源端导入数据;采集日志、传感器等数据。


    • 完成数据的结构化处理,提供数据目录服务,可以高效检索海量数据,辅助用户管理和使用数据。例如:XOCP 实现了元数据查询、内容检索、数据集管理等功能。


    • 支持工作流编排、自定义服务,通过统一的数据处理引擎,调度部署不同的服务实例,自动完成全业务流程的处理。用户仅需简单编写应用层业务代码,无须了解大数据底层原理和集群的运维。


    • 结合数据仓库及 BI 工具,实时监控、查询所需数据指标,填补数据“最后一公里”的空缺。


    cf7e244acb6128ae3e79bed41296b517.jpeg


    为了降低存储产品的使用门槛,XOCP 提供了专有的图形化客户端。除了可视化数据流转及处理,XOCP 还支持完善的数据基础操作能力,例如:上传、下载、元数据设置、标签管理、权限管控等。通过与文件存储、对象存储平台的深度对接,XOCP 能够及时感知数据变化,统一文件与对象存储使用方式,实现数字资产统一管理、高效利用。


    3a33e951fc906fa9233538c150bd3334.jpeg


    应用场景:图片处理工作流

    客户可以在本地工作站编辑图片,通过 XOCP 提供的数据探头自动将编辑后的本地图片导入对象存储平台 XEOS 中。根据预先定义的工作流,XOCP 可以对图片创建数据索引,而后通过“封面图”、“详情图”等不同的数据集,实现不同的图片处理逻辑,例如:针对封面图进行缩略图处理,对于详情图进行水印设置。图片处理完成后,XOCP 再将图片权限进行公开设置,以便终端用户可以实时访问。

    总结

    XOCP 可以让不熟悉存储的用户也能获得像本地盘一样的文件访问体验,同时提供与业务贴近的数据管理能力。管理员可以根据业务逻辑可视化编排数据的流转,完成数据闭环:数据采集--数据目录--数据检索--数据处理--数据洞察,降低数据内容使用及管理门槛。 XOCP 的发布有望给客户带来耳目一新的使用体验,助力企业时常激活数据,发挥数据价值。

    END


  • 相关阅读:
    Qt 项目实战 | 多界面文本编辑器
    重走JAVA之类与对象相关的
    Vite+Vue3项目使用第三方Animate.css动画库简单实现页面级的路由转场动画详细教程
    关于Go你不得不知道的小技巧
    吐血整理,金融银行测试的“火“到底在哪里?银行测试真正实施...
    C# 13(.Net 9) 中的新特性 - 扩展类型
    【部署】Nginx部署前后端JeecgBoot-Vue3
    COMP26020 Part 1 Lab Assignment:Matrix Processing Library in C
    CentOS 7.6上安装RabbitMQ
    JVM第十六讲:调试排错 - Java 线程分析之线程Dump分析
  • 原文地址:https://blog.csdn.net/XSKY_/article/details/127118003