【摘要】随着近年来互联网技术的深入发展,非结构化数据呈爆炸式增长趋势,为满足大量非结构化数据的存储和管理需求,存储厂商适时推出了对象存储解决方案,本文首先介绍了对象存储的相关基础知识、与传统存储的差异、数据冗余技术和数据容灾技术,然后笔者就所在单位非结构化数据存储平台建设实践和非结构化数据管理运维,与大家一起分享,共同探讨。
随着互联网技术的深入发展,传统的金融行业以互联网相关技术为基点,紧抓机遇迎接挑战,加速推进移动互联网、大数据、云计算和人工智能等新技术、新业务和新生态的发展,使得各种数据正迅速膨胀并变大,数据呈爆炸性增长的趋势。特别是近几年,疫情深刻影响着各行各业,金融行业在研究如何提供更加丰富面向互联网体验良好的无接触服务场景,由此产生的多媒体格式的数据更加速了数据的增长趋势,需要新的基础技术来支撑。与此同时传统的影像、日志等业务场景数据体量日益庞大,导致管理运维的复杂程度快速增长,传统的文件系统管理缺陷逐渐暴露,问题日益突出。创新的需求和传统的场景落实到基础架构层面需要重新认识和应对非结构化数据的管理工作。以下是结合我们实际工作经验进行的应用实践总结,供更多同行参考。
传统的金融行业信息系统,通常以表单的形式进行数据的交互,并将数据相关内容存储在数据库中,并且因原来存储磁盘容量较小、价格偏高,也仅仅只保留交易和管理类结构化的关键数据,传统的数据中心信息系统主要是烟囱式,系统扩展性差。随着集中作业、影像存储和理财双录等新业务形态的快速发展,大数据、机器学习、IoT设备、面向互联网及移动终端的场景化交互式应