现项目中,有大概8张左右的日志表,每张表日数据量在50W左右,6个月的数据量高达一亿。且项目中部分业务与日志表关联,致使查询效率低下。现有需求,需要对这些日志表进行优化。思路如下:
① 编写定时任务定期创建大表的历史表。
② 使用expdp命令定期先导出大表6个月外的数据,对其进行备份。
③ 备份成功后,编写定时任务去自动将大表6个月外的数据迁移到历史表中。
① 导出生产大表的表结构,根据生产表结构,将普通表转为按月分区表。
② 编写定时任务,定期创建新分区。
① 由于日志表都有日期,按日期按月分区,若日志数据被篡改,插入数据不在当前分区范围中,则会插入异常。
② 暂不编写定期删除分区的定时任务。原因:(1) 即使存在大量分区表,只要数据及时被备份清理,空的分区对性能的影响极小,只有达到上千级别可能会影响,可忽略。(2) 若备份功能异常,则删除有数据的分区时会导致全局索引失效。