码农知识堂 - 1000bd
  •   Python
  •   PHP
  •   JS/TS
  •   JAVA
  •   C/C++
  •   C#
  •   GO
  •   Kotlin
  •   Swift
  • 记录一次工作中的大表优化方案


            现项目中,有大概8张左右的日志表,每张表日数据量在50W左右,6个月的数据量高达一亿。且项目中部分业务与日志表关联,致使查询效率低下。现有需求,需要对这些日志表进行优化。思路如下:

    一· 对日志表超出6个月的数据进行备份,仅保留6个月内的数据。

        1. 实现思路:

            ① 编写定时任务定期创建大表的历史表。

            ② 使用expdp命令定期先导出大表6个月外的数据,对其进行备份。

            ③ 备份成功后,编写定时任务去自动将大表6个月外的数据迁移到历史表中。

    二· 对大表进行分区

        1. 实现思路:

            ① 导出生产大表的表结构,根据生产表结构,将普通表转为按月分区表。

            ② 编写定时任务,定期创建新分区。

        2. 可能会遇到的问题:

            ① 由于日志表都有日期,按日期按月分区,若日志数据被篡改,插入数据不在当前分区范围中,则会插入异常。

            ② 暂不编写定期删除分区的定时任务。原因:(1) 即使存在大量分区表,只要数据及时被备份清理,空的分区对性能的影响极小,只有达到上千级别可能会影响,可忽略。(2) 若备份功能异常,则删除有数据的分区时会导致全局索引失效。

          

     

  • 相关阅读:
    uni-app:解决异步请求返回值问题
    SAP集成相关
    python 基于django医院预约挂号管理系统
    Abnova丨血液总核酸纯化试剂盒预装相关说明书
    通用与垂直大模型:应用、挑战与未来发展
    数据结构链表之无头单向循环链表的实现
    软件测试中的集成测试到底是什么?集成的方法又有哪些?
    GenerationMixin类
    微信小程序实现连续签到七天
    网络工程师知识点2
  • 原文地址:https://blog.csdn.net/qq_27985607/article/details/119342062
  • 最新文章
  • 【JVM】编译执行与解释执行的区别是什么?JVM 使用哪种方式?
    用 Hashids 优雅解决 C 端自增 ID 暴露问题
    V8引擎 精品漫游指南--Ignition篇(上) 指令 栈帧 槽位 调用约定 内存布局 基础内容
    LLVM Pass快速入门(四):代码插桩
    milkup:桌面端 markdown AI续写和即时渲染
    基于项目工程构建SBOM(软件物料清单)的研究
    鸿蒙应用开发UI基础第二节:鸿蒙应用程序框架核心解析与实操
    .NET 中如何快速实现 List 集合去重?
    扣子Coze实战:从0到1打造抖音+小红书热点监控智能体
    浅谈数据访问层
  • 热门文章
  • 十款代码表白小特效 一个比一个浪漫 赶紧收藏起来吧!!!
    奉劝各位学弟学妹们,该打造你的技术影响力了!
    五年了,我在 CSDN 的两个一百万。
    Java俄罗斯方块,老程序员花了一个周末,连接中学年代!
    面试官都震惊,你这网络基础可以啊!
    你真的会用百度吗?我不信 — 那些不为人知的搜索引擎语法
    心情不好的时候,用 Python 画棵樱花树送给自己吧
    通宵一晚做出来的一款类似CS的第一人称射击游戏Demo!原来做游戏也不是很难,连憨憨学妹都学会了!
    13 万字 C 语言从入门到精通保姆级教程2021 年版
    10行代码集2000张美女图,Python爬虫120例,再上征途
小工具 小游戏
Copyright © 2022 侵权请联系2656653265@qq.com    京ICP备2022015340号-1

京公网安备 11010502049817号