码农知识堂 - 1000bd
  •   Python
  •   PHP
  •   JS/TS
  •   JAVA
  •   C/C++
  •   C#
  •   GO
  •   Kotlin
  •   Swift
  • 记录一次工作中的大表优化方案


            现项目中,有大概8张左右的日志表,每张表日数据量在50W左右,6个月的数据量高达一亿。且项目中部分业务与日志表关联,致使查询效率低下。现有需求,需要对这些日志表进行优化。思路如下:

    一· 对日志表超出6个月的数据进行备份,仅保留6个月内的数据。

        1. 实现思路:

            ① 编写定时任务定期创建大表的历史表。

            ② 使用expdp命令定期先导出大表6个月外的数据,对其进行备份。

            ③ 备份成功后,编写定时任务去自动将大表6个月外的数据迁移到历史表中。

    二· 对大表进行分区

        1. 实现思路:

            ① 导出生产大表的表结构,根据生产表结构,将普通表转为按月分区表。

            ② 编写定时任务,定期创建新分区。

        2. 可能会遇到的问题:

            ① 由于日志表都有日期,按日期按月分区,若日志数据被篡改,插入数据不在当前分区范围中,则会插入异常。

            ② 暂不编写定期删除分区的定时任务。原因:(1) 即使存在大量分区表,只要数据及时被备份清理,空的分区对性能的影响极小,只有达到上千级别可能会影响,可忽略。(2) 若备份功能异常,则删除有数据的分区时会导致全局索引失效。

          

     

  • 相关阅读:
    餐饮冷库安全守护神:可燃气体报警器检定的科学性与有效性
    算法、语言混编、分布式锁与分布式ID、IO模型
    msvcp140.dll是什么东西,如何解决msvcp140.dll丢失的问题的方法分享
    Nginx学习笔记11——防盗链与http的referer
    python机器学习 一元线性回归 梯度下降法的实现 【Python机器学习系列(四)】
    HTML 简介
    用好单例设计模式,代码性能提升300%
    windows安装telnet工具
    Android 用线程池实现一个简单的任务队列(Kotlin)
    为什么要拼命冲刺备考浙大MBA?这可能是最实在的理由了
  • 原文地址:https://blog.csdn.net/qq_27985607/article/details/119342062
  • 最新文章
  • 攻防演习之三天拿下官网站群
    数据安全治理学习——前期安全规划和安全管理体系建设
    企业安全 | 企业内一次钓鱼演练准备过程
    内网渗透测试 | Kerberos协议及其部分攻击手法
    0day的产生 | 不懂代码的"代码审计"
    安装scrcpy-client模块av模块异常,环境问题解决方案
    leetcode hot100【LeetCode 279. 完全平方数】java实现
    OpenWrt下安装Mosquitto
    AnatoMask论文汇总
    【AI日记】24.11.01 LangChain、openai api和github copilot
  • 热门文章
  • 十款代码表白小特效 一个比一个浪漫 赶紧收藏起来吧!!!
    奉劝各位学弟学妹们,该打造你的技术影响力了!
    五年了,我在 CSDN 的两个一百万。
    Java俄罗斯方块,老程序员花了一个周末,连接中学年代!
    面试官都震惊,你这网络基础可以啊!
    你真的会用百度吗?我不信 — 那些不为人知的搜索引擎语法
    心情不好的时候,用 Python 画棵樱花树送给自己吧
    通宵一晚做出来的一款类似CS的第一人称射击游戏Demo!原来做游戏也不是很难,连憨憨学妹都学会了!
    13 万字 C 语言从入门到精通保姆级教程2021 年版
    10行代码集2000张美女图,Python爬虫120例,再上征途
Copyright © 2022 侵权请联系2656653265@qq.com    京ICP备2022015340号-1
正则表达式工具 cron表达式工具 密码生成工具

京公网安备 11010502049817号