码农知识堂 - 1000bd
  •   Python
  •   PHP
  •   JS/TS
  •   JAVA
  •   C/C++
  •   C#
  •   GO
  •   Kotlin
  •   Swift
  • 数据持久化层场景实战:业务场景+数据库分区+冷热分离概述


    冷热分离

    本文讲的第一个场景是冷热分离。简单来说,就是将常用的“热”数据和不常使用的“冷”数据分开存储。

    本章要考虑的重点是锁的机制、批量处理以及失败重试的数据一致性问题。这部分内容在实际开发中的“陷阱”还是不少的。

    首先介绍一下业务场景。

    1.1 业务场景:几千万数据量的工单表如何快速优化

    这次项目优化的是一个邮件客服系统。它是一个SaaS(通过网络提供软件服务)系统,但是大客户只有两三家,最主要的客户是一家大型媒体集团。

    这个系统的主要功能是这样的:它会对接客户的邮件服务器,自动收取发到几个特定客服邮箱的邮件,每收到一封客服邮件,就自动生成一个工单。之后系统就会根据一些规则将工单分派给不同的客服专员处理。

    这个系统是支持多租户的,每个租户使用自己的数据库(MySQL)。

    这家媒体集团客户两年多产生了近2000万的工单,工单的操作记录近1亿。

    平时客服在工单页面操作时,打开或者刷新工单列表需要10秒钟左右。

    该客户当时做了一个业务上的变更,增加了几个客服邮箱,然后把原来不进入邮件客服系统的一些客户邮件的接收人改为这几个新增加的客服邮箱,并接入这个系统。

    发生这个业务变更以后,工单数量急剧增长,工单列表打开的速度越来越慢,后来客服的负责人发了封邮件,言辞急切,要求尽快改善性能。

    项目组收到邮件后,详细分析了一下当时的数据状况,情况如下。

    1)工单表已经达到3000万条数据。

    2)工单表的处理记录表达到1.5亿条数据。

    3)工单表每日以10万的数据量在增长。

    当时系统性能已经严重影响了客服的处理效率,需要

  • 相关阅读:
    vue element编辑功能
    Spring Boot中使用Swagger3.0.0版本构建RESTful APIs
    计算摄影——妆造迁移
    01-10 周二 PyCharm远程Linux服务器配置进行端点调试
    C++ 内联和嵌套命名空间
    【无线图传】基于FPGA的简易无线图像传输系统verilog开发,matlab辅助验证
    Hadoop:yarn资源配置
    Linux学习笔记——FTP服务器的使用
    empty、arange、linspace、rand/randn、normal/uniform_、randperm、加减乘除幂对数、取整/余、比较运算
    【云原生 | 32】Docker运行数据采集和分析引擎Elasticsearch
  • 原文地址:https://blog.csdn.net/lt_xiaodou/article/details/126784272
  • 最新文章
  • 沪漂五周年了:我越来越迷茫了
    Agentic Skill Routing 实战:别再把所有 Skill 塞进 AI Agent 上下文
    MySQL-Seconds_behind_master的精度误差
    [MAF预定义ChatClient中间件-03]CachingChatClient——利用缓存省钱省时间
    AI的至暗历史:从万众期待到被政府撤资,AI的两次死亡徘徊
    Agent OS :五种驯服不确定性的范式
    PortSwigger SQL注入LAB11
    数据库即时编译JIT
    [Begin]AI Learn Data Day 0
    深度学习进阶(二十七)现代 LLM 的核心架构设计其二:SwiGLU
  • 热门文章
  • 十款代码表白小特效 一个比一个浪漫 赶紧收藏起来吧!!!
    奉劝各位学弟学妹们,该打造你的技术影响力了!
    五年了,我在 CSDN 的两个一百万。
    Java俄罗斯方块,老程序员花了一个周末,连接中学年代!
    面试官都震惊,你这网络基础可以啊!
    你真的会用百度吗?我不信 — 那些不为人知的搜索引擎语法
    心情不好的时候,用 Python 画棵樱花树送给自己吧
    通宵一晚做出来的一款类似CS的第一人称射击游戏Demo!原来做游戏也不是很难,连憨憨学妹都学会了!
    13 万字 C 语言从入门到精通保姆级教程2021 年版
    10行代码集2000张美女图,Python爬虫120例,再上征途
小工具 小游戏
Copyright © 2022 侵权请联系2656653265@qq.com    京ICP备2022015340号-1

京公网安备 11010502049817号