• 运维排查-使用hcache插件排查Buffer/cache占用过高


    一 hcache插件

    1.1 hcache插件的作用

    hcache是基于pcstat的,pcstat可以查看某个文件是否被缓存和根据进程pid来查看都缓存了哪些文件。hcache在其基础上增加了查看整个操作系统Cache和根据使用Cache大小排序的特性。

    1.2 buffer和cache产生的原因 

    1.当你的服务进程在对文件进行读写的时候,Linux内核为了提高服务的读写速度,则将会把文件放在此处的 buffer/cache 中进行缓存使用,由于 Linux服务的特点便是任何事物都会以文件的形式进行存在,所以你会发现不管你是否对文件做了大规模的读写,机器的 buffer/cache 是一直都存在的,并且持续的增高不下,这是因为服务器所产生的网络连接也好,用户协议的(UDP)套接字也好,这部分的数据系统都会为应用程序创建对应的文件描述符,而这些文件描述符的使用,则又都会重新进入 buffer/cache 中做读写使用,所以这也是你的机器始终都会存在较高 buffer/cache 的原因。

    2. 在服务内存够用的情况下,Linux内核为了加快对文件的读写效率会将文件放入buffer/cache 中 以保证读写效率但其实,尽管当你的应用程序对文件的读写运行结束后,buffer/cache 也不会自动释放该部分内存,而是作为缓冲进行保留,等到你的服务进程在下一次进行相同文件的读写时就可以直接使用,省去了各种重新进行内存初始化的操作;所以这将会导致,当你的应用进程频繁对不同的文件进行读写时,你会发现服务所可以直接使用的free内存将会越来越少的一个重要原因;难道 buffer/cache 在这样无休止的缓存当中就不会自动释放?当然不是,当服务器在内存压力较大的情况下时,则将会自动进行内存的回收,作为free空间分给其它进程使用,这其中主要回收的一个内存,则是 buffer/cache 的缓冲区内存块;

    1.3 手动回收机制

    除了在系统进程内存使用较大压力的情况下进行内存的回收外,我们也可以进行手动buffer/cache回收,但由于buffer/cache主要是用于文件的读写使用,所以进行文件回收时,一般常伴随系统的IO彪高,因为系统内核也对比cache中的数据与硬盘中的数据是否一致,如果不一致需要写会,然后才能进行内存的回收;

  • 相关阅读:
    终于还是熬不住了,转行了,分享一波刚学到的知识吧,字符串的自带函数.py
    Java中 ==、equals() 、equalsIgnoreCase() 和compareTo() 方法对比详解
    C++第二课(数据类型)
    理解『注意力机制』的本质
    新手入门期货需要懂哪些道理(新手入门期货需要懂哪些道理知识)
    Win11搭建 Elasticsearch 7 集群(一)
    【Rust 日报】2022-09-30 Cranelift 已经 merge 了 RISCV 后端
    【mia】rtc_Push和player拉取
    idea常用插件笔记
    正规文法、正规式、确定的有穷自动机DFA、不确定的有穷自动机NFA 的概念、区分以及等价性转换【我直接拿下!】
  • 原文地址:https://blog.csdn.net/u011066470/article/details/125510817