• Ngxin--源码分析 缓冲区链表


    1.基本数据结构

    在处理 TCP/HTTP 请求时会经常创建多个缓冲区来存放数据, Nginx缓冲区块简单地组织一个单向链表
    1. struct ngx_chain_s {
    2. ngx_buf_t *buf;
    3. ngx_chain_t *next;
    4. };

    buf:         缓冲区指针

    next         下一个链表节点

    注意:

    • ngx_chain_t是用来管理ngx_buf_t;
    • 内存池的pool->chain就是保存空闲的缓冲区链表的;
    • 通过链表的方式实现buf有一个非常大的好处:如果一次需要缓冲区的内存很大,那么并不需要分配一块完整的内存,只需要将缓冲区串起来就可以

    2.操作函数

    释放

    必须有一种结构来管理缓冲区(最好是链表),不然无法回收
    内存池上的chain字段 ,被清空的ngx_chain_t结构都会放在pool->chain缓冲链上

    1. ngx_chain_t *ngx_alloc_chain_link(ngx_pool_t *pool)
    2. {
    3. {
    4. ngx_chain_t *cl;
    5. cl = pool->chain;
    6. if (cl) {
    7. pool->chain = cl->next;
    8. return cl;
    9. }
    10. cl = ngx_palloc(pool, sizeof(ngx_chain_t));
    11. if (cl == NULL) {
    12. return NULL;
    13. }
    14. return c
    15. }

    ngx_free_chain()用来从内存池里获取释放ngx_chain_t对象,声明是:

    1. #define ngx_free_chain(pool, cl) \
    2. cl->next = pool->chain; \
    3. pool->chain = cl

    创建多个缓冲区

    由于ngx_chain_t在 Nginx里应用得很频繁,所以Nginx对此进行了优化。在内存池里保存了一个空闲ngx_chain_t链表,分配时从这个链表里摘取,释放时再挂上去。
    1. typedef struct {
    2. ngx_int_t num;
    3. size_t size;
    4. } ngx_bufs_t

    1.节点数量

    2.缓冲区的大小

    1. // 创建多个buf
    2. /*
    3. typedef struct {
    4. ngx_int_t num;
    5. size_t size;
    6. } ngx_bufs_t;
    7. */
    8. ngx_chain_t *
    9. ngx_create_chain_of_bufs(ngx_pool_t *pool, ngx_bufs_t *bufs)
    10. {
    11. u_char *p;
    12. ngx_int_t i;
    13. ngx_buf_t *b;
    14. ngx_chain_t *chain, *cl, **ll;
    15. // @param2 分配大小 = num * size
    16. p = ngx_palloc(pool, bufs->num * bufs->size);
    17. if (p == NULL) {
    18. return NULL;
    19. }
    20. ll = &chain;
    21. for (i = 0; i < bufs->num; i++) {
    22. b = ngx_calloc_buf(pool);
    23. if (b == NULL) {
    24. return NULL;
    25. }
    26. /*
    27. * set by ngx_calloc_buf():
    28. *
    29. * b->file_pos = 0;
    30. * b->file_last = 0;
    31. * b->file = NULL;
    32. * b->shadow = NULL;
    33. * b->tag = 0;
    34. * and flags
    35. *
    36. */
    37. b->pos = p;
    38. b->last = p;
    39. b->temporary = 1;
    40. b->start = p;
    41. p += bufs->size;
    42. b->end = p;
    43. cl = ngx_alloc_chain_link(pool); // 创建链表结构
    44. if (cl == NULL) {
    45. return NULL;
    46. }
    47. cl->buf = b;
    48. // 尾插法
    49. // ll记录前一次循环的&cl->next
    50. // 下一次循环 *ll = cl 将 &cl->next 上的值改为 cl
    51. // 这样就将上一次循环的next指向当前循环的cl
    52. *ll = cl;
    53. ll = &cl->next;
    54. }
    55. *ll = NULL;
    56. return chain;
    57. }

    编程技巧:尾插法(实现 cl=cl->next)

    这里重点说下代码后部分的尾插法
    ll是二级指针
    ll记录前一次循环的&cl->next (记录了这次循环的cl的next的地址)
    下一次循环 *ll = cl 将 &cl->next 上的值改为 cl (改变了上一次循环的cl的next的地址上的值,也就是改变了上一次循环cl的next的值,就是改变了上一次循环的next,让其指向当前的cl)
    这样就将上一次循环的next指向当前循环的cl

    将其他缓冲区链表放到已有缓冲区链表的尾部

    ngx_int_t ngx_chain_add_copy(ngx_pool_t *pool, ngx_chain_t **chain,
        ngx_chain_t *in);

    chain->in

    1. ngx_int_t
    2. ngx_chain_add_copy(ngx_pool_t *pool, ngx_chain_t **chain, ngx_chain_t *in)
    3. {
    4. ngx_chain_t *cl, **ll;
    5. ll = chain;
    6. for (cl = *chain; cl; cl = cl->next) {
    7. ll = &cl->next; // 拿到*chain链表最后一个节点的地址
    8. }
    9. while (in) {
    10. cl = ngx_alloc_chain_link(pool);
    11. if (cl == NULL) {
    12. *ll = NULL;
    13. return NGX_ERROR;
    14. }
    15. cl->buf = in->buf;
    16. *ll = cl;
    17. ll = &cl->next;
    18. in = in->next;
    19. }
    20. *ll = NULL;
    21. return NGX_OK;


    获取一个空闲buf

    1. 获取一个空闲buf
    2. ngx_chain_t *
    3. ngx_chain_get_free_buf(ngx_pool_t *p, ngx_chain_t **free)
    4. {
    5. ngx_chain_t *cl;
    6. if (*free) {
    7. cl = *free;
    8. *free = cl->next;
    9. cl->next = NULL;
    10. return cl;
    11. }
    12. cl = ngx_alloc_chain_link(p);
    13. if (cl == NULL) {
    14. return NULL;
    15. }
    16. cl->buf = ngx_calloc_buf(p);
    17. if (cl->buf == NULL) {
    18. return NULL;
    19. }
    20. cl->next = NULL;
    21. return cl;

    释放缓冲区链表

    释放掉的cl归还到 pool->chain 上

    1. /*
    2. #define ngx_free_chain(pool, cl) \
    3. cl->next = pool->chain; \
    4. pool->chain = cl
    5. */
    6. // 释放缓冲区链表
    7. void
    8. ngx_chain_update_chains(ngx_pool_t *p, ngx_chain_t **free, ngx_chain_t **busy,
    9. ngx_chain_t **out, ngx_buf_tag_t tag) // free 空闲的 busy 忙碌的 out 待处理的
    10. {
    11. ngx_chain_t *cl;
    12. // 判断out应该放到什么位置
    13. // 如果busy == NULL 则*busy = *out
    14. // 否则将*out放到*busy的末尾
    15. if (*out) {
    16. if (*busy == NULL) {
    17. *busy = *out;
    18. } else {
    19. for (cl = *busy; cl->next; cl = cl->next) { /* void */ }
    20. cl->next = *out;
    21. }
    22. *out = NULL;
    23. }
    24. // 检查busy
    25. // 如果busy中的buf还存在需要处理的内存空间,则停止处理
    26. // 否则将buf置空(处理pos last)
    27. while (*busy) {
    28. cl = *busy;
    29. if (ngx_buf_size(cl->buf) != 0) {
    30. break;
    31. }
    32. if (cl->buf->tag != tag) {
    33. *busy = cl->next;
    34. ngx_free_chain(p, cl);
    35. continue;
    36. }
    37. cl->buf->pos = cl->buf->start;
    38. cl->buf->last = cl->buf->start;
    39. *busy = cl->next;
    40. cl->next = *free;
    41. *free = cl;
    42. }
    43. }

  • 相关阅读:
    【力扣周赛】来自VIP的原题压制:2406.将区间分为最少组数,内含福利!
    自动驾驶——仿真的几大挑战
    pytorch与cudatoolkit,cudnn对应关系及安装相应的版本
    ABAP:EXCEL导入导出等功能
    OVS 和 OVS-DPDK 对比
    【云原生之Docker实战】使用Docker部署ROS软路由系统
    VScode为什么选择了Electron,而不是QT?
    C语言中,如何判断两个数组是否包含相同元素?
    js 正则匹配连续的字符,一般用于密码输入框(禁止输入连续的字母或者数字等)
    LeetCode-215. 数组中的第K个最大元素-Java-medium
  • 原文地址:https://blog.csdn.net/qq_62309585/article/details/128062083