flask与fastapi性能测试

flask与fastapi性能测试

背景

sy项目通过MQ接受业务系统的业务数据，通过运行开发者开发的python脚本执行业务系统与财务系统数据的一致性校验。
sy系统需要每天运行大量的python脚本。目前使用falsk日运行6W+次python脚本，由于性能存在瓶颈，需要引入
新的fastapi框架，来解决cpu、内存性能压榨不够及目前的性能瓶颈。本文目标给出两者的性能测试报告。
给出选择哪个框架的性能数据支撑。

apache ab介绍

apache ab性能测试

安装

    yum -y install httpd-tools
1

部分参数说明

-n  执行的请求总数

-c 并发数, 同时执行的数量, c不能大于n
-p post请求指定的文件
-T header Content-type值，默认为 'text/plain'

1
2
3
4
5
6

测试get请求

ab -c 10  http://127.0.0.1:8081/cppla
1

测试post请求

ab -n 100 -c 10 -T 'application/json' -p httpjson.txt  http://127.0.0.1:8081/cppla1  

// httpjson.txt的内容
{"recordId": 123}
1
2
3
4

测试计划

模拟真实每次请求调用脚本，分别对每一个数量级的请求量进行测试。

测试代码

处理post请求，延时3s返回结果。flask启动20个进程。fastapi启动一个进程。

## flask 代码
# coding: utf-8
from gevent import monkey
from gevent.pywsgi import WSGIServer
import requests

import datetime
import os
from multiprocessing import cpu_count, Process
from flask import Flask, jsonify,request
import json
import traceback

import importlib
from loguru import logger
import time


app = Flask(__name__)

# 执行run方法
@app.route("/cppla1", methods=['POST', 'GET'])
def cppla1():
    data = request.json
    time.sleep(3)
    return data
# 启动监听ip、端口
def run(MULTI_PROCESS):
    if MULTI_PROCESS == False:
        WSGIServer(('0.0.0.0', 8081), app).serve_forever()
    else:
        mulserver = WSGIServer(('0.0.0.0', 8081), app)
        mulserver.start()

        def server_forever():
            mulserver.start_accepting()
            mulserver._stop_event.wait()


       # for i in range(cpu_count()):
        for i in range(20):
            logger.info('启动进程第几个:{}', i)
            p = Process(target=server_forever)
            p.start()

if __name__ == "__main__":
    # 单进程 + 协程
    # run(False)
    # 多进程 + 协程
    log_init()
    run(True)

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52

## fastapi
# coding: utf-8

# https://www.javazhiyin.com/80750.html
# import web framework
from fastapi import FastAPI
from fastapi.encoders import jsonable_encoder
from fastapi.responses import JSONResponse


# import base lib
import datetime
import os
import requests
import json
import traceback
import importlib
from loguru import logger
import time

app = FastAPI()

@app.post("/cppla1")
def function_benchmark(data:dict):
    time.sleep(3)
    return {"item": data}

# 启动监听ip、端口
if __name__ == "__main__":
    import uvicorn
    uvicorn.run(app, host="0.0.0.0", port=8081)

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32

测试结果

结论

fastapi是flask性能的3倍，推荐使用fastap。