• PDO::fetchAll 与 PDO::fetch 循环


    只是一个快速的问题。

    在循环中使用 PDO::fetchAll() 和 PDO::fetch() 之间是否存在性能差异(对于大型结果集)?

    我正在获取用户定义类的对象,如果这有什么不同的话。

    我最初未受过教育的假设是 fetchAll 可能更快,因为 PDO 可以在一个语句中执行多个操作,而 mysql_query 只能执行一个。但是,我对 PDO 的内部工作原理知之甚少,文档也没有说明这一点,以及 fetchAll() 是否只是转储到数组中的 PHP 端循环。

    有什么帮助吗?

    带有 200k 随机记录的小基准测试。正如预期的那样,fetchAll 方法更快,但需要更多内存。

    1. Result :
    2. fetchAll : 0.35965991020203s, 100249408b
    3. fetch : 0.39197015762329s, 440b

    使用的基准代码:

    1. <?php
    2. // First benchmark : speed
    3. $dbh = new PDO('mysql:dbname=testage;dbhost=localhost', 'root', '');
    4. $dbh->setAttribute(PDO::ATTR_ERRMODE, PDO::ERRMODE_EXCEPTION);
    5. $sql = 'SELECT * FROM test_table WHERE 1';
    6. $stmt = $dbh->query($sql);
    7. $data = array();
    8. $start_all = microtime(true);
    9. $data = $stmt->fetchAll();
    10. $end_all = microtime(true);
    11. $stmt = $dbh->query($sql);
    12. $data = array();
    13. $start_one = microtime(true);
    14. while($data = $stmt->fetch()){}
    15. $end_one = microtime(true);
    16. // Second benchmark : memory usage
    17. $stmt = $dbh->query($sql);
    18. $data = array();
    19. $memory_start_all = memory_get_usage();
    20. $data = $stmt->fetchAll();
    21. $memory_end_all = memory_get_usage();
    22. $stmt = $dbh->query($sql);
    23. $data = array();
    24. $memory_end_one = 0;
    25. $memory_start_one = memory_get_usage();
    26. while($data = $stmt->fetch()){
    27. $memory_end_one = max($memory_end_one, memory_get_usage());
    28. }
    29. echo 'Result :
    30. fetchAll : ' . ($end_all - $start_all) . 's, ' . ($memory_end_all - $memory_start_all) . 'b
    31. fetch : ' . ($end_one - $start_one) . 's, ' . ($memory_end_one - $memory_start_one) . 'b
      '
      ;

    我发现几乎总是正确的关于 PHP 的一件事是,您自己实现的函数几乎总是比 PHP 等效的要慢。这是因为当用 PHP 实现某些东西时,它没有 C 所具有的所有编译时优化(PHP 是用它编写的),并且 PHP 函数调用的开销很高。

    @Arkh

    1. // $data in this case is an array of rows;
    2. $data = $stmt->fetchAll();
    3. // $data in this case is just one row after each loop;
    4. while($data = $stmt->fetch()){}
    5. // Try using
    6. $i = 0;
    7. while($data[$i++] = $stmt->fetch()){}

    内存差异应该可以忽略不计

    出于非常简单的原因,所有测量“内存占用”的基准实际上都是不正确的。

    默认情况下,PDO 确实会将所有内容加载到内存中,并且它不关心您是否使用 fetch 或 fetchAll。要真正获得无缓冲查询的好处,您应该指示 PDO 使用无缓冲查询:

    $db->setAttribute(PDO::MYSQL_ATTR_USE_BUFFERED_QUERY, false);

    在这种情况下,您会看到脚本的内存占用有巨大差异

    正如 Mihai Stancu 所说,尽管 fetchAll 胜过 fetch + while,但几乎没有内存差异。

    1. Result :
    2. fetchAll : 0.160676956177s, 118539304b
    3. fetch : 0.121752023697s, 118544392b

    我在正确运行时得到了上面的结果:

    1. $i = 0;
    2. while($data[$i++] = $stmt->fetch()){
    3. //
    4. }

    所以 fetchAll 消耗的内存更少,但是 fetch + while 更快!:)

    但是,如果您将获取的数据存储在一个数组中,那么内存使用量肯定是相等的吗?

    1. <?php
    2. define('DB_HOST', 'localhost');
    3. define('DB_USER', 'root');
    4. define('DB_PASS', '');
    5. // database to use
    6. define('DB', 'test');
    7. try
    8. {
    9. $dbh = new \PDO('mysql:dbname='. DB .';host='. DB_HOST, DB_USER, DB_PASS); $dbh->setAttribute(PDO::ATTR_ERRMODE, PDO::ERRMODE_EXCEPTION);
    10. $sql = 'SELECT * FROM users WHERE 1';
    11. $stmt = $dbh->query($sql);
    12. $data = array();
    13. $start_all = microtime(true);
    14. $data = $stmt->fetchAll();
    15. $end_all = microtime(true);
    16. $stmt = $dbh->query($sql);
    17. $data = array();
    18. $start_one = microtime(true);
    19. while($data = $stmt->fetch()){}
    20. $end_one = microtime(true);
    21. // Second benchmark : memory usage
    22. $stmt = $dbh->query($sql);
    23. $data = array();
    24. $memory_start_all = memory_get_usage();
    25. $data = $stmt->fetchAll();
    26. $memory_end_all = memory_get_usage();
    27. $stmt = $dbh->query($sql);
    28. $data = array();
    29. $memory_end_one = 0;
    30. $memory_start_one = memory_get_usage();
    31. while($data[] = $stmt->fetch()){
    32. $memory_end_one = max($memory_end_one, memory_get_usage());
    33. }
    34. echo 'Result :
    35. fetchAll : ' . ($end_all - $start_all) . 's, ' . ($memory_end_all - $memory_start_all) . 'b
    36. fetch : ' . ($end_one - $start_one) . 's, ' . ($memory_end_one - $memory_start_one) . 'b
      '
      ;
    37. }
    38. catch ( PDOException $e )
    39. {
    40. echo $e->getMessage();
    41. }
    42. ?>
    43. Result :
    44. fetchAll : 2.6941299438477E-5s, 9824b
    45. fetch : 1.5974044799805E-5s, 9824b

    我知道这是一个老话题,但我遇到了同样的问题。在运行了我自己的简单“基准”并阅读了其他人在这里写的内容后,我得出的结论是,这不是一门精确的科学,虽然人们应该努力编写高质量、轻量级的代码,但一开始就浪费太多时间是没有意义的的项目。

    我的建议是:通过运行代码(测试版?)一段时间来收集数据,然后开始优化。

    在我的简单基准测试(仅测试执行时间)中,我得到的结果在 5% 和 50% 之间变化。我在同一个脚本中运行这两个选项,但是当我首先运行 fetch + 时,它比 fetchall 更快,反之亦然。(我知道我应该单独运行它们,然后几百次得到中位数和平均值,然后进行比较,但是 - 正如我在开始时所说的 - 我得出结论,就我而言,现在开始这样做还为时过早。)

  • 相关阅读:
    6134. 找到离给定两个节点最近的节点-力扣双百代码
    jsDate总的毫秒数(时间戳)
    Linux之进程管理
    Windows WSL Ubuntu Android 编译
    bugkuctf——baby_flag.txt——Misc
    Golang log包的源码分析
    【Prometheus】k8s集群部署node-exporter
    自动化测试真的有被需要吗?
    【龙芯1B】:74HC595数码管或74HC138数码管程序开发
    内存取证系列2
  • 原文地址:https://blog.csdn.net/allway2/article/details/126885356