PHP使用PDO从mysql读取大量数据处理详解

这篇文章主要给大家介绍了关于PHP使用PDO从mysql读取大量数据处理的相关资料,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧

前言

本文主要介绍了关于PHP利用PDO从mysql读取大量数据处理的相关内容,分享出来供大家参考学习,下面话不多说了,来一起看看详细的介绍吧。

环境

  • mysql: 5.6.34
  • php: 5.6
  • nginx: php-fpm

适用场景

需要处理一定数据集业务

  • 从mysql读取一定数据的业务导出
  • 一次需要处理一定的mysql业务操作更新删除等
  • 更多需要处理一定数据集的操作

pdo 关键设置

 $dbh = new \PDO($dsn, $user, $pass); # 关键设置,如果不设置,php依旧会从pdo一次取出数据到php $dbh->setAttribute(\PDO::MYSQL_ATTR_USE_BUFFERED_QUERY, false); //perpare里的游标属性不是必须的 $sth = $dbh->prepare("SELECT * FROM `order`", array(\PDO::ATTR_CURSOR => \PDO::CURSOR_SCROLL)); $sth->execute();

生成器

生成器,迭代数据操作

本生成器可省略

尝试代码

 class Test { public function test() { set_time_limit(0); $dbms='mysql';  //数据库类型 $host=C('DB_HOST'); //数据库主机名 $dbName=C('DB_NAME'); //使用的数据库 $user=C('DB_USER');  //数据库连接用户名 $pass=C('DB_PWD');   //对应的密码 $dsn="$dbms:host=$host;dbname=$dbName"; $dbh = new \PDO($dsn, $user, $pass); $dbh->setAttribute(\PDO::MYSQL_ATTR_USE_BUFFERED_QUERY, false); $sth = $dbh->prepare("SELECT * FROM `order`"); $sth->execute(); $i = 0; $newLine = PHP_SAPI == 'cli' ? "\n" : '
'; foreach ($this->cursor($sth) as $row) { // var_dump($row); echo $row['id'] . $newLine; $i++; } echo "消耗内存:" . (memory_get_usage() / 1024 / 1024) . "M" . $newLine; echo "处理数据行数:" . $i . $newLine; echo "success"; } public function cursor($sth) { while($row = $sth->fetch(\PDO::FETCH_ASSOC)) { yield $row; } } } $test = new Test(); $test->test();

输出

 1 ... //省略部分id 804288 消耗内存:"0.34918212890625M 处理数据行数:254062 success

总结

以上就是PHP使用PDO从mysql读取大量数据处理详解的详细内容,更多请关注0133技术站其它相关文章!

赞(0) 打赏
未经允许不得转载:0133技术站首页 » PHP编程