几乎每个项目有大量导出数据的需求,一口气全部导出消耗服务器资源,甚至可以导致服务器崩溃.
摘要
每个项目架构都不一样,有的一抹(ma)胡,一个服务器什么都装mysql, redis, memcached,这样很省钱但是横向扩展的时候就很头疼.有的分布式部署,包括redis, mysql都是集群方式,比如reids有很多集群节点,mysql集群读写分离,都可以根据自己需求横向扩展.
CSV导出大量数据限制瓶颈有很多,比如项目架构,服务器配置,mysql配置,代码质量,sql语句等等.一抹(ma)胡式部署,本文可能改善不是很大,毕竟mysql还是要占用服务器资源,大家可以相互学习,共通进步.
代码部分
| /** | |
| * @description导出CSV文件 | |
| * @return | |
| */ | |
| public function exportCsv() | |
| { | |
| /** | |
| * 第一步打开一个文件下载流 | |
| * 这一步很重要,很多人都不知道这样 | |
| */ | |
| $strFileName = date('Ymd');// 文件名 可以随意ob_clean();//清理缓冲区 避免开头出现空行 | |
| $fp = fopen('php://output', 'a'); //打开output流header('X-Accel-Buffering: no'); //直接下载文件,这行可以不配置,会默认为4096k才会下载,header('Content-Type: application/octet-stream');header($this->changeFileNameWithAgent($strFileName)); //设置头部文件名 解决非英文乱码(中文/日文测试都可以)header("Content-type:text/csv;"); | |
| /** | |
| * 第二步导出数据,很简单也很重要 | |
| * 代码很简单,第一反应 就这~~~~ | |
| * 实际写错很容易服务器崩溃 | |
| */// 输出第一行标题 (根据实际情况,可有可无) | |
| $arrayHeader = ["标题1", "标题2", "标题3", "标题4", "标题5"]; | |
| // 转义为预定字符集, 根据需求转字符集(不需要转化可以忽略该行代码),// 将内部字符集转为SJIS-win,一般项目为UTF-8字符集// mb_internal_encoding() 设置或获取内部字符集,有兴趣的同学可以去看看mb_convert_variables('SJIS-win', mb_internal_encoding(), $arrayHeader);fputcsv($fp, $arrayHeader, ","); | |
| //初始化必要参数 | |
| $intOffset = 0; // mysql中offset参数 | |
| $intPageSize = 20; // 查询条数 根据实际情况更换 | |
| $blnFinishedFlg = false;do {// 根据 $intOffset $intPageSize查询数据库,少量多次查询 | |
| $arrayData = [['内容1-1', '内容1-2', '内容1-3', '内容1-4', ...],['内容2-1', '内容2-2', '内容2-3', '内容2-4', ...],['内容3-1', '内容3-2', '内容3-3', '内容3-4', ...],...];// 输出到csv文件foreach($arrayData as $item) {mb_convert_variables('SJIS-win', mb_internal_encoding(), $item);fputcsv($fp, $item, ",");ob_flush();flush();}if ($intPageSize === count($arrayData)) {// 获取到的结果数量等于查询条数，认为未取完数据继续查询, 修改offset值 | |
| $intOffset = $intOffset + $intPageSize; | |
| $blnFinishedFlg = false;} else {//小于查询条数，数据已取完 | |
| $blnFinishedFlg = true;}} while (false === $blnFinishedFlg); | |
| /** | |
| * 第三步关闭文件流 | |
| */ob_end_flush();fclose($fp); | |
| } | |
| /** | |
| * @description 对应不同浏览器、输出汉字名出问题的Bug | |
| * 由于IE Edge 包含Chrome等信息、所以只能第一个判断 | |
| * @param string $strFileName 文件名 | |
| * @return string Head信息 | |
| */ | |
| private function changeFileNameWithAgent($strFileName) | |
| { | |
| $filename = preg_replace('/[\?\*\|\\/\:"><]/', '', $strFileName); | |
| $agent = $_SERVER['HTTP_USER_AGENT']; | |
| $strHeader = '';if (strpos($agent, "Edge")) { | |
| $filename = urlencode($filename); | |
| $filename = str_replace("+", "%20", $filename); | |
| $strHeader = "Content-Disposition: attachment; filename=" . $filename;} else if (strpos($agent, "Firefox")) { | |
| $filename = urlencode($filename); | |
| $filename = str_replace("+", "%20", $filename); | |
| $strHeader = 'Content-Disposition: attachment; filename*="utf8\'\'' . $filename . '"';} else if (strpos($agent, "Chrome")) { | |
| $strHeader = "Content-Disposition: attachment; filename=" . $filename;} else if (strpos($agent, "Safari")) { | |
| $strHeader = 'Content-Disposition: attachment;filename*=UTF-8\'\'' . rawurlencode($filename);} else { | |
| $filename = urlencode($filename); | |
| $filename = str_replace("+", "%20", $filename); | |
| $strHeader = "Content-Disposition: attachment; filename=" . $filename;}return $strHeader; | |
| } |
拓展
拿着导出的csv文件,这个时候有的人就要问了,为什么我用excel打开乱七八糟.
如果是开发人员问,wo giao!!,新员工可以理解,老员工可以劝退了.其实我也不知道为什么会乱码,可能跟那些奇怪的字符集有关系.作为一个正常的开发人员会用notepad++等编辑器打开,查看有没有问题.一般不会有问题,如果这个有乱码问题就需要修改字符集了.
但是有的人就开始犟嘴了,那客户不懂代码啊,我又不能要求人家安装编辑器呀!wo giao,内部出现奸细了.这种奸细行为的需求,你就可以理直气壮的告诉他,满足不了,因为你的字符集决定了他永远都有可能乱码,用UTF-8字符集,才有可能不乱码.除非导出包含bom的UTF-8格式,用excel打开不会乱码.
| // BOM header UTF-8 | |
| // 加在第一步后面 | |
| echo pack('C*',0xEF,0xBB,0xBF); | |
| // 更换这个为UTF-8, 如果是uft8字符集可以删除这两行代码 | |
| mb_convert_variables('UTF-8', mb_internal_encoding(), $arrayHeader); |