记一次 tp5 操作50w 数据的项目（tp5真心很乏力）

分手后的思念是犯贱 2023-06-04 08:54 10阅读 0赞

A：需求

1、从excel把数据导入mysql

2、简单数据清洗

3、数据查询优化

B：解决方案

1、excel的数据量比较大（60w），先把excel转成csv文件（手动操作），然后使用SpreadsheetReader（github）把数据写入txt（因为有些数据需要处理），使用mysql的load data local infile 把数据导入mysql。

tp的一些配置和mysql配置

tp5配置
    'break_reconnect' => true,//断线重连
        'params'         => [
            PDO::ATTR_CASE              => PDO::CASE_LOWER,
            PDO::ATTR_EMULATE_PREPARES  => true,//预处理
            PDO::MYSQL_ATTR_LOCAL_INFILE => true, //可以使用文件导入
        ]
    相关代码：
     $sql = "load data local infile '路径' ignore into table 表名 character set gbk fields terminated by '_' lines terminated by '|'(`列名`);";
     Db::execute($sql);
    
    mysql 配置

local-infile=1 \#打开使用文件导入  
secure\_file\_priv = /www/www \#路径

2、简单数据清洗

INSERT INTO 表名(`列名`) SELECT `列名` from 表名；//使用最多
    UPDATE 表名 a,表名 b set a.a=b.a,a.b=a.b+b.b WHERE a.`code`=b.`code` and a.lb=lb;//使用第二多

3、使用tp5自带的left join 2w数据的两张表，查询速度会很慢，可以自己去修改对应代码，或者使用in来转化；用in就使用到索引比left join快很多。laravel框架不会有这个问题。

使用paginate() 里面会自动去获取count，数据多了，也会很慢，直接使用tp5里面的简单查询即可`paginate(10,true)`。

转载于:https://www.cnblogs.com/JANCHAN/p/11195623.html

发表评论取消回复

表情：

评论列表（有 0 条评论，10人围观）

还没有评论，来说两句吧...

相关阅读

相关 TP5+PHPExcel数据导出

一、Excel的数据导出主要分为三步操作： 1. 页面的请求，触发导出方法； 2. TP5成功引入扩展PHPExcel; 3. 程序制作Excel表格样式，写入数据导出

ゝ一纸荒年。/ 2023年06月28日 04:57/ 0 赞/ 270 阅读

相关记一次 tp5 操作50w 数据的项目（tp5真心很乏力）

A：需求 1、从excel把数据导入mysql 2、简单数据清洗 3、数据查询优化 B：解决方案 1、excel的数据量比较大（60w），先把excel转成csv文件

分手后的思念是犯贱/ 2023年06月04日 08:54/ 0 赞/ 10 阅读

相关记一次tp5.0.9RCE

目标 ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNz

ゝ一世哀愁。/ 2022年12月09日 03:10/ 0 赞/ 176 阅读

相关记一次tp5.0.11rce

今天很有感触，我决定从今天开始记录我在ax的点点滴滴，自己的学长都是一步一个脚印走出来，加油，阿鑫。首先进入网站，xxxx/ 随便输入xxx/admin 然后报错 ![

你的名字/ 2022年11月30日 01:35/ 0 赞/ 222 阅读

相关 tp5插入数据的方法

今天小编跟大家分享一下tp5插入数据的几种语法及区别； insert 是插入,返回插入的条数：一般用于多条插入 insertGetId : 是插入返回id：一般用于插入

淡淡的烟草味﹌/ 2022年11月16日 05:50/ 0 赞/ 330 阅读

相关指标数据TP50、TP90、TP99、TP999

概念：TP指标: 指在一个时间段内，统计该方法每次调用所消耗的时间，并将这些时间按从小到大的顺序进行排序,并取出结果为：总次数 \ 指标数 = 对应TP指标的值，在取出排序好

男娘i/ 2022年11月06日 07:00/ 0 赞/ 276 阅读

相关 tp5笔记

设置根目录为public时访问路径要加上index.php. 首页设置为public/index.php 创建控制器 1、打开终端； 2、输入：php think

梦里梦外;/ 2022年11月04日 00:52/ 0 赞/ 204 阅读

相关 tp5数据输出

tp5数据导出直接在控制器中进行方法调用，下载即可 <?php namespace app\index\controller; use thin

古城微笑少年丶/ 2022年10月22日 10:50/ 0 赞/ 235 阅读

相关 TP5 安装

一、官方手册： [https://www.kancloud.cn/manual/thinkphp5/118003][https_www.kancloud.cn_manual

叁歲伎倆/ 2022年05月19日 13:13/ 0 赞/ 316 阅读

相关 TP5 数据查询

//某个值是否在某个数组内查询 where('id','in', $ids) $ids = '1,2,3,4,5'; $list= Db::name('

港控/mmm°/ 2021年08月29日 02:48/ 0 赞/ 651 阅读