php使用mysql分批大量插入数据

╰半橙微兮° 2022-10-28 11:28 215阅读 0赞

### 之前由于误删数据,需要恢复,但是不能影响线上服务: ###

public function insertData()
    { 
        $number = 11020095;
        $interval = 500000;
        $file_name = ' /tmp/table_name_12220095.sql';
        for ($i = 1; $i < 100; $i++) { 
            $samll = $number - $interval * $i;
            if ($samll > 0) { 
                $big = $samll + $interval;
                echo sprintf('mysqldump -h db_host -u db_user -p db_password table_name --where="id>=%s and id<%s" >%s', $samll, $big, $file_name) . PHP_EOL;
                sleep(1);
            }
        }
    }

### 批量检查遗漏的ID: ###

public function checkNotExist()
    { 
        // 每次调用之前清空之前的数据
        file_put_contents(LOG_ROOT . '/Log/not_exist.txt', '');
        $number = 12270095;
        $intrval = 10000;
        for ($i = 0; $i < $number; $i++) { 
            $small = $i * $intrval;
            $big = $small + $intrval - 1;
            $arr = range($small, $big);
            if ($big > $number) { 
                return $this->writeJson(sprintf('已完成,大值%s,小值%s', $big, $small));
            }
            $ids = XxModel::create()->where('id', [$small, $big], 'between')->column('id');
            $str = '';
            if (empty($ids)) { 
                $str = implode(',', $arr);
            } elseif (count($ids) != $intrval) { 
                $str = implode(',', array_diff($arr, $ids));
            }
            if ($str) { 
                file_put_contents(LOG_ROOT . '/Log/not_exist.txt', $str . PHP_EOL, FILE_APPEND);
            }
            // usleep(100);
        }
    }

发表评论取消回复

表情：

评论列表（有 0 条评论，215人围观）

还没有评论，来说两句吧...

相关阅读

相关大量数据插入导致MySQL性能瓶颈

大量数据插入确实可能导致MySQL的性能瓶颈。以下是几个可能影响因素和解决策略： 1. **索引问题**：如果频繁在大量数据上进行范围查询，但没有对这些字段建立合适的索引，会

布满荆棘的人生/ 2024年12月29日 15:54/ 0 赞/ 29 阅读

相关 mysql批插大量数据,大批量插入数据

\ 大批量插入数据 \\ 1.环境准备： \`\`\`sql CREATE TABLE \`tb\_user\_2\` ( \`id\` int(11) NOT NUL

爱被打了一巴掌/ 2023年01月16日 09:53/ 0 赞/ 190 阅读

相关 php使用mysql分批大量插入数据

之前由于误删数据,需要恢复,但是不能影响线上服务: public function insertData() { $number = 1

╰半橙微兮°/ 2022年10月28日 11:28/ 0 赞/ 216 阅读

相关 mysql php 插入数据_通过PHP脚本来插入MySQL数据

MySQL 插入数据 MySQL 表中使用INSERT INTOSQL语句来插入数据。你可以通过 mysql> 命令提示窗口中向数据表中插入数据，或者通过PHP脚本来插入

旧城等待，/ 2022年10月25日 01:22/ 0 赞/ 230 阅读

相关更新和插入php,php – 加快大量的mysql更新和插入

我有一个应用程序需要通过大量的条目更新大量的数据.基本上它做了大约7,000个插入和/或更新,但是它需要一个漫长的时间(比如近9分钟,平均每个查询约0.08秒).本质上,我正在

蔚落/ 2022年10月21日 12:54/ 0 赞/ 237 阅读

相关 TP5批量插入数据（分批插入）

我们知道TP5有insetall函数可以批量插入，但是如果一次插入10000条数据呢同时插入肯定会卡死，所以我们分批插入 foreach ($sheetCont

曾经终败给现在/ 2022年10月10日 04:45/ 0 赞/ 224 阅读

相关集合数据分批插入到数据库

//考试相关题目--选项 if (!org.springframework.util.CollectionUtils.isEmpty(list)

红太狼/ 2022年09月11日 12:26/ 0 赞/ 195 阅读

相关 JDBC向mysql批量插入大量数据

想要向mysql中插入大量数据（10w+）时，使用单纯的insert会很慢。我们需要借助JDBC的批处理。 1. jdbc连接url增加rewriteBatchedStat

Love The Way You Lie/ 2022年08月29日 05:44/ 0 赞/ 254 阅读

相关分批次插入mysql:一次性插入mysql两万以上数据造成数据库假死

强烈推荐一个大神的人工智能的教程：[http://www.captainbed.net/zhanghan][http_www.captainbed.net_zh

系统管理员/ 2022年06月03日 00:00/ 0 赞/ 220 阅读

相关分批插入数据基于mybatis

DB框架：Mybatis。DataBase:Oracle。 \--------------------------------------------------------

待我称王封你为后i/ 2021年10月30日 02:06/ 0 赞/ 268 阅读