前言：
而今朋友们对“mysql读取txt”大体比较看重，各位老铁们都需要了解一些“mysql读取txt”的相关文章。那么小编也在网上收集了一些关于“mysql读取txt””的相关文章，希望兄弟们能喜欢，兄弟们快快来了解一下吧！背景
近日，有才出来工作1年多的开发同学给我说了这样一个问题：毕业出来在小公司从事软件研发工作，公司的业务数据量比较小，每天做的基本都是单线程操作，根本无法接触到比较多的数据，而现在一般面试都会问些怎么处理大数据，高并发，高性能的问题，这个要怎么破。我回答他2个核心词，模拟。数据为王，首先模拟的就是大数据量。
几种方案：
Loadfile方案
利用python生成千万级的txt文本数据，然后将数据导入到MySQL数据库。
优点： 可以自己实现。
缺点： 速度十分缓慢。
存储过程方案
优点：存储直接在数据库层面，执行效率比较高。
缺点： 存储过程的性能调校与编写通常受限于数据库，手写较为繁琐。
第三方工具
Datafaker
Datafaker是一个大批量测试数据和流测试数据的生成工具，是一个多数据源测试数据构造工具，可以模拟生成大部分常用数据类型的数据。【推荐这种方案】。
模拟出的数据比价接近实际数据，并且速度也比较快。
数据生成步骤
1 安装datafaker, 如果不懂的可以留言或者私信。
pip install datafaker
2 准备数据库的元数据文件 meta.txt
如果嫌手写麻烦，可以用我写的工具，
读取表里的元数据SQL
生成meta.txt
执行命令
测试效果 10万条数据 花了不到1分半
模拟数据展示，十分接近真实数据
版权声明：
本站文章均来自互联网搜集，如有侵犯您的权益，请联系我们删除，谢谢。
标签： #mysql读取txt
