发表于: 2017-12-26 19:24:22
2 681
今天完成的事情
1.向数据库插入100万条数据
可以说是尝试了各种方法了,终于找到了老大说的那个生成sql文件全服务器生成的技术...
我就写了这样一个.sql文件,,然后将它上传值服务器,用以下命令运行:
但是总是会报错,什么程序已经存在,查了很久,也没弄明白咋回事,我就直接在服务器的mysql重新打了一遍sql文件,然后插入了100万条数据:
可以看到插入100万数据用了大概40分钟,我还是比较满意啦。
但是我觉得还有效率更高的方法,否则插一亿条得多久...
2.对比有无索引的查询效率
我在数据中修改了一条,然后去查询,第一张是没有索引的时候:
下面是有索引之后:
可以说是非常明显了,用时差距快四倍了
今天遇到的问题
向数据库中插入数据时碰到了问题:Incorrect string value: '\xE6\x9B\xB9\xE5\x86\xAC...' for column 'realname' at row 1
就是它了,这个问题倒是眼熟...搜索之后发现时数据库编码的问题,我就按照
教程所说的那样,选中我的数据库,然后更改了我要传入数据的表的编码:
alter table bbe convert to character set utf8;
再插入的时候就顺利了
今天的收获
学习了一种插入大量数据的较快的方法
明天计划的事情
其实任务一差不多是完成了,收尾,看看那两亿条怎么插入好。以及深度思考的问题解决
评论