? 简介
您还在使用“for”或“while”循环来迭代行并将它们插入数据库吗?您还在编写单独的代码来读取 .csv 文件并将其上传到 mysql 数据库吗?
用mysql提供的“load data”语句对线性逻辑说“不”。准备好更改代码以最大程度地减少代码行并大幅提高性能。
mysql 提供了 load data 语句,这是一种非常高速的方法,可以用很少的代码从文本文件中读取数据并将其插入表中。
? 什么是 load data infile 语句?
根据 mysql 的官方文档,load data 语句用于以非常快的方式从文件中读取数据,您可以通过一个查询将此数据插入表中,而不是多次访问数据库多次使用“insert into”查询。
mysql还提供了一个语句-> "select…into outfile",它的作用与"load data"的作用完全相反,就是从表中读取数据到文件。
mysql提供的mysqlimport实用程序内部调用服务器上的load data语句来导入数据。
? 如何使用它?
above gist snippet shows the generic load data statements. all the available options are mentioned in the code above.
lets now focus on a simple example of simply reading a .csv file and inserting it's rows into a compatible table.
a simple example :
load data infile ‘data.csv’ into table db.my_table
a birds-eye example with all essential options :
现在让我们关注一个简单的示例,简单地读取 .csv 文件并将其行插入到兼容的表中。
一个简单的例子:
load data infile ‘data.csv’ into table db.my_table
包含所有基本选项的鸟瞰示例: 不用说,您的 csv 文件应该正确格式化才能使此语句发挥作用。瞧,使用上面的语句,你的超过 10 万行的 .csv 将在几秒钟内导入到你的表中。
现在,一些重要的事情需要注意:
这会带来一些安全问题,我们需要确保使用此代码时客户端-服务器连接的安全。在mysql 8.0中,使用local的能力默认设置为false。由于您的服务器和客户端应配置为允许 local,因此有些人可能会遇到权限错误。
如果出现权限错误,我们需要通过启用
local_infile
:
来覆盖它
SET GLOBAL local_infile = true;
注意:覆盖此标志并不是安全解决方案,而是承认接受风险,您可以参考此文档以获取更多信息。
?? 结论 mysql load data 语句用于在非常短的时间内读取文件。
您可以将此代码与任何后端api一起使用来提供源文件。源文件可以是任何文本文件,我们在本例中使用.csv。
load data local通过mysql将源文件复制到您的服务器,因此需要在服务器端实施安全措施。
mysqlimport
实用程序内部使用load data语句。您可以通过在语句中添加ignore 1 lines来忽略csv中的标头。#??# #??##??##??# #??# ? 参考 #??# #??#官方文档#??# #??# #??#
以上就是如何批量上传CSV文件数据到MySql表中?使用 LOAD DATA 的一种非常快速的方法的详细内容,更多请关注CTO智库其它相关文章!