注册

如何批量上传CSV文件数据到MySql表中?使用 LOAD DATA 的一种非常快速的方法

? 简介

您还在使用“for”或“while”循环来迭代行并将它们插入数据库吗?您还在编写单独的代码来读取 .csv 文件并将其上传到 mysql 数据库吗?

用mysql提供的“load data”语句对线性逻辑说“不”。准备好更改代码以最大程度地减少代码行并大幅提高性能。

mysql 提供了 load data 语句,这是一种非常高速的方法,可以用很少的代码从文本文件中读取数据并将其插入表中。

? 什么是 load data infile 语句?

根据 mysql 的官方文档,load data 语句用于以非常快的方式从文件中读取数据,您可以通过一个查询将此数据插入表中,而不是多次访问数据库多次使用“insert into”查询。

mysql还提供了一个语句-> "select…into outfile",它的作用与"load data"的作用完全相反,就是从表中读取数据到文件

mysql提供的mysqlimport实用程序内部调用服务器上的load data语句来导入数据。

? 如何使用它?

above gist snippet shows the generic load data statements. all the available options are mentioned in the code above.

lets now focus on a simple example of simply reading a .csv file and inserting it's rows into a compatible table.

a simple example :

load data infile ‘data.csv’ into table db.my_table

a birds-eye example with all essential options :

上面的要点片段显示了通用负载数据语句。上面的代码中提到了所有可用的选项。

现在让我们关注一个简​​单的示例,简单地读取 .csv 文件并将其行插入到兼容的表中。

一个简单的例子:

load data infile ‘data.csv’ into table db.my_table
包含所有基本选项的鸟瞰示例: 不用说,您的 csv 文件应该正确格式化才能使此语句发挥作用。
瞧,使用上面的语句,你的超过 10 万行的 .csv 将在几秒钟内导入到你的表中。

现在,一些重要的事情需要注意:

上述语句在mysql级别运行,因此源文件从客户端复制到服务器以便导入它们。
这会带来一些安全问题,我们需要确保使用此代码时客户端-服务器连接的安全。

在mysql 8.0中,使用local的能力默认设置为false。由于您的服务器和客户端应配置为允许 local,因此有些人可能会遇到权限错误。

如果出现权限错误,我们需要通过启用

local_infile
:
来覆盖它

SET GLOBAL local_infile = true;

注意:覆盖此标志并不是安全解决方案,而是承认接受风险,您可以参考此文档以获取更多信息。

?‍? 结论 mysql load data 语句用于在非常短的时间内读取文件。

您可以将此代码与任何后端api一起使用来提供源文件。

源文件可以是任何文本文件,我们在本例中使用.csv。

load data local

通过mysql将源文件复制到您的服务器,因此需要在服务器端实施安全措施。

mysqlimport

实用程序内部使用load data语句。

您可以通过在语句中添加ignore 1 lines来忽略csv中的标头。#??# #??##??##??# #??# ? 参考 #??# #??#官方文档#??# #??# #??#

以上就是如何批量上传CSV文件数据到MySql表中?使用 LOAD DATA 的一种非常快速的方法的详细内容,更多请关注CTO智库其它相关文章!