Sqoop报错:Caused by: java.sql.BatchUpdateException: Incorrect string value: '\xF0\xA4\x8F\x81
2022/4/22 19:13:13
本文主要是介绍Sqoop报错:Caused by: java.sql.BatchUpdateException: Incorrect string value: '\xF0\xA4\x8F\x81,对大家解决编程问题具有一定的参考价值,需要的程序猿们随着小编来一起学习吧!
sqoop从hive导出到mysql报错如下:
Caused by: java.sql.SQLException: Incorrect string value: '\xF0\xA4\x8F\x81' for column 'role_name' at row 68 at com.mysql.jdbc.SQLError.createSQLException(SQLError.java:964) at com.mysql.jdbc.MysqlIO.checkErrorPacket(MysqlIO.java:3973) at com.mysql.jdbc.MysqlIO.checkErrorPacket(MysqlIO.java:3909) at com.mysql.jdbc.MysqlIO.sendCommand(MysqlIO.java:2527) at com.mysql.jdbc.MysqlIO.sqlQueryDirect(MysqlIO.java:2680) at com.mysql.jdbc.ConnectionImpl.execSQL(ConnectionImpl.java:2487) at com.mysql.jdbc.PreparedStatement.executeInternal(PreparedStatement.java:1858) at com.mysql.jdbc.PreparedStatement.executeUpdateInternal(PreparedStatement.java:2079) at com.mysql.jdbc.PreparedStatement.executeBatchSerially(PreparedStatement.java:1756) ... 3 more
发现字段中有emoji表情无法导入mysql问题解决;
在使用MySQL的过程中,可能会出现初始设计使用的字符集或Collation不符合当前需求的情况。如使用utf8的表(MySQL中的utf8即utf8mb3)要支持emoji, 而utf8mb3不支持emoji(emoji需要4个字节,而utf8mb3最长只支持3个字节),所以需要将字符集修改为utf8mb4。(更改后需要重启数据库,待测。。。)
建表示例如下:
mysql> SHOW CREATE TABLE test_table; +------------+----------------------------------------------------------------------------------------------------------------+ | Table | Create Table | +------------+----------------------------------------------------------------------------------------------------------------+ | test_table | CREATE TABLE `test_table` ( `id` int(11) NOT NULL, PRIMARY KEY (`id`) ) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4 | +------------+----------------------------------------------------------------------------------------------------------------+ 1 row in set (0.00 sec)
如果还是不能解决,则需要查看sqoop中的jar包是否支持utf8mb4编码符。 若是不支持,则需要更改jar包。
注;mysql的版本不能太低,低于5.5.3的版本不支持utf8mb4编码。
查看mysql是否支持(maxlen表示存储的最大字节数):
参考:MySQL查看、修改字符集及Collation
再见乱码:5分钟读懂MySQL字符集设置
mysql存入表情符号emoji MYSQL: Caused by: java.sql.SQLException: Incorrect string value
sqoop导入数据至mysql时,emoji表情无法导入mysql问题解决这篇关于Sqoop报错:Caused by: java.sql.BatchUpdateException: Incorrect string value: '\xF0\xA4\x8F\x81的文章就介绍到这儿,希望我们推荐的文章对大家有所帮助,也希望大家多多支持为之网!
- 2024-06-19《2023版Java工程师》课程升级公告
- 2024-06-15matplotlib作图不显示3D图,怎么办?
- 2024-06-1503-Loki 日志监控
- 2024-06-1504-让LLM理解知识 -Prompt
- 2024-06-05做软件测试需要懂代码吗?
- 2024-06-0514-ShardingSphere的分布式主键实现
- 2024-06-03为什么以及如何要进行架构设计权衡?
- 2024-05-31全网首发第二弹!软考2024年5月《软件设计师》真题+解析+答案!(11-20题)
- 2024-05-31全网首发!软考2024年5月《软件设计师》真题+解析+答案!(21-30题)
- 2024-05-30【Java】百万数据excel导出功能如何实现