【TPC-DS】trino+S3+hive+postgresql性能测试----异常问题与解决方案（九）

本文主要是介绍【TPC-DS】trino+S3+hive+postgresql性能测试----异常问题与解决方案（九），对大家解决编程问题具有一定的参考价值，需要的程序猿们随着小编来一起学习吧！

问题一：./trino --server 10.201.0.125:8080 --catalog postgresql --schema public链接pg，执行show tables报错

 解决：启动start-metastore

/opt/hive-metastore/bin/start-metastore -p 9083

问题二：postgresql中执行./trino --server 10.201.0.125:8080 --catalog postgresql --schema public。再次show tables出现报错如下

解决：重启pg

[root@cluster-data-node-02 ~]# ss -tulnp | grep 5432
[root@cluster-data-node-02 ~]# su - postgres
Last login: Mon Nov  1 21:12:33 CST 2021 on pts/4
[postgres@cluster-data-node-02 ~]$ pg_ctl restart -D /data1/pgsql/data

问题三：执行查询时，报错：proxy:null和read timed out

解决方式一：不用做任何处理，等待一会再次执行SQL语句

解决方式二：node.properties中添加内容

spill-enabled=true
spiller-spill-path=/tmp
max-spill-per-node=100GB
query-max-spill-per-node=150GB

问题四：insert数据到Postgresql中插入数据，报错“超时”

排查定位问题：进入对应的数据库，输入show session查看query_max_run_time参数的值为600s

解决

进入/root/trino/trino-server-363/etc打开node.properties，添加参数

query.max-run-time=1d

将600s修改为1d，修改后，再次执行show session查看值已经被更改成功

更多内容参考trino参数的官网介绍：https://trino.io/docs/current/admin/properties-query-management.html#query-max-execution-time

问题五：提示memory不足

 解决（注：每个节点服务器都需要修改）

（1）进入/root/trino/trino-server-363/etc修改jvm.configs中的参数

修改前

-Xmx32G

修改后

-Xmx40G

（2）在trino文档中搜索“memory”，并进入/root/trino/trino-server-363/etc修改config.properties中的参数，

trino文档查看了解链接：https://trino.io/docs/current/admin/properties-memory-management.html?highlight=per%20node%20user%20memory

#单个查询在集群的最大内存

query.max-memory=60GB

#单个查询在单个节点上的最大用户内存

query.max-memory-per-node=16GB

#单个查询在单个节点上的最大用户和系统内存

query.max-total-memory-per-node=20GB

【重要】注意如上的内存参数修改时，均已JVM给定的大小基础上进行倍数相乘，详细注意看官方文档

这篇关于【TPC-DS】trino+S3+hive+postgresql性能测试----异常问题与解决方案（九）的文章就介绍到这儿，希望我们推荐的文章对大家有所帮助，也希望大家多多支持为之网！