无法使用 aws 数据管道从 hive 读取数据

如何解决无法使用 aws 数据管道从 hive 读取数据

使用 aws 数据管道，使用驱动程序 HiveJDBC4.jar 并将类名指定为 com.amazon.hive.jdbc4.HS1Driver 并尝试连接 hive 表。

连接成功，但无法检索数据。

错误如下： 使用来自 s3://storage-for-hive/drivers/HiveJDBC4.jar 的驱动程序连接 2021 年 4 月 7 日 10:36:04,399 [INFO] (TaskRunnerService-resource:df-081576635EAE6FCF0OLE_@ResourceId_O4iPA_2021-04-07T10:31:47-0) amazonaws.databaseConnection2pipeline:DatahbaseConnection2Factory2dh 54-170-146-194.eu-west-1.compute.amazonaws.com:10000/demo 2021 年 4 月 7 日 10:36:04,415 [INFO] (TaskRunnerService-resource:df-081576635EAE6FCF0OLE_@ResourceId_O4iPA_2021-04-07T10:31:47-0) amazonaws.Helps.data:47-0 2021 年 4 月 7 日 10:36:04,423 [INFO] (TaskRunnerService-resource:df-081576635EAE6FCF0OLE_@ResourceId_O4iPA_2021-04-07T10:31:47-0) private.com.amazonaws.Clientpiplines.ClientFactoryS.data.区域 [eu-west-1] 2021 年 4 月 7 日 10:36:04,424 [警告]（TaskRunnerService-resource:df-081576635EAE6FCF0OLE_@ResourceId_O4iPA_2021-04-07T10:31:47-0）private.com.amazonaws3 指定的亚马逊内容：没有指定亚马逊内容长度。数据。流内容将缓冲在内存中，并可能导致内存不足错误。 2021 年 4 月 7 日 10:36:04,548 [信息] (TaskRunnerService-resource:df-081576635EAE6FCF0OLE_@ResourceId_O4iPA_2021-04-07T10:31:47-0) amazonaws.datapipeline.com 2021年4月7日10：36：04550 [INFO]（HeartBeatService-DF-081576635EAE6FCF0OLE- @ copyActivityId_mnq7Z_2021-04-07T10：31：47_Attempt = 1）amazonaws.datapipeline.taskrunner.HeartBeatService：HeartBeatService线程关闭DF-081576635EAE6FCF0OLE- @ copyActivityId_mnq7Z_2021- 04-07T10:31:47_Attempt=1 2021年4月7日10：36：04550 [INFO]（TaskRunnerService资源：DF-081576635EAE6FCF0OLE_ @ ResourceId_O4iPA_2021-04-07T10：31：47-0）amazonaws.datapipeline.taskrunner.HeartBeatService：完毕等待心跳螺纹@ DefaultcopyActivity1_2021-04- 07T10:31:47_Attempt=1 2021 年 4 月 7 日 10:36:04,551 [INFO]（TaskRunnerService-resource:df-081576635EAE6FCF0OLE_@ResourceId_O4iPA_2021-04-07T10:31:47-0）Activity amazonaws.copydataTaskpipeline: WorkdataTaskpipeler0. 2021 年 4 月 7 日 10:36:04,607 [INFO] (TaskRunnerService-resource:df-081576635EAE6FCF0OLE_@ResourceId_O4iPA_2021-04-07T10:31:47-0) amazonaws.pushstoredatalogUploader/Upmo 081576635EAE6FCF0OLE/copyActivityId_mnq7Z/@copyActivityId_mnq7Z_2021-04-07T10:31:47/@copyActivityId_mnq7Z_2021-04-07T10:31:47/Attempt0000040004000040004007000600040007000700007 2021 年 4 月 7 日 10:36:04,626 [INFO] (TaskRunnerService-resource:df-081576635EAE6FCF0OLE_@ResourceId_O4iPA_2021-04-07T10:31:47-0) private.com.amazonaws.Clientpiplines.ClientFactoryS.data.区域 [eu-west-1] 2021 年 4 月 7 日 10:36:04,697 [INFO]（TaskRunnerService-resource:df-081576635EAE6FCF0OLE_@ResourceId_O4iPA_2021-04-07T10:31:47-0）private.com.amazonaws.Clientpiplines.ClientFactoryS.Data.区域 [eu-west-1] 2021 年 4 月 7 日 10:36:04,731 [INFO]（TaskRunnerService-resource:df-081576635EAE6FCF0OLE_@ResourceId_O4iPA_2021-04-07T10:31:47-0）private.com.amazonaws.Clientpiplines.ClientFactoryS.data.区域 [eu-west-1] 2021年4月7日10：36：04732 [INFO]（TaskRunnerService资源：DF-081576635EAE6FCF0OLE_ @ ResourceId_O4iPA_2021-04-07T10：31：47-0）amazonaws.datapipeline.logpusher.Uploader：巩固S3：// storelogdemo / DF-081576635EAE6FCF0OLE /copyActivityId_mnq7Z/@copyActivityId_mnq7Z_2021-04-07T10:31:47/@copyActivityId_mnq7Z_2021-04-07T10:31:47_Attempt=1/Activity.log@00000000000000000000000000000007 2021 年 4 月 7 日 10:36:04,775 [INFO] (TaskRunnerService-resource:df-081576635EAE6FCF0OLE_@ResourceId_O4iPA_2021-04-07T10:31:47-0) amazonaws.datapiper.31:47-0) amazonaws.datapiper.31:47-0 amazonaws.datapiper.31:47-060Pushloger.360F 上载器50FFCF060F 081576635EAE6FCF0OLE_@ResourceId_O4iPA_2021 /copyActivityId_mnq7Z/@copyActivityId_mnq7Z_2021-04-07T10:31:47/@copyActivityId_mnq7Z_2021-04-07T10:31:47_Attempt=1/Activity.log.gz 2021 年 4 月 7 日 10:36:04,783 [INFO] (TaskRunnerService-resource:df-081576635EAE6FCF0OLE_@ResourceId_O4iPA_2021-04-07T10:31:47-0) 私有的.com.amazonaws.Clientpiplines.Clientfactoring3.Clientdata.Client 和 .Client 的cachedfactorys。区域 [eu-west-1] 2021 年 4 月 7 日 10:36:04,829 [INFO] (TaskRunnerService-resource:df-081576635EAE6FCF0OLE_@ResourceId_O4iPA_2021-04-07T10:31:47-0) private.com.amazonaws.Clientpiplines.ClientFactoryS.Data.区域 [eu-west-1] 2021年4月7日10：36：04829 [INFO]（TaskRunnerService资源：DF-081576635EAE6FCF0OLE_ @ ResourceId_O4iPA_2021-04-07T10：31：47-0）amazonaws.datapipeline.logpusher.Uploader：删除：DF-081576635EAE6FCF0OLE / copyActivityId_mnq7Z / @ copyActivityId_mnq7Z_2021 -04-07T10:31:47/@copyActivityId_mnq7Z_2021-04-07T10:31:47_Attempt=1/[e-mail] 2021 年 4 月 7 日 10:36:04,865 [INFO] (TaskRunnerService-resource:df-081576635EAE6FCF0OLE_@ResourceId_O4iPA_2021-04-07T10:31:47-0) private.com.amazonaws.Clientpiplines.ClientFactoryS.data.区域 [eu-west-1] 2021 年 4 月 7 日 10:36:04,966 [错误]（TaskRunnerService-resource:df-081576635EAE6FCF0OLE_@ResourceId_O4iPA_2021-04-07T10:31:47-0）amazonaws.dataTaskpipeline:taskrunner 中的错误 amazonaws.datapipeline.taskrunner.TaskExecutionException：复制记录时出错 在 amazonaws.datapipeline.activity.copy.SingleThreadedcopyActivity.processAll(SingleThreadedcopyActivity.java:65) 在 amazonaws.datapipeline.activity.copy.SingleThreadedcopyActivity.runActivity(SingleThreadedcopyActivity.java:35) 在 amazonaws.datapipeline.activity.copyActivity.runActivity(copyActivity.java:22) 在 amazonaws.datapipeline.objects.AbstractActivity.run(AbstractActivity.java:16) 在 amazonaws.datapipeline.taskrunner.TaskPoller.executeRemoteRunner(TaskPoller.java:136) 在 amazonaws.datapipeline.taskrunner.TaskPoller.executeTask(TaskPoller.java:105) 在 amazonaws.datapipeline.taskrunner.TaskPoller$1.run(TaskPoller.java:81) 在 private.com.amazonaws.services.datapipeline.poller.PollWorker.executeWork(PollWorker.java:76) 在 private.com.amazonaws.services.datapipeline.poller.PollWorker.run(PollWorker.java:53) 在 java.lang.Thread.run(Thread.java:748) 引起：java.lang.NullPointerException 在 amazonaws.datapipeline.connector.sqlDatanode.prepareStatement(sqlDatanode.java:171) 在 amazonaws.datapipeline.connector.sqlInputConnector.open(sqlInputConnector.java:48) 在 amazonaws.datapipeline.connector.sqlInputConnector.(sqlInputConnector.java:25) 在 amazonaws.datapipeline.connector.sqlDatanode.getInputConnector(sqlDatanode.java:79) 在 amazonaws.datapipeline.activity.copy.SingleThreadedcopyActivity.processAll(SingleThreadedcopyActivity.java:47) ... 9 更多 2021 年 4 月 7 日 10:36:05,654 [信息] (TaskRunnerService-resource:df-081576635EAE6FCF0OLE_@ResourceId_O4iPA_2021-04-07T10:31:47-1) amazonaws.resource.dataTaskPipeline60E7taskremote.dataTaskPipeline60E7F0F0FC0F0F00F00F00F0800F @ResourceId_O4iPA_2021-04-07T10:31:47 2021 年 4 月 7 日 10:37:06,331 [信息] (TaskRunnerService-resource:df-081576635EAE6FCF0OLE_@ResourceId_O4iPA_2021-04-07T10:31:47-0