使用 WebHDFS Rest API 上传文件超时

如何解决使用 WebHDFS Rest API 上传文件超时

我正在 Windows / WSL2 上使用 Docker 试用 Hortonworks HDP Sandbox 3.0.1 版。

我可以使用仪表板中的 Ambari Files 视图上传文件并进行查询。

我可以使用 WebHDFS REST API 上传小型 CSV 文件 (~100Kb)，但我在处理大文件时遇到问题。我尝试了 25Mb 和 60Mb，但都失败了。

我运行了 docker-deploy-hdp30.sh，所以我让沙箱容器运行，沙箱 NGINX 代理暴露所有端口。

hortonworks/sandbox-hdp:3.0.1
hortonworks/sandbox-proxy:1.0

我正在尝试使用 Hadoop WebHDFS REST API 按照 here 说明使用 Curl 创建和上传文件。

我有以下主机条目：

127.0.0.1       sandbox-hdp.hortonworks.com

第一个 PUT 请求：

curl -i -X PUT "http://sandbox-hdp.hortonworks.com:50070/webhdfs/v1/user/admin/test/test.csv?op=CREATE&user.name=admin"

返回

HTTP/1.1 307 Temporary Redirect
Server: nginx/1.15.0
Date: Wed,20 Jan 2021 23:28:28 GMT
Content-Type: application/octet-stream
Content-Length: 0
Connection: keep-alive
Cache-Control: no-cache
Expires: Wed,20 Jan 2021 23:28:28 GMT
Pragma: no-cache
X-FRAME-OPTIONS: SAMEORIGIN
Set-Cookie: hadoop.auth="u=admin&p=admin&t=simple&e=1611221308442&s=rcoCzQsvXmjzp8pqzIHD/kocm+NdZUlBOD4WDCi1m9w="; Path=/; HttpOnly
Location: http://sandbox-hdp.hortonworks.com:50075/webhdfs/v1/user/admin/test/test.csv?op=CREATE&user.name=admin&namenoderpcaddress=sandbox-hdp.hortonworks.com:8020&createflag=&createparent=true&overwrite=false

然后如文档中所述，将位置标头复制到带有要上传的文件的第二个 PUT 请求中：

curl -i -X PUT -T test.csv "http://sandbox-hdp.hortonworks.com:50075/webhdfs/v1/user/admin/test/test.csv?op=CREATE&user.name=admin&namenoderpcaddress=sandbox-hdp.hortonworks.com:8020&createflag=&createparent=true&overwrite=false"

这会在大约一分钟后完成，但出现错误

HTTP/1.1 100 Continue

HTTP/1.1 100 Continue
Server: nginx/1.15.0
Date: Wed,20 Jan 2021 23:29:03 GMT
Connection: keep-alive

curl: (52) Empty reply from server

我在名称节点或数据节点日志文件中没有看到任何错误，但在 NGINX 的 Docker 沙盒代理容器日志中我看到了：

172.21.0.1 - - [20/Jan/2021:23:28:28 +0000] "PUT /webhdfs/v1/user/admin/test/test.csv?op=CREATE&user.name=admin HTTP/1.1" 307 0 "-" "curl/7.55.1" "-"
2021/01/20 23:28:56 [warn] 7#7: *1882 a client request body is buffered to a temporary file /var/cache/nginx/client_temp/0000000010,client: 172.21.0.1,server: sandbox-hdp.hortonworks.com,request: "PUT /webhdfs/v1/user/admin/test/test.csv?op=CREATE&user.name=admin&namenoderpcaddress=sandbox-hdp.hortonworks.com:8020&createflag=&createparent=true&overwrite=false HTTP/1.1",host: "sandbox-hdp.hortonworks.com:50075"
2021/01/20 23:30:03 [error] 7#7: *1882 upstream timed out (110: Connection timed out) while reading upstream,upstream: "http://172.21.0.2:50075/webhdfs/v1/user/admin/test/test.csv?op=CREATE&user.name=admin&namenoderpcaddress=sandbox-hdp.hortonworks.com:8020&createflag=&createparent=true&overwrite=false",host: "sandbox-hdp.hortonworks.com:50075"
172.21.0.1 - - [20/Jan/2021:23:30:03 +0000] "PUT /webhdfs/v1/user/admin/test/test.csv?op=CREATE&user.name=admin&namenoderpcaddress=sandbox-hdp.hortonworks.com:8020&createflag=&createparent=true&overwrite=false HTTP/1.1" 100 25 "-" "curl/7.55.1" "-"

在 Ambari files view 中出现了文件，但它只是第一个 429.8Kb，而不是我期望的 60Mb 文件。

顺便说一下，如果我给这个文件提供它的原始名称（不是 test.csv！），即使上传的内容相同，上传大小也略有不同（497.8 Kb）。取回磁盘上的大小正好是 500Kb。

您知道为什么会超时吗？会不会只写第一个块？

通过 Ambari Web UI 上传时，我可以很好地使用此文件和其他类似大小的文件。

对于小文件，REST API 调用几乎立即完成。

HTTP/1.1 100 Continue

HTTP/1.1 100 Continue
Server: nginx/1.15.0
Date: Thu,21 Jan 2021 00:18:21 GMT
Connection: keep-alive

HTTP/1.1 201 Created
Location: hdfs://sandbox-hdp.hortonworks.com:8020/user/admin/test/small.csv
Content-Length: 0
Access-Control-Allow-Origin: *
Connection: close

谢谢。