curl命令向hadoop3.2.1 webhdfs put文件失败 · Issue #I6TQ8W · src-openEuler/curl

【问题现象】：
1、通过openEuler 20.03系统主机，我们的大数据管理平台使用curl命令向hadoop3.2.1 webhdfs put文件失败：
curl -sS -L -w '%{http_code}' -X PUT --data-binary @/usr/lib/hivemall/hivemall-all-0.6.0-incubating.jar -H 'Content-Type: application/octet-stream' --negotiate -u : 'http://neoap031:50070/webhdfs/v1/apps/hivemall/hivemall-all-0.6.0-incubating.jar?op=CREATE&overwrite=True&permission=444'  
curl http返回码为 307 
报错： curl: (55) Send failure: Connection reset by peer 
 
2、针对同样的webhdfs服务地址，通过centos 7.x put文件成功。HTTP 返回码为201 。

【问题分析】：现象上看，我们初步分析，怀疑是openEuler 20.03系统中的curl不支持 http Temporary Redirect ，curl 直接返回了307，并没有从http 307返回的location重定向地址进行下一步操作。
通过curl命令向webhdfs put文件，分为以下几个步骤：
1、通过客户端通过curl向nameNode:50075端口提交写请求，形如：
curl -sS -L -w '%{http_code}' -X PUT --data-binary @/usr/lib/tez/tez.tar.gz -H 'Content-Type: application/octet-stream' --negotiate -u : 'http://neoap032:50070/webhdfs/v1/ntk/apps/3.0/tez/tez.tar.gz?op=CREATE&overwritrue&permission=444&noredirect=false'
2、NameNode通过http 307 Temporary Redirect 在response head的location中返回实际需要写入的dataNode url地址，形如：
{"Location":"http://neoap033:1022/webhdfs/v1/ntk/apps/3.0/tez/tez.tar.gz?op=CREATE&delegation=HQAEaGRmcwRoZGZzAIoBh0aBQE6KAYdqjcROj4oXFHguAEscAZRLJUN0kZPXeJpJXZSPEldFQkhERlMgZGVsZWdhdGlvbhMxNzIuMzIuMTUzLjE1MDo4MDIw&namenoderpcaddress=newland&createflag=&createparent=true&overwrite=true&permission=444"}
3、curl 继续向重定向的Location地址发起写请求，在这个步骤 centos7.x是oK的，会根据location返回的重定向地址继续进行写操作，最后返回Http 201；而openEuler 20.03的curl直接返回了307，没有进行这步操作。
4、如果在centos7.4curl请求中设置不允许redirect，noredirect=true，可以模拟出来同样的报错和返回值

src-openEuler/curl
关闭

内容风险标识

curl命令向hadoop3.2.1 webhdfs put文件失败置顶

评论 (4)

src-openEuler/curl关闭 .gitee-modal { width: 500px !important; }

内容风险标识

curl命令向hadoop3.2.1 webhdfs put文件失败 置顶

评论 (4)

搜索帮助

src-openEuler/curl
关闭

curl命令向hadoop3.2.1 webhdfs put文件失败置顶