如何解决如何从非 EMR 节点访问 S3 上的 Hbase
我正在尝试访问 EMR 上的 hbase,以便从在 EMR 集群节点之外运行的 Java 应用程序进行读写。即;来自运行在 ECS 集群/EC2 实例上的 docker 应用程序。 hbase 根文件夹类似于 s3://<bucketname/
。我需要获取 hadoop 和 hbase 配置对象才能使用 core-site.xml,hbase-site.xml 文件访问 hbase 数据以进行读写。如果 hbase 数据存储在 hdfs 中,我可以访问相同的内容。
但是当它在 S3 上使用 hbase 并尝试实现相同的目标时,我会遇到异常。
Caused by: java.lang.RuntimeException: java.lang.ClassNotFoundException: Class com.amazon.ws.emr.hadoop.fs.EmrFileSystem not found
at org.apache.hadoop.conf.Configuration.getClass(Configuration.java:2195)
at org.apache.hadoop.fs.FileSystem.getFileSystemClass(FileSystem.java:2638
core-site.xml 文件包含以下属性。
<property>
<name>fs.s3.impl</name>
<value>com.amazon.ws.emr.hadoop.fs.EmrFileSystem</value>
</property>
<property>
<name>fs.s3n.impl</name>
<value>com.amazon.ws.emr.hadoop.fs.EmrFileSystem</value>
</property>
下面是包含“com.amazon.ws.emr.hadoop.fs.EmrFileSystem”类的jar:
/usr/share/aws/emr/emrfs/lib/emrfs-hadoop-assembly-2.44.0.jar
此 jar 仅存在于 emr 节点上,不能作为 maven 依赖项包含在 maven 公共存储库的 java 项目中。对于 Map/Reduce 作业和 Spark 作业,在类路径中添加 jar 位置将达到目的。对于在 emr 集群节点之外运行的 java 应用程序,将 jar 添加到类路径将不起作用,因为 ecs 实例中没有 jar。手动将 jar 添加到类路径会导致以下错误。
2021-03-26 10:02:39.420 INFO 1 --- [ main] c.a.ws.emr.hadoop.fs.util.PlatformInfo : Unable to read clusterId from http://localhost:8321/configuration,trying extra instance data file: /var/lib/instance-controller/extraInstanceData.json
2021-03-26 10:02:39.421 INFO 1 --- [ main] c.a.ws.emr.hadoop.fs.util.PlatformInfo : Unable to read clusterId from /var/lib/instance-controller/extraInstanceData.json,trying EMR job-flow data file: /var/lib/info/job-flow.json
2021-03-26 10:02:39.421 INFO 1 --- [ main] c.a.ws.emr.hadoop.fs.util.PlatformInfo : Unable to read clusterId from /var/lib/info/job-flow.json,out of places to look
2021-03-26 10:02:45.578 WARN 1 --- [ main] c.a.w.e.h.fs.util.ConfigurationUtils : Cannot create temp dir with proper permission: /mnt/s3
我们使用的是 emr 5.29 版。有没有办法解决这个问题?
解决方法
我能够通过使用 s3a 解决这个问题。 emr 中使用的 EMRFS 库不是公开的,不能在 EMR 之外使用。因此,我使用 S3AFileSystem 从我的 ecs 集群访问 S3 上的 hbase。添加与您的 hadoop 版本相对应的 hadoop-aws
和 aws-java-sdk-bundle
maven 依赖项。
并在我的 core-site.xml 中添加以下属性。
<property>
<name>fs.s3a.impl</name>
<value>org.apache.hadoop.fs.s3a.S3AFileSystem</value>
<description>The implementation class of the S3A Filesystem</description>
</property>
然后将 hbase-site.xml 中的 hbase 根目录 url 更改为如下。
<property>
<name>hbase.rootdir</name>
<value>s3a://bucketname/</value>
</property>
您还可以设置其他 s3a 相关属性。有关 s3a 的更多详细信息,请参阅以下链接。 https://hadoop.apache.org/docs/current/hadoop-aws/tools/hadoop-aws/index.html
,S3 不是“真正的”文件系统 - 它没有 hbase 需要的两件事
- 压缩所需的原子重命名
- hsync() 用于刷新/同步预写日志。
使用 S3 作为 HBase 后端
- S3a 有一个文件系统包装器,即“HBoss”,它执行压缩所需的锁定。
- 您仍然必须为 WAL 使用 HDFS 或其他一些真正的 FS
进一步阅读 [https://github.com/apache/hadoop/blob/trunk/hadoop-common-project/hadoop-common/src/site/markdown/filesystem/outputstream.md]
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。