hadoop2.x HA下DFSClient初始化流程是什么

这篇文章主要讲解了“hadoop2.x  HA下DFSClient初始化流程是什么”，文中的讲解内容简单清晰，易于学习与理解，下面请大家跟着小编的思路慢慢深入，一起来研究和学习“hadoop2.x  HA下DFSClient初始化流程是什么”吧！

Hadoop2.X NameNode加入了autofiledover机制，对于采用了HA的namenode，在HDFS Client访问的时候，是如何自动识别active的NN，又是在active NN 宕机的时候，自动切换到新的NN呢。

1.DFSClient的初始化：

主要涉及的类有以下几个:NameNodeProxies、RetryProxy、RetryInvocationHandler、ConfiguredFailoverProxyProvider。

NameNodeProxies	与NN通讯的对象的创建提供类
RetryProxy	RetryProxy的工厂方法
RetryInvocationHandler	连接异常代理的方法实现
ConfiguredFailoverProxyProvider	获取可用NN的类

具体代码实现相对比较简单，只是逻辑稍微复杂。

---

2.在Active NN宕机的时候，如何做到自动切换。

可以看到对于连接异常的处理实现代码：

if (action.action == RetryAction.RetryDecision.FAIlovER_AND_RETRY) {//继续选择可用的NN节点
            // Make sure that concurrent Failed method invocations only cause a
            // single actual fail over.
            synchronized (proxyProvider) {
              if (invocationAttemptFailoverCount == proxyProviderFailoverCount) {
                proxyProvider.performFailover(currentProxy.proxy); //该方法会重新获取下一个可用的NN
                proxyProviderFailoverCount++;
              } else {
                LOG.warn("A failover has occurred since the start of this method"
                    + " invocation attempt.");
              }
              currentProxy = proxyProvider.getProxy(); //返回当前可用的NN
            }
            invocationFailoverCount++;
          }

performFailover的实现：

@Override
  public synchronized void performFailover(T currentProxy) {
    currentProxyIndex = (currentProxyIndex + 1) % proxies.size();
  }

其实对于获取可用的NN，就是将所有的NN节点方法到List中，然后从下标0开始获取NN，如果有异常Index++，继续获取，直到可用。

感谢各位的阅读，以上就是“hadoop2.x  HA下DFSClient初始化流程是什么”的内容了，经过本文的学习后，相信大家对hadoop2.x  HA下DFSClient初始化流程是什么这一问题有了更深刻的体会，具体使用情况还需要大家实践验证。这里是编程之家，小编将为大家推送更多相关知识点的文章，欢迎关注！