java – Spring Maven Hadoop

我在Spring Maven Hadoop环境中遇到了问题.
我正在使用Apache Hadoop,但不使用SpringSource提供的spring-hadoop.
我在maven中添加了以下依赖关系,以便在java中使用hadoop.

<dependency>
        <groupId>org.apache.hadoop</groupId>
        <artifactId>hadoop-core</artifactId>
        <version>0.20.2</version>
        <exclusions>
            <exclusion>
                <groupId>org.mortbay.jetty</groupId>
                <artifactId>jetty</artifactId>
            </exclusion>
            <exclusion>
                <groupId>org.mortbay.jetty</groupId>
                <artifactId>jetty-util</artifactId>
            </exclusion>
            <exclusion>
                <groupId>org.mortbay.jetty</groupId>
                <artifactId>jsp-2.1</artifactId>
            </exclusion>
            <exclusion>
                <groupId>org.mortbay.jetty</groupId>
                <artifactId>jsp-api-2.1</artifactId>
            </exclusion>
            <exclusion>
                <groupId>org.mortbay.jetty</groupId>
                <artifactId>servlet-api-2.1</artifactId>
            </exclusion>
            <exclusion>
                <groupId>javax.servlet</groupId>
                <artifactId>servlet-api</artifactId>
            </exclusion>
            <exclusion>
                <groupId>javax.servlet.jsp</groupId>
                <artifactId>jsp-api</artifactId>
            </exclusion>
            <exclusion>
                <groupId>tomcat</groupId>
                <artifactId>jasper-compiler</artifactId>
            </exclusion>
            <exclusion>
                <groupId>tomcat</groupId>
                <artifactId>jasper-runtime</artifactId>
            </exclusion>
        </exclusions>
    </dependency> 

我执行了hadoop mapreduce工作. Mapreduce工作运作良好.

但我无法在Hadoop Web UI中看到“正在运行的作业”列表中执行的作业(http://xxx.xxx.xxx.xxx:50030/jobtracker.jsp)

我开始没有hadoop命令(ex-bin / hadoop -jar …. jar),但只是java应用程序.
这可能是原因吗？

解决方法:

Hadoop提供API以在本地运行MR作业,而无需设置Hadoop集群.
如果您没有在Hadoop Web UI中看到您的作业正在运行/完成 – 您似乎在本地运行MR作业.

要远程运行 – 请在您的情况下指定相应的作业跟踪器主机http://xxx.xxx.xxx.xxx:9001