微信公众号搜"智元新知"关注
微信扫一扫可直接关注哦!

flink启动程序一

flink启动程序(一)

一)启动启动用maven的方式的pom文件(如果是 1.10以后的版本如果没有clients_2.12会报错 No ExecutorFactory found to execute the application

 <!-- https://mvnrepository.com/artifact/org.apache.flink/flink-scala -->
        <dependency>
            <groupId>org.apache.flink</groupId>
            <artifactId>flink-scala_2.12</artifactId>
            <version>1.12.1</version>
        </dependency>

        <!-- https://mvnrepository.com/artifact/org.apache.flink/flink-streaming-scala -->
        <dependency>
            <groupId>org.apache.flink</groupId>
            <artifactId>flink-streaming-scala_2.12</artifactId>
            <version>1.12.1</version>
        </dependency>
        <dependency>
              <groupId>org.apache.flink</groupId>
              <artifactId>flink-clients_2.12</artifactId>
              <version>1.12.1</version>
          </dependency>
 <!-- 打包的一些插件 -->   
 <build>
        <plugins>
            <plugin>
                <groupId>net.alchim31.maven</groupId>
                <artifactId>scala-maven-plugin</artifactId>
                <version>4.4.0</version>
                <executions>
                    <execution>
                        <goals>
                            <goal>compile</goal>
                        </goals>
                    </execution>
                </executions>
            </plugin>
            <plugin>
                <groupId>org.apache.maven.plugins</groupId>
                <artifactId>maven-assembly-plugin</artifactId>
                <version>3.3.0</version>
                <configuration>
                    <descriptorRefs>
                        <descriptorRef>jar-with-dependencies</descriptorRef>
                    </descriptorRefs>
                </configuration>
                <executions>
                    <execution>
                        <id>make-assembly</id>
                        <phase>package</phase>
                        <goals>
                            <goal>single</goal>
                        </goals>
                    </execution>
                </executions>
            </plugin>
        </plugins>
    </build>

*选择pom 文件 flink 版本的时候一定要注意版本的统一 下边的version是flink的版本信息 而在 flink-xx-yy yy是scala的版本信息注意安装scala插件的时候容易程序出错
二)netcat
1,在些流程序的时候可以下载一个netcat 插件 网上很多 如果使用微软自带的安全检测 可能下载不了因为会被当成病毒清除 可以下载一个360或者火绒 之后将netcat 当成信任就好了
2.,简单使用 nc -l -p [port] 比如 7777
##

插入链接与图片

3 ,nc localhost 7777可以测试下能否联通(注意:测试通过的时候一定要关闭这个窗口要不然 端口占用 flink 会报错链接不上)
三)编写简单的流处理wordcount

//这里注意下导包  如果不将这里包全部导入在些处理的时候需要隐士转换这里全部导入节
import org.apache.flink.streaming.api.scala._
object WordCount{
      var env =StreamExecutionEnvironment.getExecutionEnvironment
     var stream=  env.socketTextStream("localhost",7777)
     var run=stream.flatmap(_.split(" ")).map((_,1)).keyBy(_._1).sum(1)
     run.print();
     //这里注意先flink 需要启动下
     env.execute("word count")
}

在这里插入图片描述

版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。

相关推荐