flink启动程序(一)
一)启动启动用maven的方式的pom文件(如果是 1.10以后的版本如果没有clients_2.12会报错 No ExecutorFactory found to execute the application)
<!-- https://mvnrepository.com/artifact/org.apache.flink/flink-scala -->
<dependency>
<groupId>org.apache.flink</groupId>
<artifactId>flink-scala_2.12</artifactId>
<version>1.12.1</version>
</dependency>
<!-- https://mvnrepository.com/artifact/org.apache.flink/flink-streaming-scala -->
<dependency>
<groupId>org.apache.flink</groupId>
<artifactId>flink-streaming-scala_2.12</artifactId>
<version>1.12.1</version>
</dependency>
<dependency>
<groupId>org.apache.flink</groupId>
<artifactId>flink-clients_2.12</artifactId>
<version>1.12.1</version>
</dependency>
<!-- 打包的一些插件 -->
<build>
<plugins>
<plugin>
<groupId>net.alchim31.maven</groupId>
<artifactId>scala-maven-plugin</artifactId>
<version>4.4.0</version>
<executions>
<execution>
<goals>
<goal>compile</goal>
</goals>
</execution>
</executions>
</plugin>
<plugin>
<groupId>org.apache.maven.plugins</groupId>
<artifactId>maven-assembly-plugin</artifactId>
<version>3.3.0</version>
<configuration>
<descriptorRefs>
<descriptorRef>jar-with-dependencies</descriptorRef>
</descriptorRefs>
</configuration>
<executions>
<execution>
<id>make-assembly</id>
<phase>package</phase>
<goals>
<goal>single</goal>
</goals>
</execution>
</executions>
</plugin>
</plugins>
</build>
*选择pom 文件 flink 版本的时候一定要注意版本的统一 下边的version是flink的版本信息 而在 flink-xx-yy yy是scala的版本信息注意安装scala插件的时候容易程序出错
二)netcat
1,在些流程序的时候可以下载一个netcat 插件 网上很多 如果使用微软自带的安全检测 可能下载不了因为会被当成病毒清除 可以下载一个360或者火绒 之后将netcat 当成信任就好了
2.,简单使用 nc -l -p [port] 比如 7777
##
三)编写简单的流处理wordcount
//这里注意下导包 如果不将这里包全部导入在些处理的时候需要隐士转换这里全部导入节
import org.apache.flink.streaming.api.scala._
object WordCount{
var env =StreamExecutionEnvironment.getExecutionEnvironment
var stream= env.socketTextStream("localhost",7777)
var run=stream.flatmap(_.split(" ")).map((_,1)).keyBy(_._1).sum(1)
run.print();
//这里注意先flink 需要启动下
env.execute("word count")
}
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。