Flink on yarn提交job案例

# 1. 启动集群
./bin/start-cluster.sh

# 2. 启动yarn-session
./bin/yarn-session.sh -n 1 -jm 1024 -tm 1024 -s 1 -nm yarn-session-jobs -d 

参数说明:
-n : 指定number of task manager,指定taskmanager个数
-jm: jobmanager所占用的内存数,单位为MB
-tm: 指定每个taskmanager所占用的内存,单位为MB
-s: 指定每个taskmanager可使用的cpu核数
-nm: 指定Application的名称
-d : 后台启动,session启动后,进程关闭

# 3. 提交job
./flink run -p 1 -yid application_id1 -d -c com.jacob.FlinkSqlJoinHBase ../flinksqldemo-1.0-SNAPSHOT.jar

参数说明:
-p:指定任务的并行度,如果你在程序代码中指定了并行度的话,那么此处的并行度参数不起作用
-yid:指定任务提交到哪一个application_id,默认是提交到本节点最新提交的一个application
-c: job的主入口 + jar path

注:job参数要写在-c之前,不然指定参数不起作用…


推荐这些文章:

Flink遇到的问题及解决方案

1. flink部署到集群上,standalone模式,需要指定TaskManager主机的地址:修改flink-conf.yaml配置并添加配置 taskmanager.host: localhost否则提交job时,会报错:TaskExecutor akka.tcp://xxx has no more allocated slots...

【Flink-1.14】三种启动模式

一、准备
TopSpeedWindowing.jar 同步到 lib/下
二、不同模式命令
Application Mode
flink run-application -t yarn-application ./examples/streaming/TopSpeedWindowing.jar
Per-Job Mode
flink ru...

Flink本地Idea调试源码环境搭建

1.1 下载源码并编译
git clone https://github.com/apache/flink.git

cd flink

git checkout -b dev-1.14 remotes/origin/release-1.14

mvn clean install -DskipTests -Dfast

1.2 启动Jo...

Flink批处理-简单案例-01

一、简单案例
<?xml version="1.0" encoding="UTF-8"?>
<project xmlns="http://maven.apache.org/POM/4.0.0"
xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
...

Flink 共享槽位、如何判断Flink需要使用多少资源

Flink 共享槽位、如何判断Flink需要使用多少资源
目录Flink 共享槽位、如何判断Flink需要使用多少资源并行数据流任务槽和资源共享槽位如何判断Flink需要使用多少资源
并行数据流

上图中有5个Task,那么这5个task是如何部署的呢?

任务槽和资源

Flink 并不是这样部署的

共享槽位
Flink并不是将...

flink内存模型详解与案例

任务提交时的一些yarn设置(通用客户端模式)
指定并行度                        -p 5 \ 
指定yarn队列          ...

【Flink系列十三】Flink-Kafka-Connector KafkaSource FlinkKafkaConsumer没有上报指标

问题
使用了Flink-Kafka-Connector(版本1.13.0),使用FlinkKafkaConsumer 上报了KafkaLag指标,但是换成 KafkaSource 却没有任何指标。
原因
通过查阅 JIRA发现,Flink-1.13的 kafka-connector 的新版KafkaSource 没有上报指标。
Repo...

flink 指定时间消费kafka

如果消费位置不准确了,或者checkpoint/savepoint损坏无法恢复,可以直接在Flink中方便指定消费者位置;
如下示例直接指定消费的时间戳即可。(Flink Sql好像还不支持,需要单独写UDF实现)

 
 
参考:
flink 根据时间消费kafka

...

Yarn 容量调度器多队列提交案例

目录Yarn 容量调度器多队列提交案例需求配置多队列的容量调度器1 修改如下配置SecureCRT的上传和下载2 上传到集群并分发3 重启Yarn或yarn rmadmin -refreshQueues4 向Hive队列提交任务提交方式-打jar包的方式任务优先级任务优先级的使用
Yarn 容量调度器多队列提交案例
默认只有一个defa...

第06讲:Flink 集群安装部署和 HA 配置

Flink系列文章

第01讲:Flink 的应用场景和架构模型
第02讲:Flink 入门程序 WordCount 和 SQL 实现
第03讲:Flink 的编程模型与其他框架比较
第04讲:Flink 常用的 DataSet 和 DataStream API
第05讲:Flink SQL & Table 编程和案例
第06讲...

文章标题:Flink on yarn提交job案例
文章链接:https://www.dianjilingqu.com/51472.html
本文章来源于网络,版权归原作者所有,如果本站文章侵犯了您的权益,请联系我们删除,联系邮箱:saisai#email.cn,感谢支持理解。
THE END
< <上一篇
下一篇>>