Flink on yarn提交job案例

# 1. 启动集群
./bin/start-cluster.sh

# 2. 启动yarn-session
./bin/yarn-session.sh -n 1 -jm 1024 -tm 1024 -s 1 -nm yarn-session-jobs -d 

参数说明：
-n : 指定number of task manager，指定taskmanager个数
-jm: jobmanager所占用的内存数，单位为MB
-tm: 指定每个taskmanager所占用的内存，单位为MB
-s: 指定每个taskmanager可使用的cpu核数
-nm: 指定Application的名称
-d : 后台启动，session启动后，进程关闭

# 3. 提交job
./flink run -p 1 -yid application_id1 -d -c com.jacob.FlinkSqlJoinHBase ../flinksqldemo-1.0-SNAPSHOT.jar

参数说明：
-p：指定任务的并行度，如果你在程序代码中指定了并行度的话，那么此处的并行度参数不起作用
-yid：指定任务提交到哪一个application_id,默认是提交到本节点最新提交的一个application
-c: job的主入口 + jar path

注：job参数要写在-c之前，不然指定参数不起作用…

推荐这些文章：

Flink遇到的问题及解决方案

1. flink部署到集群上，standalone模式，需要指定TaskManager主机的地址：修改flink-conf.yaml配置并添加配置 taskmanager.host: localhost否则提交job时，会报错：TaskExecutor akka.tcp://xxx has no more allocated slots...

【Flink-1.14】三种启动模式

一、准备
TopSpeedWindowing.jar 同步到 lib/下
二、不同模式命令
Application Mode
flink run-application -t yarn-application ./examples/streaming/TopSpeedWindowing.jar
Per-Job Mode
flink ru...

Flink本地Idea调试源码环境搭建

1.1 下载源码并编译
git clone https://github.com/apache/flink.git

cd flink

git checkout -b dev-1.14 remotes/origin/release-1.14

mvn clean install -DskipTests -Dfast

1.2 启动Jo...

Flink批处理-简单案例-01

一、简单案例
<?xml version="1.0" encoding="UTF-8"?>
<project xmlns="http://maven.apache.org/POM/4.0.0"
xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
...

Flink 共享槽位、如何判断Flink需要使用多少资源

Flink 共享槽位、如何判断Flink需要使用多少资源
目录Flink 共享槽位、如何判断Flink需要使用多少资源并行数据流任务槽和资源共享槽位如何判断Flink需要使用多少资源
并行数据流

上图中有5个Task，那么这5个task是如何部署的呢？

任务槽和资源

Flink 并不是这样部署的

共享槽位
Flink并不是将...

flink内存模型详解与案例

任务提交时的一些yarn设置（通用客户端模式）
指定并行度                        -p 5 \ 
指定yarn队列          ...

【Flink系列十三】Flink-Kafka-Connector KafkaSource FlinkKafkaConsumer没有上报指标

问题
使用了Flink-Kafka-Connector（版本1.13.0)，使用FlinkKafkaConsumer 上报了KafkaLag指标，但是换成 KafkaSource 却没有任何指标。
原因
通过查阅 JIRA发现，Flink-1.13的 kafka-connector 的新版KafkaSource 没有上报指标。
Repo...

flink 指定时间消费kafka

如果消费位置不准确了，或者checkpoint/savepoint损坏无法恢复，可以直接在Flink中方便指定消费者位置；
如下示例直接指定消费的时间戳即可。（Flink Sql好像还不支持，需要单独写UDF实现）

 
 
参考：
flink 根据时间消费kafka

...

Yarn 容量调度器多队列提交案例

目录Yarn 容量调度器多队列提交案例需求配置多队列的容量调度器1 修改如下配置SecureCRT的上传和下载2 上传到集群并分发3 重启Yarn或yarn rmadmin -refreshQueues4 向Hive队列提交任务提交方式-打jar包的方式任务优先级任务优先级的使用
Yarn 容量调度器多队列提交案例
默认只有一个defa...

第06讲：Flink 集群安装部署和 HA 配置

Flink系列文章

第01讲：Flink 的应用场景和架构模型
第02讲：Flink 入门程序 WordCount 和 SQL 实现
第03讲：Flink 的编程模型与其他框架比较
第04讲：Flink 常用的 DataSet 和 DataStream API
第05讲：Flink SQL & Table 编程和案例
第06讲...