Flink watermark设置

Scala:

        .map(x=> JSON.parseObject(x))
        .assignTimestampsAndWatermarks(
          WatermarkStrategy.forBoundedOutOfOrderness[JSONObject](Duration.ofSeconds(3))
            .withTimestampAssigner(new SerializableTimestampAssigner[JSONObject] {
              override def extractTimestamp(element: JSONObject, recordTimestamp: Long): Long = element.getLong("ts")
            })
        )

 

作者:尤灯塔
出处:https://www.cnblogs.com/30go/
本文版权归作者和博客园共有,欢迎转载,但未经作者同意必须保留此段声明,且在文章页面明显位置给出原文连接,否则保留追究法律责任的权利.

推荐这些文章:

Flink中设置状态的超时

在监控中保存某个状态值,但是过一段时间后需要将该值清理掉,防止对业务有影响或者堆积浪费存储空间。
flink提供了状态超时设置。
实例如下:

class MyFilter extends RichFilterFunction[JSONObject]{

var dateState: ValueState[String] = _
val sdf: SimpleDateForm...

Flink双流jion在电商订单中的测试

 
开发工作:

package com.king.app

import java.util.Objects

import org.apache.flink.api.common.eventtime.{SerializableTimestampAssigner, WatermarkStrategy}
import org.apache.flink.streaming.api.fun...

5.Flink实时项目之业务数据准备

1. 流程介绍
在上一篇文章中,我们已经把客户端的页面日志,启动日志,曝光日志分别发送到kafka对应的主题中。在本文中,我们将把业务数据也发送到对应的kafka主题中。
通过maxwell采集业务数据变化,相当于是ods数据,把采集的数据发送到kafka的topic(ods_base_db_m)中,然后flink从kafka消费数据,这个过程有维度数据,就放到hbase中,其他事实数据再发送给...

7.Flink实时项目之独立访客开发

1.架构说明
在上6节当中,我们已经完成了从ods层到dwd层的转换,包括日志数据和业务数据,下面我们开始做dwm层的任务。
DWM 层主要服务 DWS,因为部分需求直接从 DWD 层到DWS 层中间会有一定的计算量,而且这部分计算的结果很有可能被多个 DWS 层主题复用,所以部分 DWD 会形成一层 DWM,我们这里主要涉及业务:

访问UV计算

跳出明细计算

订单宽表

支付宽表...

4.Flink实时项目之数据拆分

1. 摘要
我们前面采集的日志数据已经保存到 Kafka 中,作为日志数据的 ODS 层,从 kafka 的ODS 层读取的日志数据分为 3 类, 页面日志、启动日志和曝光日志。这三类数据虽然都是用户行为数据,但是有着完全不一样的数据结构,所以要拆分处理。将拆分后的不同的日志写回 Kafka 不同主题中,作为日志 DWD 层。
页面日志输出到主流,启动日志输出到启动侧输出流,曝光日志输出到曝光侧...

8.Flink实时项目之CEP计算访客跳出

1.访客跳出明细介绍
首先要识别哪些是跳出行为,要把这些跳出的访客最后一个访问的页面识别出来。那么就要抓住几个特征:
该页面是用户近期访问的第一个页面,这个可以通过该页面是否有上一个页面(last_page_id)来判断,如果这个表示为空,就说明这是这个访客这次访问的第一个页面。
首次访问之后很长一段时间(自己设定),用户没继续再有其他页面的访问。
这第一个特征的识别很简单,保留 last_pa...

博客园主题设置

https://www.cnblogs.com/bndong/articles/7069462.html
https://bndong.github.io/Cnblogs-Theme-SimpleMemory/v2/#/

...

【Flink系列十三】Flink-Kafka-Connector KafkaSource FlinkKafkaConsumer没有上报指标

问题
使用了Flink-Kafka-Connector(版本1.13.0),使用FlinkKafkaConsumer 上报了KafkaLag指标,但是换成 KafkaSource 却没有任何指标。
原因
通过查阅 JIRA发现,Flink-1.13的 kafka-connector 的新版KafkaSource 没有上报指标。
Report metrics of KafkaConsumer in...

Flink如何设置RocksDB日志:How to Configure RocksDB Logging for Advanced Troubleshooting

Question
RocksDB's LOG file comes in handy when troubleshooting Flink with RocksDB. How can I configure RocksDB logging?
 
Answer
Note: This section applies to Flink 1.10 - 1.14
By default,...

FLINK基础目录

Flink基础(一):DS简介(1) 有状态的流式处理简介

本文来自博客园,作者:秋华,转载请注明原文链接:https://www.cnblogs.com/qiu-hua/p/15790176.html

...

文章标题:Flink watermark设置
文章链接:https://www.dianjilingqu.com/50865.html
本文章来源于网络,版权归原作者所有,如果本站文章侵犯了您的权益,请联系我们删除,联系邮箱:saisai#email.cn,感谢支持理解。
THE END
< <上一篇
下一篇>>