logo

小白学苑PBCP

PBCP, 让大数据竞赛更简单!

2023河北省赛样题解析-数据采集与实时计算_任务一:实时数据采集

环境说明

服务端登录地址详见各模块服务端说明。

补充说明:各主机可通过Asbru工具或SSH客户端进行SSH访问;

请先检查ZooKeeper、Kafka、Redis端口看是否已启动,若未启动则各启动命令如下:

ZK启动(netstat -ntlp查看2181端口是否打开)

/usr/zk/zookeeper-3.4.6/bin/zkServer.sh start

Redis启动(netstat -ntlp查看6379端口是否打开)

/usr/redis/bin/redis-server /usr/redis/bin/redis.conf

Kafka启动(netstat -ntlp查看9092端口是否打开)

/opt/kafka/kafka_2.11-2.0.0/bin/kafka-server-start.sh -daemon(空格连接下一行)/opt/kafka/kafka_2.11-2.0.0/config/server.properties

Flink任务在Yarn上用per job模式(即Job分离模式,不采用Session模式),方便Yarn回收资源。(关于Flink任务在Yarn上用per-job模式执行,请参考这里)

......

......

抱歉,只有登录会员才可浏览!会员登录