【Hadoop实训】Flume系统负载均衡测试

news/2024/11/8 21:20:53 标签: flume, 负载均衡, 服务器, hadoop

 一、搭建并配置Flume机器

        在master上,执行:

scp -r /export/servers/flume slave1:/export/servers/

scp -r /export/servers/flume slave2:/export/servers/

scp /etc/profile slave1:/etc/profile

scp /etc/profile slave2:/etc/profile

        执行完上述指令后,分别在slave1和slave2上机器人运行”source /etc/profile”指令,立即刷新配置。

二、配置Flume采集方案

  • 在master上配置第一级采集配置,在/export/servers/flume/conf目录下编写采集方案exec-avro.conf。

  • 在slave1和slave2上配置第二级Agent的采集方案,分别在slave1和slave2的/export/servers/flume/conf目录下编写各自的采集方案avro-logger.conf.

三、启动Flume系统

        1、在slave1上操作,进入目录:cd /export/servers/flume/ 执行命令:

flume-ng agent --conf conf/ --conf-file conf/avro-logger.conf --name a1 -Dflume.root.logger=INFO,console

如果出现这种错误   把 --name a1 提前到第一个 conf/ 后面。

        2、在slave2上操作,进入目录:cd /export/servers/flume/ 执行命令:

flume-ng agent --conf conf/ --conf-file conf/avro-logger.conf --name a1 -Dflume.root.logger=INFO,console

       3、 在master上操作,进入目录:cd /export/servers/flume/ 执行命令:

flume-ng agent --conf conf/ --conf-file conf/exec-avro.conf --name a1 -Dflume.root.logger=INFO,console

 此时:

slave1 终端上信息显示:

slave终端信息显示:

四、Flume系统负载均衡测试

重新打开master一个终端,创建/root/logs目录

mkdir /root/logs

输入shell 脚本:

while true;do echo “access access …” >>/root/logs/123.log;sleep 1;done

 结果

     执行完上述指令后,查看slave1和slave2中启动Flume的终端窗口,可以发现两台机器上的Flume系统几乎是轮流采集并打印出收集得到的数据信息。


http://www.niftyadmin.cn/n/5744452.html

相关文章

HarmonyOS第一课——DevEco Studio的使用

HarmonyOS第一课 DevEco Studio的使用 集成开发环境: SDK构建插件ohpm等工具 DevEco Studio提供开箱即用的开发体验,将HarmonyOS SDK、Node.js、Hvigor、OHPM、模拟器平台等进行合一打包,简化DevEco Studio安装配置流程。 HarmonyOS SDK已…

itextpdf打印A5的问题

使用A5打印的时候,再生成pdf是没有问题的。下面做了一个测试,在打印机中,使用A5的纸张横向放入,因为是家用打印机,A5与A4是同一个口,因此只能这么放。 使用itextpdf生成pdf,在浏览器中预览pdf是…

微信小程序,点击bindtap事件后,没有跳转到详情页,有可能是app.json中没有正确配置页面路径

文章目录 1、index.wxml2、index.js检查点1. 确保目标页面存在2. 确保页面路径配置正确3. 检查页面接收参数productDetail.jsproductDetail.wxmlproductDetail.wxss 总结 1、index.wxml <!-- 商品搜索结果卡片容器 --><view class"search-result"><bl…

高校宿舍信息管理系统小程序

作者主页&#xff1a;编程千纸鹤 作者简介&#xff1a;Java领域优质创作者、CSDN博客专家 、CSDN内容合伙人、掘金特邀作者、阿里云博客专家、51CTO特邀作者、多年架构师设计经验、多年校企合作经验&#xff0c;被多个学校常年聘为校外企业导师&#xff0c;指导学生毕业设计并参…

OceanBase 应用实践:如何处理数据空洞,降低存储空间

问题描述 某保险行业客户的核心系统&#xff0c;从Oracle 迁移到OceanBase之后&#xff0c;发现数据存储空间出现膨胀问题&#xff0c;数据空间 datasize9857715.48M&#xff0c;实际存储占用空间17790702.00M。根据 required_mb - data_mb 值判断&#xff0c;数据空洞较为严重…

全面升级的“新清影”,给AI生成视频带来了哪些新玩法?

就在刚刚&#xff0c;智谱清言App上线了“新清影”&#xff0c;同时对外开源了智谱最新的图生视频模型CogVideoX v1.5。 3个多月前的智谱Open Day上&#xff0c;视频创作智能体清影正式在智谱清言上线&#xff0c;只需30秒即可生成时长6秒、1440x960清晰度的高精视频&#xff…

“类模板”

文章目录 一. 类模板的引入二. 类模板的格式三. 类模板的实例化注意点 一. 类模板的引入 我们曾经学习过&#xff1a;typedef STDataTy int;或者是using STDataTy int;&#xff0c;这个的作用是将使用STDataTy 的地方替换成int #include<stdio.h> using STDataTy int…

React 入门课程 - 使用CDN编程React

1. 第一个React 注意&#xff1a;在vscode里&#xff0c;使用Live Server来运行html文件。 index.html <html><head><link rel"stylesheet" href"index.css"><script crossorigin src"https://unpkg.com/react17/umd/react.de…