文章目录每日一句正能量前言1.ubuntu安装prometheus实现监控部署2.ubuntu安装alertmanager监控3.在prometheus上配置alertmanagerg告警4.安装cpolar实现随时随地开发5.配置公网地址6.保留固定公网地址总结每日一句正能量你勤奋充电、努力工作、保持身材、对人微笑这些都不是为了取悦他人而是为了扮靓自己照亮自己的心告诉自己我是一股独立向上的力量。再也不怕半夜被叫醒用 Prometheus Alertmanager 实现智能告警前言告警这条链路上最容易出问题的环节不是监控系统本身而是告警太多。你有没有经历过这些CPU 偶尔抖了一下告警进群了凌晨三点业务低峰期某个指标短暂飘高电话响了一个服务出问题同一个故障原因触发了七八条告警手机震了一晚上。最后运维人员的反应是什么“算了反正多半是误报先睡吧。”——直到真有问题被漏掉了。Prometheus 负责采集和评估指标这部分大多数团队都配了。但 Alertmanager 这个角色往往被当成可选配件而不是核心组件来对待。一个常见的困惑是Prometheus 本身就能发告警为什么还要加一层 Alertmanager简单说Prometheus 的告警能力止步于触发这一步而 Alertmanager 处理的是触发之后的动作——聚合、路由、静默、抑制、发送。这两层的分工决定了它是两个不同的问题。另一个常见问题Alertmanager 配置复杂吗如果只是接个 Webhook 发送到钉钉或飞书最小可用配置大概十分钟能配完。但要想用好抑制 inhibition 和静默 silence 机制确实需要花时间理解告警标签的匹配逻辑这部分没有太好的捷径。1.ubuntu安装prometheus实现监控部署通过以下命令创建一个用于存放 Prometheus 的目录 /appmkdir/app进入到/app目录下cd/app从prometheus官网下载压缩文件下载适用于Linux系统的文件。使用的是 MobaXterm_Personal这是一种功能强大的终端工具常用于远程连接 Linux 服务器。进入/app下面。点击上传上传下载好的prometheus压缩文件。解压缩该文件tar-xzvfprometheus-3.7.3.linux-amd64.tar.gz将解压好的文件夹改一个名字,并删除原有的未解压文件可以不删mvprometheus-3.5.0.linux-amd64 prometheusrm-rfprometheus-3.5.0.linux-amd64.tar.gz进入解压好并且改过名的prometheus目录下查看它的版本。返回版本号代表安装成功cd/app/prometheus ./prometheus--version创建prometheus 本地TSDB数据存储目录mkdir-p/var/lib/prometheus进入这个目录使用systemctl管理Prometheus:vim/usr/lib/systemd/system/prometheus.service写入[Unit]DescriptionPrometheusDocumentationhttps://prometheus.io/Afternetwork.target[Service]TypesimpleUserrootExecStart/app/prometheus/prometheus--config.file/app/prometheus/prometheus.yml--storage.tsdb.path/var/lib/prometheus --web.enable-lifecycleExecReload/bin/kill-HUP$MAINPIDKillModeprocessRestarton-failure[Install]WantedBymulti-user.targetsystemctl enable prometheus将 Prometheus 服务设置为 开机自启动。systemctl start prometheus立即启动 Prometheus 服务。systemctl status prometheus查看 Prometheus 服务的 当前状态。systemctlenableprometheus systemctl start prometheus systemctl status prometheus部署完成后在浏览器中输入http://极空间IP:9090就能看到prometheus的界面啦2.ubuntu安装alertmanager监控去官网下载安装文件找到linux版下载下载完成后记住下载路径。手动上传到/app下载好的alertmanager文件。上传成功后解压tar-vxzfalertmanager-0.27.0.linux-amd64.tar.gz改名方便记忆mvalertmanager-0.27.0.linux-amd64 alertmanager将Altermanager配置为系统服务:cd/usr/lib/systemd/systemvimalertmanager.service[Unit]Descriptionhttps://prometheus.io[Service]Restarton-failureExecStart/app/alertmanager--config.file/app/alertmanager.yml[Install]WantedBymulti-user.target加载system文件启动alertmanager这个服务并设置开机启动systemctl daemon-reload systemctl start alertmanager.service systemctlenablealertmanager.service也可以后台手动启动nohup./alertmanager--config.filealertmanager.yml/app/alertmanager/alertmanager/alertmanager.out21catalertmanager.out启动成功后访问Altermanagerip9093默认端口为 9093。3.在prometheus上配置alertmanagerg告警进入prometheus的配置文件加入alertmanager告警规则vi/app/prometheus/prometheus.ymlBash加入以下内容后Prometheus可以用localhost:9093访问到运行在本地9093端口的Alertmanager服务从而抓取系统指标。- targets:[localhost:9093]labels: app:alertmanagerBash这一步配置的作用是告诉 Prometheus当监控规则触发告警时应该把告警信息发送到哪个 Alertmanager 服务进行处理便于一会监控node_exporter也可以监控mysqld_exporter等等。alerting: alertmanagers: - static_configs: - targets:[localhost:9093]打开prometheus监控成功后续也可以配置告警规则。但是目前我们只能在自己电脑上进行监控倘若公司有一个紧急警报我们能怎么做呢接下来cpolar就派上永场啦4.安装cpolar实现随时随地开发cpolar 可以将你本地电脑中的服务如 SSH、Web、数据库映射到公网。即使你在家里或外出时也可以通过公网地址连接回本地运行的开发环境。❤️以下是安装cpolar步骤使用一键脚本安装命令sudocurlhttps://get.cpolar.sh|sh安装完成后执行下方命令查看cpolar服务状态如图所示即为正常启动sudosystemctl status cpolarCpolar安装和成功启动服务后在浏览器上输入虚拟机主机IP加9200端口即:【http://ip:9200】访问Cpolar管理界面使用Cpolar官网注册的账号登录,登录后即可看到cpolar web 配置界面,接下来在web 界面配置即可打开浏览器访问本地9200端口使用cpolar账户密码登录即可,登录后即可对隧道进行管理。5.配置公网地址登录cpolar web UI管理界面后,点击左侧仪表盘的隧道管理——创建隧道隧道名称可自定义本例使用了:prometheus注意不要与已有的隧道名称重复协议http本地地址9090域名类型随机域名地区选择China Top点击创建创建成功后打开左侧在线隧道列表,可以看到刚刚通过创建隧道生成了公网地址接下来就可以在其他电脑或者移动端设备异地上使用地址访问。访问成功。6.保留固定公网地址使用cpolar为其配置二级子域名该地址为固定地址不会随机变化。点击左侧的预留选择保留二级子域名地区选择china top然后设置一个二级子域名名称我这里演示使用的是prometheus大家可以自定义。填写备注信息点击保留。登录cpolar web UI管理界面点击左侧仪表盘的隧道管理——隧道列表找到所要配置的隧道prometheus点击右侧的编辑。修改隧道信息将保留成功的二级子域名配置到隧道中域名类型选择二级子域名Sub Domain填写保留成功的二级子域名地区: China Top点击更新更新完成后打开在线隧道列表此时可以看到随机的公网地址已经发生变化地址名称也变成了保留和固定的二级子域名名称。最后我们使用固定的公网地址在任意设备的浏览器中访问可以看到成功访问本地部署的prometheus页面这样一个永久不会变化的二级子域名公网网址即设置好了。这样我们就可以随时随地监控不用担心在家无法监控设备总结回到最初的问题Alertmanager 真的能解决告警疲劳吗实际经验是它能解决大部分问题但前提是你愿意花时间把告警规则和抑制关系理清楚。刚部署完 Alertmanager 就指望它立刻让告警量断崖式下降这想法不现实——它的作用是让告警质量提升让真正需要关注的告警能够触达而不是减少告警数量本身。另一个被经常问到的点是Alertmanager 对接企业微信/钉钉/飞书有标准方案吗有。这三个平台都支持 Webhook 机器人Alertmanager 的 receiver 配置里写一个 webhook 地址就能推过去区别是各平台的卡片消息格式略有不同需要在模板里做适配。如果你的场景里需要更细粒度的告警分级比如区分 P0/P1/P2或者希望某些时段如深夜只有 P0 能推送出来P1/P2 积攒到工作时间再发Alertmanager 的路由和抑制规则都能支持这些逻辑只是需要花时间配置。总体而言Prometheus Alertmanager 组合是自托管监控方案里最成熟的告警链路生态成熟、文档完善。对于已经在用 Prometheus 的团队加一层 Alertmanager 是值得的投入——至少下次夜里手机响的时候你可以先看一眼是不是真的需要起身。转载自https://blog.csdn.net/u014727709/article/details/159975645欢迎 点赞✍评论⭐收藏欢迎指正