服务信息不可用,ZLINK服务不可用

首页 > 实用技巧 > 作者:YD1662024-01-02 23:46:41

线上故障实录-一大早服务就不可用了?

难得一个周末,一大早还没有睡醒就接到另外一个团队的电话,app 打不开了,所有的数据都没有了,睡意全无,赶紧起来看能不能紧急抢救一下,最终发现是一个关键链路的 nginx 配置错误,导致 nginx 无法启动,接下来完整的记录下愉快的周末中,这个不愉快的早晨

<!-- more -->

1. 项目环境

首先说一下背景,出问题的这个项目是我之前参与的,现在由另外的小伙伴负责。这个项目使用 nginx 作为反向代理,因为某些业务上的原因,搞了一个香港和大陆之间的专线,下面又有一层的 nginx 进行不同业务的请求转发

后端服务基于 SpringCloud 微服务搭建,通过统一网关对外提供基本的业务服务; 也有部分服务不是通过网关,直接 nginx 转发过去的(比如内部使用的控制台就没有走网关)

服务信息不可用,ZLINK服务不可用(1)

大致的结构如上图,实际有一些区别,至于为什么选择这种架构设计,与实际的业务场景以及之前遭遇过的一次 ddos 有关,这个与本文主题关系不大,就不详细展开

2. 问题描述

接下来我们先看一下出现的状况,运营的小伙伴最早接到反馈,app 上所有的数据都没了,并提供了一个上次出现这种场景的原因是域名的证书过期

注意,这里有两个关键信息点

3. 问题追踪

前面是背景介绍,然后要开始进入正题,起床第一件事,呃并不是打开电脑,而是先打开 appp 看一下是个什么状况,毕竟不能完全凭运营一说,就开始找问题

app 表现与运营同学描述一致,所有数据也空白,直观的表现就是服务端 gg 了

尝试解决思路

下面的文字相对冗长,基本思路可以参考下面这个图

服务信息不可用,ZLINK服务不可用(2)

先从运营同学提供的思路来看一下证书是否过期,直接浏览器输入 app 接口对应的一级域名xxx.com,结果发现被 302 到另外一个域名,还真的是证书过期,关键是这个也不是刚刚过期,而是过期了五十多天,这个时间对不上

既然一级域名没法直接查看,那就选择 app 直接请求接口的域名,来看一下是不是过期了,结果尴尬的事情是我不知道这个二级域名的前缀是啥(为了避免 ddos,我们之前做的一个方案是随机生成了很多二级域名前缀,然后根据用户的地域进行二级域名的选取),所以只能通过抓包了

找到域名之后(假设为 xxx.a.com),直接浏览器访问,毫无意外提示"无法访问此网络",那这个域名证书是否过期就不好确定了

出现上面这个表现,自然而然的就是ping xxx.a.com,可以 ping 通,证明这个域名解析没有问题

简单的从域名上没有找到明显的突破口,接着去确认一下服务是否还在线,登录服务器,jps -l查看一下当前进程,结果居然发现居然没有zuul网关进程,难道是网关跪了导致的么,貌似有眉目了,在准备重启之前,看了一下日志,居然发现有正常的心跳日志,这特么的就鬼畜了啊,进程都没有,日志还在打;然后谨慎的用top看了一下服务器进程,zuul进程还在,不过坑爹的是它居然是 root 权限启动的;所以我用普通账号执行jps -l没有展示。针对这种状况,强烈建议所有的小伙伴,不要用 root 用户在服务器上搞事情

确定服务还在之后,使用curl http://127.0.0.1:8080/xxx来发出请求,正常响应,ok,服务没挂,那么问题就出现在上层

然后登录上层的几个 nginx 服务器,查看对应的 nginx 访问日志tail -f /var/log/nginx/access.log,以及异常日志tail -f /var/log/nginx/error.log,里面有几个之前的 ssl 验证失败的日志,好像也不是导致这个问题的原因

从日志文件上,看不出太多的信息,接着从最上层的 nginx 出发,ping 域名,层层下推,结果发现到了某一台机器之后,ping 了没反应,然后查看nginx.conf配置,起初是怀疑这里是不是被人动过了(虽然说可能性比较小),这个时候走了弯路,配置上看不出任何问题,然后下意思的查看了一下 nginx 进程ps aux | grep nginx,结果发现进程不在,原因找到

nginx 进程为什么会突然没了,这个后面在说

4. 问题 fix

既然发现是因为 nginx 进程不再导致的原因,那就简单了,启动 nginx 就好了,结果发现 nginx 进程死活都起不来,一直提示 80 端口被占用, nginx: [emerg] bind() to 0.0.0.0:80 failed (98: Address already in use) but no 80 process can find

遇到上面这个问题,要解决还不简单,找到占用 80 端口的进程,干掉它

netstat -ntulp | grep 80

让人诧异的是,没有找到任何占用 80 端口的进程

网上搜索了一下,有不少小伙伴是通过下面这个命令解决的 NGINX BIND() TO 0.0.0.0:80 FAILED (98: ADDRESS ALREADY IN USE) TO 0.0.0.0:80 FAILED (98: ADDRESS ALREADY IN USE)")

# use fuser to kill process using port 80! fuser -k 80/tcp

很遗憾的是,使用上面这个命令依然没有能解决问题;这就很尴尬了啊,这个时候只能祭出我的大*器了--重启服务器

reboot

经过短暂的重启之后,再次启动 nginx,嗯,依然没有解决问题;nginx 居然死活起不来,这个问题就有点大发了,先解决线上问题让服务可用吧,临时调整了一下转发规则,把这台机器摘掉,操作完毕之后服务恢复

接下来我们的问题就是这个 nginx 为啥起不来

这里有一篇文章带来了一些思路 [Fix nginx: [emerg] bind() to [::]:80 failed (98: Address already in use)](https://chrisjean.com/fix-ngi... "Fix nginx: [emerg] bind() to [::]:80 failed (98: Address already in use)")

这个文章里面主要说的是在配置中,使用如下这种姿势导致端口占用

server { listen :80; listen [::]:80; }

对应提请的解决方案是只保留一个,或者在后面加一个 ipv6 的限定

server { listen 80; listen [::]:80 ipv6only=on; } # or server { listen [::]:80; }

但是我的 nginx 配置中本来就只有一个listen 80,没有上面两个,讲道理不应该会冲突才对

注意到nginx.conf配置文件中有下面这一行

# Load modular configuration files from the /etc/nginx/conf.d directory. # See http://nginx.org/en/docs/ngx_core_module.html#include # for more information. include /etc/nginx/conf.d/*.conf;

难道是 conf.d 目录下的配置中,某个配置文件和最外面的冲突了导致的么,正好这个目录下只有一个配置文件,先干掉它

cd conf.d mv xxx.conf xxx.conf.bk nginx

然后发现 nginx 顺利的起来了,通过再次查看,果然是上面这个原因导致的 80 端口冲突,调整一下即可;然后就剩下一个疑问,就这个配置,之前是怎么起来的(可能只有最开始部署这个的同学才知道了...)

最后揭晓一下,为啥这个 nginx 进程会挂掉,对于这个原因我也是很忧桑

服务信息不可用,ZLINK服务不可用(3)

5. 小结

其实这个问题最后看来还是比较简单的,根本原因在于某个单点的 nginx 跪了,导致整个服务不可用,这也暴露了几个比较严重的缺陷

栏目热文

文档排行

本站推荐

Copyright © 2018 - 2021 www.yd166.com., All Rights Reserved.