线上操作与线上问题排查实战

幸福丶如此    2018/09/13    总阅读量

高并发、锁   思考   面试   实践   Netty   Linux   Redis   MySQL   Nginx   Maven   Git   ElasticSearch  

线上操作与线上问题排查实战

  • 一、了解机器连接数情况
  • 二、从已经备份好的日志中查询数据
  • 三、备份服务的技巧
  • 四、查询线程数
  • 五、磁盘报警,清空最大文件
  • 六、显示文件,过滤注释

了解机器连接数情况

问题:192.168.88.136的sshd的监听端口是22,如何统计192.168.88.136的sshd服务各种连接状态(TIME_WAIT/ CLOSE_WAIT/ ESTABLISHED)的连接数。

netstat -an | grep 192.168.88.136:22 | awk '/^tcp/ {++S[$NF]} END {for(a in S) print a, S[a]}'
netstat -lnpta | grep ssh | egrep "TIME_WAIT | CLOSE_WAIT | ESTABLISHED"

说明:netstat是追查网络连接问题常用工具,和grep/awk结合更是神器。

从已经备份好的日志中查询数据

问题:从已备份的nginx.2017-08-15.log.bz2日志中,找出包含关键字192.168.88.136的日志有多少条。

参考答案:
bzcat nginx.2017-08-15.log.bz2 | grep '192.168.88.136' | wc -l
bzgrep '192.168.88.136' nginx.2017-08-15.log.bz2 | wc -l
less nginx.2017-08-15.log.bz2 | grep '192.168.88.136' | wc -l

说明:线上日志文件一般以bz2 压缩之后保留,如果解压查询,非常耗空间与时间,bzcat和bzgrep是必须掌握的工具。

备份服务的技巧

问题:打包备份/opt/web/src目录,排除掉目录中的logs和目录,打包好的文件存放在/opt/backup目录下。

参考答案:
tar -zcvf /opt/backup/web.tar.gz
    -exclude /opt/web/src/logs
    /opt/web/src

说明:这个命令线上应用较为频繁,在项目需要打包迁移时,常常需要排除掉日志目录,exclude是需要掌握的参数。

查询线程数

问题:查询服务器运行服务的总线程数,当机器线程数超报警阀值时,能快速查出相关进程及线程信息。

参考答案:
ps -eLf | wc -l
pstree -p | wc -l

磁盘报警,清空最大文件

问题:找出服务器上,某个正在运行的tomcat产生的大量异常日志,找出该文件,并释放空间。不妨设该文件包含log关键字,并且大于1G。

参考答案:
第一步,找到该文件
find / -type f -name "*log*" | xargs ls -lSh | more 
du -a / | sort -rn | grep log | more
find / -name '*log*' -size +1000M -exec du -h {} \;

第二步,将文件清空
假设找到的文件为a.log
正确的情况方式应该为:echo "" >a.log,文件空间会立刻释放。

使用:rm -rf a.log,这样文件虽然删除,但是因tomcat服务仍在运行,空间不会立刻释放,需要重启tomcat才能将空间释放。

显示文件,过滤注释

问题:显示server.conf 文件,屏蔽掉#号开头的注释行

参考答案:
sed -n '/^[#]/!p' server.conf
sed -e '/^#/d' server.conf
grep -v "^#" server.conf

磁盘IO异常排查

问题:磁盘IO异常如何排查,类似写入慢或当前使用率较高,请查出导致磁盘IO异常高的进程ID。

参考答案:
第一步:iotop -o 查看当前正在写磁盘操作的所有进程ID信息。

第二步:如果此时各项写入指标都很低,基本没有大的写入操作,则需要排查磁盘自身。可以查看系统dmesg或cat /var/log/message 看看是否有相关的磁盘异常报错,同时可以在写入慢的磁盘上touch 一个空文件看看,是否磁盘故障导致无法写入。

作者:幸福丶如此
链接:https://blog.csdn.net/m0_37886429/article/details/77328617
版权归作者所有,转载请注明出处


Show Disqus Comments

腾讯云:新客户代金券
腾讯云:3年时长最低265元/年
阿里云:ECS云服务器2折起

目录