GitLab在Linux如何故障排查

在Linux环境下进行GitLab故障排查，可以遵循以下步骤和工具：

故障排查步骤

1. 问题识别：

   • 观察GitLab服务的状态，如是否无法登录、出现502错误等。

2. 检查GitLab日志文件：

   • 日志文件通常位于 /var/log/gitlab 目录下，包括以下几种主要日志：
     • production.log
     • application.log
     • githost.log
     • sidekiq.log
     • gitlab-shell.log
     • unicorn_stderr.log
     • unicorn.log
   • 使用 tail -f /var/log/gitlab/gitlab-rails/production.log 实时查看生产日志。
   • 使用 grep 和 awk 等命令分析日志中的错误信息。

3. 使用监控工具：

   • atop：监控CPU、内存、IO使用情况。
     • 安装命令：yum install atop -y
     • 启动命令：service atop start
     • 查看日志：atop -r /var/log/atop/atop_20230129
   • iotop：实时查看IO资源占用情况。
     • 安装命令：yum install iotop
     • 查看命令：iotop
   • vmstat：查看系统CPU、内存、IO等资源使用情况。
   • mpstat：分析CPU使用情况。
     • 命令：mpstat -p all
   • pidstat：跟踪进程内部函数级CPU使用情况。
     • 命令：pidstat -u1-p pid
   • netstat：检查网络连接状态。
     • 命令：netstat -tuln

4. 系统状态检查：

   • 使用 top 或 htop 查看系统资源使用情况。
   • 使用 df -h 检查磁盘空间。
   • 使用 free -m 检查内存使用情况。

5. 网络检查：

   • 使用 ping 和 traceroute 检查网络连通性。
   • 使用 netstat 或 ss 查看网络连接状态。

6. 故障恢复：

   • 定期执行GitLab提供的备份工具 gitlab-backup create，确保备份文件保存在安全位置并进行异地存储。
   • 使用恢复命令 gitlab-backup restore 在故障时还原数据。

7. 监控和报警：

   • 使用Prometheus和Grafana监控系统性能指标，并设置告警规则。

常见问题及解决方案

• SSH密钥被占用：

  • 检查 ssh authorized_keys 文件，获取key id。
  • 删除冲突的公钥行并清理临时文件。

• 大文件上传问题：

  • 配置 http.postBuffer：
    • 全局配置：git config --global http.postBuffer 524288000
    • 当前仓库配置：git config http.postBuffer 524288000

• 502错误：

  • 修改GitLab配置文件 /etc/gitlab/gitlab.rb 中的 external_url 和 unicorn['port']，然后重新配置并重启GitLab。

• 安装过程中卡住：

  • 强制结束进程并重新配置：sudo systemctl restart gitlab-runsvdir 和 sudo gitlab-ctl reconfigure。

• 防火墙和SELinux问题：

  • 临时禁用SELinux：sudo setenforce 0
  • 配置SELinux允许GitLab运行。

通过以上步骤和工具，可以有效地进行GitLab Linux环境下的故障排查和恢复。