Como monitorar o Prometheus com Metricbeat

O que é o Prometheus?

O Prometheus é uma ferramenta de monitoramento de métricas e indicadores de aplicações e serviços. 

Segundo a descrição no Github do Prometheus:

"Ele coleta as métricas dos pontos configurados em intervalos dados, avalia expressões das regras, exibe os resultados e também pode acionar alertas quando as condições especificadas são observadas como verdadeiras."

Para saber mais sobre o projeto, acesse o site oficial do Prometheus.

Como monitorar o Prometheus utilizando o Metricbeat?

Para começar esse lab, você precisará ter um ambiente com o Prometheus e outro ambiente com o Elasticsearch e com o Kibana configurados.

Assim que você tiver esses pré requisitos, poderá começar a seguir os passos abaixo para configurar o Metricbeat para coletar os dados do Prometheus.

Para instalar o Metricbeat no host do Prometheus, siga os passos descritos abaixo.

• Faça o download do Metricbeat nesse link.

• Instale o Metricbeat:
  Windows: PowerShell.exe -ExecutionPolicy UnRestricted -File .\install-service-metricbeat.ps1
  Linux: sudo rpm -vi metricbeat-7.10.1-x86_64.rpm

• Acesse o arquivo de configuração do Metricbeat:
  Windows: C:\Program Files\Metricbeat\metricbeat.yml
  Linux: /etc/metricbeat/metricbeat.yml

Insira nele as informações de conexão com o Elasticsearch e com o Kibana.

output.elasticsearch: hosts: ["url_do_elasticsearch:9200"] setup.kibana: host: ["url_do_kibana:5601"] 

• Se você estiver usando o Metricbeat OSS insira as seguintes configurações no fim do arquivo metricbeat.yml.

setup.ilm.enabled: false setup.pack.security.enabled: false setup.xpack.graph.enabled: false setup.xpack.watcher.enabled: false setup.xpack.monitoring.enabled: false setup.xpack.reporting.enabled: false 

• Habilite e configure o módulo do Prometheus:
  Windows: .\metricbeat.exe modules enable prometheus
  Linux: sudo metricbeat modules enable prometheus

• Para modificar as configurações do módulo, altere o arquivo prometheus.yml:
  Windows: modules.d/prometheus.yml
  Linux: /etc/metricbeat/modules.d/prometheus.yml

Por padrão, o arquivo vem assim:

# Module: prometheus # Docs: https://www.elastic.co/guide/en/beats/metricbeat/7.8/metricbeat-module-prometheus.html # Metrics collected from a Prometheus endpoint - module: prometheus period: 10s metricsets: ["collector"] hosts: ["localhost:9090"] metrics_path: /metrics #metrics_filters: # include: [] # exclude: [] #username: "user" #password: "secret" # This can be used for service account based authorization: #bearer_token_file: /var/run/secrets/kubernetes.io/serviceaccount/token #ssl.certificate_authorities: # - /var/run/secrets/kubernetes.io/serviceaccount/service-ca.crt # Metrics sent by a Prometheus server using remote_write option #- module: prometheus # metricsets: ["remote_write"] # host: "localhost" # port: "9201" # Secure settings for the server using TLS/SSL: #ssl.certificate: "/etc/pki/server/cert.pem" #ssl.key: "/etc/pki/server/cert.key" # Metrics that will be collected using a PromQL #- module: prometheus # metricsets: ["query"] # hosts: ["localhost:9090"] # period: 10s # queries: # - name: "instant_vector" # path: "/api/v1/query" # params: # query: "sum(rate(prometheus_http_requests_total[1m]))" # - name: "range_vector" # path: "/api/v1/query_range" # params: # query: "up" # start: "2019-12-20T00:00:00.000Z" # end: "2019-12-21T00:00:00.000Z" # step: 1h # - name: "scalar" # path: "/api/v1/query" # params: # query: "100" # - name: "string" # path: "/api/v1/query" # params: # query: "some_value" 

• Carregue os dashboards do módulo:
  Windows: .\metricbeat.exe setup
  Linux: sudo metricbeat setup

• Inicie o serviço do Metricbeat:
  Windows: Start-Service metricbeat
  Linux: sudo service metricbeat start

Depois disso, você conseguirá ver os logs do seu ambiente no discover, além de ter dashboards com informações e métricas do estado do seu Prometheus.

Métricas

Logs