Go 監(jiān)控告警入門 Opentelemetry

前言

Opentelemetry

分布式鏈路跟蹤（ Distributed Tracing ）的概念最早是由 Google 提出來(lái)的，發(fā)展至今技術(shù)已經(jīng)比較成熟，也是有一些協(xié)議標(biāo)準(zhǔn)可以參考。目前在 Tracing 技術(shù)這塊比較有影響力的是兩大開源技術(shù)框架：Netflix 公司開源的 OpenTracing 和 Google 開源的 OpenCensus 。兩大框架都擁有比較高的開發(fā)者群體。為形成統(tǒng)一的技術(shù)標(biāo)準(zhǔn)，兩大框架最終磨合成立了 OpenTelemetry 項(xiàng)目，簡(jiǎn)稱 otel 。otel 有鏈路追蹤和監(jiān)控告警兩大塊，關(guān)于監(jiān)控告警，可以查看另一篇文章： Go 鏈路追蹤入門 Opentelemetry

Prometheus

Prometheus 源自 SoundCloud，擁有一整套開源系統(tǒng)監(jiān)控和警報(bào)工具包，是支持 OpenTelemetry 的系統(tǒng)之一，是 CNCF 的第二個(gè)項(xiàng)目。

Grafana

Grafana 是一個(gè)開源的分析和可視化平臺(tái)，它允許你查詢、可視化和警報(bào)來(lái)自各種數(shù)據(jù)源的數(shù)據(jù)。它提供了一個(gè)用戶友好的界面，用于創(chuàng)建和共享儀表板、圖表和警報(bào)。Grafana 支持廣泛的數(shù)據(jù)源，其中就包括 Prometheus

基礎(chǔ)概念

這里為了簡(jiǎn)單入門，盡量簡(jiǎn)單的介紹一些抽象概念，結(jié)合著代碼理解，如果不能理解也沒(méi)關(guān)系，代碼寫著寫著自然就明白了：

Meter Provider
用于接口化管理全局的 Meter 創(chuàng)建，相當(dāng)于全局的監(jiān)控指標(biāo)管理工廠。

Meter
用于接口化創(chuàng)建并管理全局的 Instrument ，不同的 Meter 可以看做是不同的程序組件。

Instrument
用于管理不同組件下的各個(gè)不同類型的指標(biāo)，例如 http.server.request.total

Measurements
對(duì)應(yīng)指標(biāo)上報(bào)的具體的 DataPoint 指標(biāo)數(shù)據(jù)，是一系列的數(shù)值項(xiàng)。

Metric Reader
用于實(shí)現(xiàn)對(duì)指標(biāo)的數(shù)據(jù)流讀取，內(nèi)部定義了具體操作指標(biāo)的數(shù)據(jù)結(jié)構(gòu)。 OpenTelemetry 官方社區(qū)提供了多種靈活的 Reader 實(shí)現(xiàn)，例如 PeridRader、ManualReader 等。

Metric Exporter
Exporter 用于暴露本地指標(biāo)到對(duì)應(yīng)的第三方廠商，例如： Promtheus、Zipkin 等。

指標(biāo)類型

OpenTelemetry metrics 有許多不同指標(biāo)類型，可以把它想象成類似于 int, float 這種的變量類型：

Counter： 只增不減的指標(biāo)，比如 http 請(qǐng)求總數(shù)，字節(jié)大小；

Asynchronous Counter： 異步 Counter；

UpDownCounter： 可增可減的指標(biāo)，比如 http 活動(dòng)連接數(shù)；

Asynchronous UpDownCounter： 異步 Counter；

Gauge： 可增可減的指標(biāo)，瞬時(shí)計(jì)量的值，比如 CPU 使用，它是異步的；

Histogram ：分組聚合指標(biāo)，這個(gè)較為難以理解一些，可以移步 此處 查看，當(dāng)然，后文也會(huì)有一個(gè)詳細(xì)的例子來(lái)使用它。

實(shí)戰(zhàn)：采集指標(biāo)

廢話了一堆，終于可以實(shí)戰(zhàn)了。我們先以 http 請(qǐng)求總數(shù)為例來(lái)走一遍整個(gè)采集指標(biāo)流程。安裝擴(kuò)展：

go get github.com/prometheus/client_golang
go get go.opentelemetry.io/otel/exporters/prometheus
go get go.opentelemetry.io/otel/metric
go get go.opentelemetry.io/otel/sdk/metric

打開 main.go ，編寫以下代碼：

package main

import (
	"context"
	"fmt"
	"log"
	"net/http"
	"os"
	"os/signal"

	"github.com/prometheus/client_golang/prometheus/promhttp"
	"go.opentelemetry.io/otel/exporters/prometheus"
	api "go.opentelemetry.io/otel/metric"
	"go.opentelemetry.io/otel/sdk/metric"
)

const meterName = "oldme_prometheus_testing"

var (
	requestHelloCounter api.Int64Counter
)

func main() {
	ctx := context.Background()

	// 創(chuàng)建 prometheus 導(dǎo)出器
	exporter, err := prometheus.New()
	if err != nil {
		log.Fatal(err)
	}

	// 創(chuàng)建 meter
	provider := metric.NewMeterProvider(metric.WithReader(exporter))
	meter := provider.Meter(meterName)

	// 創(chuàng)建 counter 指標(biāo)類型
	requestHelloCounter, err = meter.Int64Counter("requests_hello_total")
	if err != nil {
		log.Fatal(err)
	}

	go serveMetrics()

	ctx, _ = signal.NotifyContext(ctx, os.Interrupt)
	<-ctx.Done()
}

func serveMetrics() {
	log.Printf("serving metrics at localhost:2223/metrics")
	http.Handle("/metrics", promhttp.Handler())

	http.Handle("/index", http.HandlerFunc(func(w http.ResponseWriter, r *http.Request) {
		// 記錄 counter 指標(biāo)
		requestHelloCounter.Add(r.Context(), 1)

		_, _ = w.Write([]byte("Hello, Otel!"))
	}))

	err := http.ListenAndServe(":2223", nil) //nolint:gosec // Ignoring G114: Use of net/http serve function that has no support for setting timeouts.
	if err != nil {
		fmt.Printf("error serving http: %v", err)
		return
	}
}

在我們的代碼中，我們定義一個(gè)名字為 requests_hello_total 的 Int64Counter 指標(biāo)類型， Int64Counter 代表這是一個(gè)只增不減的 int64 數(shù)值，用作記錄請(qǐng)求總數(shù)正好合適。運(yùn)行我們的程序，如果不出錯(cuò)的話，訪問(wèn) http://localhost:2223/index 可以看到 Hello, Otel! 。并且我們?cè)L問(wèn) http://localhost:2223/metrics 可以看到指標(biāo)數(shù)據(jù)：

這里數(shù)據(jù)還沒(méi)有進(jìn)行可視化，我們先把流程走通，多訪問(wèn)幾次 http://localhost:2223/index 可以看到 requests_hello_total 會(huì)增加：

Histogram

接下來(lái)我們采集一下 Histogram 指標(biāo)，統(tǒng)計(jì)在 0.1, 0.2, 0.5, 1, 2, 5 秒以內(nèi)的 http 請(qǐng)求數(shù)，在 main.go 中加上相關(guān)代碼，可以直接復(fù)制過(guò)去：

package main

import (
	"context"
	"fmt"
	"log"
	"math/rand"
	"net/http"
	"os"
	"os/signal"
	"time"

	"github.com/prometheus/client_golang/prometheus/promhttp"
	"go.opentelemetry.io/otel/exporters/prometheus"
	api "go.opentelemetry.io/otel/metric"
	"go.opentelemetry.io/otel/sdk/metric"
)

const meterName = "oldme_prometheus_testing"

var (
	requestHelloCounter      api.Int64Counter
	requestDurationHistogram api.Float64Histogram
)

func main() {
	ctx := context.Background()

	// 創(chuàng)建 prometheus 導(dǎo)出器
	exporter, err := prometheus.New()
	if err != nil {
		log.Fatal(err)
	}

	// 創(chuàng)建 meter
	provider := metric.NewMeterProvider(metric.WithReader(exporter))
	meter := provider.Meter(meterName)

	// 創(chuàng)建 counter 指標(biāo)類型
	requestHelloCounter, err = meter.Int64Counter("requests_hello_total")
	if err != nil {
		log.Fatal(err)
	}

	// 創(chuàng)建 Histogram 指標(biāo)類型
	requestDurationHistogram, err = meter.Float64Histogram(
		"request_hello_duration_seconds",
		api.WithDescription("記錄 Hello 請(qǐng)求的耗時(shí)統(tǒng)計(jì)"),
		api.WithExplicitBucketBoundaries(0.1, 0.2, 0.5, 1, 2, 5),
	)
	if err != nil {
		log.Fatal(err)
	}

	go serveMetrics()
	go goroutineMock()

	ctx, _ = signal.NotifyContext(ctx, os.Interrupt)
	<-ctx.Done()
}

func serveMetrics() {
	log.Printf("serving metrics at localhost:2223/metrics")
	http.Handle("/metrics", promhttp.Handler())

	http.Handle("/index", http.HandlerFunc(func(w http.ResponseWriter, r *http.Request) {
		// 記錄 counter 指標(biāo)
		requestHelloCounter.Add(r.Context(), 1)

		// 計(jì)算請(qǐng)求處理時(shí)間
		startTime := time.Now()
		// 模擬請(qǐng)求處理時(shí)間
		time.Sleep(time.Duration(rand.Intn(3)) * time.Second)
		defer func() {
			duration := time.Since(startTime).Seconds()
			requestDurationHistogram.Record(r.Context(), duration)
		}()

		_, _ = w.Write([]byte("Hello, Otel!"))
	}))

	err := http.ListenAndServe(":2223", nil) //nolint:gosec // Ignoring G114: Use of net/http serve function that has no support for setting timeouts.
	if err != nil {
		fmt.Printf("error serving http: %v", err)
		return
	}
}

// 隨機(jī)模擬若干個(gè)協(xié)程
func goroutineMock() {
	for {
		go func() {
			// 等待若干秒
			var s = time.Duration(rand.Intn(10))
			time.Sleep(s * time.Second)
		}()
		time.Sleep(1 * time.Millisecond)
	}
}

走到這里，代碼層面結(jié)束了，已經(jīng)成功一半了，代碼開源在 Github 。之后我們就可以安裝 Prometheus 服務(wù)端和 Grafana 來(lái)進(jìn)行數(shù)據(jù)可視化。

安裝 Prometheus

Prometheus 有多種安裝方式，我這里依舊采用 Docker 安裝，當(dāng)然，你也可以使用其他方式安裝，具體安裝方式可以參考其他文章，后續(xù) Grafana 同理，不在贅述，在 Prometheus.yml 中填寫 targets 我們的地址：

scrape_configs:
  - job_name: "prometheus"

    static_configs:
      - targets: ["localhost:2223"]

Prometheus 會(huì)自動(dòng)去 {{target}}/metrics 中拉取我們的指標(biāo)。之后在瀏覽器打開 Promethues 的地址，例如我的是：http://localhost:9090，如果全部正常的話可以在 status:targets 中看見我們的指標(biāo)：

在 Promethues 的首頁(yè)查詢 requests_hello_total 指標(biāo)可以看到可視化的圖表：

安裝 Grafana

我的 Grafana 安裝好了，登錄進(jìn)去后是這樣的（我更改后默認(rèn)顏色）：

在 Data source 中添加 Prometheus 服務(wù)器，然后在 Dashboard 中添加我們想要監(jiān)控的指標(biāo)，即可看到更美觀的圖表：