Iter19

.github/workflows/mertricstest.yml

@@ -18,7 +18,7 @@ jobs:
 
   metricstest:
     runs-on: ubuntu-latest
-    container: golang:1.24
+    container: golang:1.26
     needs: branchtest
 
     services:

.github/workflows/statictest.yml

@@ -9,7 +9,7 @@ on:
 jobs:
   statictest:
     runs-on: ubuntu-latest
-    container: golang:1.24
+    container: golang:1.26
     steps:
       - name: Checkout code
         uses: actions/checkout@v2

README.md

@@ -42,3 +42,56 @@ git fetch template && git checkout template/v2 .github
 - **Clean Architecture**
 - **Hexagonal Architecture**
 - **Layered Architecture**
+
+## Профилирование памяти (pprof)
+
+Оптимизация: добавлен `sync.Pool` для переиспользования `gzip.Writer` и `gzip.Reader` в middleware сжатия (`internal/router/gzip.go`).
+
+Результат сравнения профилей (`pprof -top -diff_base=profiles/base.pprof profiles/result.pprof`):
+
+```
+File: server
+Type: alloc_space
+Showing nodes accounting for -51.03MB, 83.26% of 61.29MB total
+      flat  flat%   sum%        cum   cum%
+  -17.54MB 28.61% 28.61%   -17.54MB 28.61%  compress/flate.(*dictDecoder).init (inline)
+      -5MB  8.16% 36.77%       -5MB  8.16%  database/sql.driverArgsConnLocked
+   -3.01MB  4.92% 41.69%   -20.55MB 33.53%  compress/flate.NewReader
+   -2.64MB  4.31% 46.00%    -5.55MB  9.05%  compress/flate.NewWriter (inline)
+   -2.33MB  3.81% 49.81%    -2.90MB  4.74%  compress/flate.(*compressor).init
+   -1.51MB  2.46% 52.27%    -1.51MB  2.46%  bufio.NewReaderSize (inline)
+   -1.50MB  2.45% 54.72%    -1.50MB  2.45%  sync.(*Pool).pinSlow
+   -1.50MB  2.45% 57.17%       -3MB  4.90%  github.com/jackc/pgx/v5/pgconn.ParseConfigWithOptions
+   -1.50MB  2.45% 59.62%    -1.50MB  2.45%  context.(*cancelCtx).Done
+   -1.50MB  2.45% 62.07%    -1.50MB  2.45%  github.com/jackc/pgx/v5/pgconn.(*ResultReader).Read
+   -1.16MB  1.89% 63.95%    -1.16MB  1.89%  runtime/pprof.StartCPUProfile
+      -1MB  1.63% 65.58%       -1MB  1.63%  github.com/jackc/pgx/v5/internal/stmtcache.(*LRUCache).RemoveInvalidated
+      -1MB  1.63% 67.22%       -1MB  1.63%  database/sql.(*Tx).grabConn
+   -0.57MB  0.93% 65.30%    -0.57MB  0.93%  compress/flate.newDeflateFast (inline)
+   -0.50MB  0.82% 66.12%    -0.50MB  0.82%  github.com/jackc/pgx/v5/internal/iobufpool.init.0.func1
+   -0.50MB  0.82% 66.94%    -2.24MB  3.65%  runtime/pprof.(*profileBuilder).emitLocation
+   -0.50MB  0.82% 67.75%    -0.50MB  0.82%  golang.org/x/text/internal/language.map.init.1
+   -0.50MB  0.82% 68.57%    -0.50MB  0.82%  io.ReadAll
+   -0.50MB  0.82% 69.39%    -0.50MB  0.82%  encoding/json.(*Decoder).refill
+   -0.50MB  0.82% 70.20%       -1MB  1.64%  github.com/jackc/pgx/v5/pgconn.connectOne
+   -0.50MB  0.82% 71.02%    -2.51MB  4.09%  github.com/jackc/pgx/v5.connect
+   -0.50MB  0.82% 71.83%    -0.50MB  0.82%  maps.Copy[...]
+   -0.50MB  0.82% 72.65%    -0.50MB  0.82%  github.com/jackc/pgx/v5/pgproto3.(*Describe).Encode
+   -0.50MB  0.82% 73.47%    -0.50MB  0.82%  github.com/jackc/pgx/v5/pgconn.configTLS
+   -0.50MB  0.82% 74.28%    -0.50MB  0.82%  net/http.(*Request).WithContext (inline)
+   -0.50MB  0.82% 75.10%       -1MB  1.63%  net/http.readRequest
+   -0.50MB  0.82% 75.91%    -0.50MB  0.82%  net/http.(*Request).SetPathValue (inline)
+   -0.50MB  0.82% 76.73%       -1MB  1.63%  github.com/jackc/pgx/v5.(*Conn).Prepare
+   -0.50MB  0.82% 77.55%    -0.50MB  0.82%  net.(*Dialer).DialContext
+   -0.50MB  0.82% 78.36%    -0.50MB  0.82%  reflect.growslice
+   -0.50MB  0.82% 79.18%    -0.50MB  0.82%  net.cgoLookupHostIP
+   -0.50MB  0.82% 79.99%    -0.50MB  0.82%  github.com/go-chi/chi/v5.(*node).FindRoute
+   -0.50MB  0.82% 80.81%       -4MB  6.53%  github.com/jackc/pgx/v5/stdlib.(*Conn).ExecContext
+   -0.50MB  0.82% 81.63%    -0.50MB  0.82%  reflect.unsafe_New
+   -0.50MB  0.82% 82.44%    -0.50MB  0.82%  github.com/jackc/pgx/v5/pgtype.NewMap
+   -0.50MB  0.82% 83.26%   -16.51MB 26.93%  github.com/iliaonishchenko/aggreg8/internal/repository.(*MetricsRepository).BatchUpdate.func1
+   -0.50MB  0.82% 83.26%    -0.50MB  0.82%  github.com/jackc/pgx/v5/pgconn.(*PgConn).makeCommandTag (inline)
+   -0.50MB  0.82% 83.26%    -0.50MB  0.82%  github.com/jackc/pgx/v5/pgproto3.(*ParameterDescription).Decode
+   -0.50MB  0.82% 83.26%    -0.50MB  0.82%  net/netip.Addr.AsSlice (inline)
+   -0.50MB  0.82% 83.26%    -0.50MB  0.82%  strings.genSplit
+```

cmd/server/flags.go

@@ -12,13 +12,17 @@ func parseFlags(cfg *server.Config, defaultServerAddress string, defaultStoreInt
 	var restore bool
 	var databaseDSN string
 	var key string
+	var auditFile string
+	var auditURL string
 
 	flag.StringVar(&serverAddress, "a", defaultServerAddress, "address and port to run server")
 	flag.IntVar(&storeInterval, "i", defaultStoreInterval, "interval to store aggregator data")
 	flag.StringVar(&fileStoragePath, "f", defaultFileStoragePath, "file path to store aggregator data")
 	flag.BoolVar(&restore, "r", defaultRestore, "restore aggregator data from file on startup")
 	flag.StringVar(&databaseDSN, "d", "", "database DSN")
 	flag.StringVar(&key, "k", "", "key for signature")
+	flag.StringVar(&auditFile, "audit-file", "", "file to store audit data")
+	flag.StringVar(&auditURL, "audit-url", "", "url to send audit data")
 
 	flag.Parse()
 
@@ -44,4 +48,10 @@ func parseFlags(cfg *server.Config, defaultServerAddress string, defaultStoreInt
 	if cfg.Key == "" {
 		cfg.Key = key
 	}
+	if cfg.AuditFile == "" {
+		cfg.AuditFile = auditFile
+	}
+	if cfg.AuditURL == "" {
+		cfg.AuditURL = auditURL
+	}
 }

cmd/server/main.go

@@ -3,9 +3,15 @@ package main
 import (
 	"context"
 	"database/sql"
+	"log"
+	"net/http"
+	"time"
+
 	"github.com/go-chi/chi/v5"
 	"github.com/go-chi/chi/v5/middleware"
+	"github.com/hashicorp/go-retryablehttp"
 	"github.com/iliaonishchenko/aggreg8"
+	"github.com/iliaonishchenko/aggreg8/internal/audit"
 	"github.com/iliaonishchenko/aggreg8/internal/config/server"
 	"github.com/iliaonishchenko/aggreg8/internal/handler"
 	"github.com/iliaonishchenko/aggreg8/internal/logger"
@@ -19,9 +25,6 @@ import (
 	"github.com/iliaonishchenko/aggreg8/internal/signature"
 	_ "github.com/jackc/pgx/v5/stdlib"
 	"go.uber.org/zap"
-	"log"
-	"net/http"
-	"time"
 )
 
 func initStorage(cfg *server.Config) (service.MetricStorage, *repository.MetricsRepository, context.CancelFunc) {
@@ -68,6 +71,25 @@ func initStorage(cfg *server.Config) (service.MetricStorage, *repository.Metrics
 	return storage, repo, cancelFunc
 }
 
+func initNotifier(cfg *server.Config) (audit.Notifier, []func() error) {
+	notifier := audit.NewNotifier(10)
+	var closers []func() error
+
+	if cfg.AuditFile != "" {
+		fileObserver, err := audit.NewFileObserver(cfg.AuditFile)
+		if err != nil {
+			log.Fatalf("error creating file observer: %v", err)
+		}
+		notifier.Register(fileObserver)
+		closers = append(closers, fileObserver.Close)
+	}
+	if cfg.AuditURL != "" {
+		retryClient := retryablehttp.NewClient()
+		notifier.Register(audit.NewHTTPObserver(cfg.AuditURL, retryClient.StandardClient()))
+	}
+	return notifier, closers
+}
+
 func main() {
 	defaultServerAddress := "localhost:8080"
 	defaultStoreInterval := 300
@@ -87,20 +109,26 @@ func main() {
 	}
 
 	storage, repo, cancelFunc := initStorage(cfg)
+	notifier, closers := initNotifier(cfg)
+	defer func() {
+		for _, closer := range closers {
+			closer()
+		}
+	}()
 
-	if err := run(*cfg, storage, repo); err != nil {
+	if err := run(*cfg, storage, repo, notifier); err != nil {
 		if cancelFunc != nil {
 			cancelFunc()
 		}
 		logger.Log.Fatal("error starting server", zap.Error(err))
 	}
 }
 
-func run(cfg server.Config, storage service.MetricStorage, repo *repository.MetricsRepository) error {
+func run(cfg server.Config, storage service.MetricStorage, repo *repository.MetricsRepository, notifier audit.Notifier) error {
 
 	r := chi.NewRouter()
 
-	updateHandler := handler.NewUpdateHandler(storage)
+	updateHandler := handler.NewUpdateHandler(storage, notifier)
 	allHandler := handler.NewAllMetricsHandler(storage)
 	getMetricHandler := handler.NewGetMetricHandler(storage)
 	pingHandler := handler.NewPingHandler(repo)
@@ -110,6 +138,8 @@ func run(cfg server.Config, storage service.MetricStorage, repo *repository.Metr
 	r.Use(router.WithCompression)
 	r.Use(router.WithHash(sign))
 
+	r.Mount("/debug", middleware.Profiler())
+
 	r.Route("/", func(r chi.Router) {
 		r.Get("/ping", pingHandler.HandlePing)
 		r.Get("/", allHandler.HandleAll)

doc.go

@@ -0,0 +1,37 @@
+/*
+Package aggreg8 реализует сервис сбора, хранения и отображения метрик.
+
+Проект состоит из двух компонентов:
+
+Сервер (cmd/server) принимает метрики по HTTP и хранит их в памяти или PostgreSQL.
+Поддерживает эндпоинты:
+
+  - POST /update/{type}/{name}/{value} — обновление метрики через URL.
+  - POST /update — обновление метрики через JSON.
+  - POST /updates — пакетное обновление метрик через JSON.
+  - GET /value/{type}/{name} — получение значения метрики в текстовом формате.
+  - POST /value — получение метрики в формате JSON.
+  - GET / — отображение всех метрик в виде HTML-таблицы.
+  - GET /ping — проверка доступности базы данных.
+
+Агент (cmd/agent) периодически собирает runtime- и системные метрики
+и отправляет их на сервер с поддержкой gzip-сжатия и HMAC-подписи.
+
+Основные внутренние пакеты:
+
+  - internal/handler — HTTP-обработчики эндпоинтов.
+  - internal/service — интерфейс хранилища и бизнес-логика.
+  - internal/service/memory — in-memory хранилище метрик.
+  - internal/service/pg — хранилище на основе PostgreSQL.
+  - internal/service/sync — обёртка с синхронной записью в файл.
+  - internal/model — модели данных (Metrics, Counter, Gauge).
+  - internal/repository — слой доступа к PostgreSQL.
+  - internal/repository/file — файловое хранилище метрик.
+  - internal/router — middleware (gzip, HMAC-подпись).
+  - internal/logger — структурированное логирование.
+  - internal/signature — HMAC-SHA256 подпись данных.
+  - internal/audit — аудит событий обновления метрик.
+  - internal/agent — агент сбора и отправки метрик.
+  - internal/config — конфигурация сервера и агента.
+*/
+package aggreg8

go.mod

@@ -1,6 +1,6 @@
 module github.com/iliaonishchenko/aggreg8
 
-go 1.24.10
+go 1.26
 
 require (
 	github.com/caarlos0/env/v11 v11.3.1
@@ -16,6 +16,8 @@ require (
 require (
 	github.com/davecgh/go-spew v1.1.1 // indirect
 	github.com/go-ole/go-ole v1.2.6 // indirect
+	github.com/hashicorp/go-cleanhttp v0.5.2 // indirect
+	github.com/hashicorp/go-retryablehttp v0.7.8 // indirect
 	github.com/jackc/pgpassfile v1.0.0 // indirect
 	github.com/jackc/pgservicefile v0.0.0-20240606120523-5a60cdf6a761 // indirect
 	github.com/jackc/puddle/v2 v2.2.2 // indirect

go.sum

@@ -13,6 +13,10 @@ github.com/golang/mock v1.6.0 h1:ErTB+efbowRARo13NNdxyJji2egdxLGQhRaY+DUumQc=
 github.com/golang/mock v1.6.0/go.mod h1:p6yTPP+5HYm5mzsMV8JkE6ZKdX+/wYM6Hr+LicevLPs=
 github.com/google/uuid v1.6.0 h1:NIvaJDMOsjHA8n1jAhLSgzrAzy1Hgr+hNrb57e+94F0=
 github.com/google/uuid v1.6.0/go.mod h1:TIyPZe4MgqvfeYDBFedMoGGpEw/LqOeaOT+nhxU+yHo=
+github.com/hashicorp/go-cleanhttp v0.5.2 h1:035FKYIWjmULyFRBKPs8TBQoi0x6d9G4xc9neXJWAZQ=
+github.com/hashicorp/go-cleanhttp v0.5.2/go.mod h1:kO/YDlP8L1346E6Sodw+PrpBSV4/SoxCXGY6BqNFT48=
+github.com/hashicorp/go-retryablehttp v0.7.8 h1:ylXZWnqa7Lhqpk0L1P1LzDtGcCR0rPVUrx/c8Unxc48=
+github.com/hashicorp/go-retryablehttp v0.7.8/go.mod h1:rjiScheydd+CxvumBsIrFKlx3iS0jrZ7LvzFGFmuKbw=
 github.com/jackc/pgpassfile v1.0.0 h1:/6Hmqy13Ss2zCq62VdNG8tM1wchn8zjSGOBJ6icpsIM=
 github.com/jackc/pgpassfile v1.0.0/go.mod h1:CEx0iS5ambNFdcRtxPj5JhEz+xB6uRky5eyVu/W2HEg=
 github.com/jackc/pgservicefile v0.0.0-20240606120523-5a60cdf6a761 h1:iCEnooe7UlwOQYpKFhBabPMi4aNAfoODPEFNiAnClxo=

internal/agent/agent.go

@@ -7,16 +7,19 @@ import (
 	"time"
 )
 
+// CollectorService определяет интерфейс сбора метрик (runtime и system).
 type CollectorService interface {
 	CollectRuntime()
 	CollectSystem()
 	GetMetrics() [][]*models.Metrics
 }
 
+// SenderService определяет интерфейс отправки метрик на сервер с ретраями.
 type SenderService interface {
 	SendJSONWithRetries(metrics ...*models.Metrics) error
 }
 
+// Agent координирует периодический сбор и отправку метрик с ограничением параллелизма через rateLimit.
 type Agent struct {
 	collector      CollectorService
 	sender         SenderService
@@ -25,6 +28,7 @@ type Agent struct {
 	rateLimit      int
 }
 
+// NewAgent создаёт нового агента с указанными интервалами сбора/отправки и лимитом воркеров.
 func NewAgent(collector CollectorService, sender SenderService, pollInterval, reportInterval, rateLimit int) *Agent {
 	return &Agent{
 		collector:      collector,
@@ -35,6 +39,7 @@ func NewAgent(collector CollectorService, sender SenderService, pollInterval, re
 	}
 }
 
+// Run запускает цикл сбора и отправки метрик. Блокирует выполнение до отмены контекста.
 func (a *Agent) Run(ctx context.Context) {
 	collectTicker := time.NewTicker(time.Duration(a.pollInterval) * time.Second)
 	defer collectTicker.Stop()

internal/agent/collector.go

@@ -11,16 +11,19 @@ import (
 	"sync"
 )
 
+// Collector собирает runtime и системные метрики (CPU, память) и буферизирует их для отправки.
 type Collector struct {
 	pollCount int64
 	metrics   [][]*models.Metrics
 	mu        sync.Mutex
 }
 
+// NewCollector создаёт новый Collector.
 func NewCollector() *Collector {
 	return &Collector{}
 }
 
+// CollectRuntime собирает метрики Go runtime (память, GC и т.д.) и добавляет их в буфер.
 func (c *Collector) CollectRuntime() {
 	logger.Log.Info("Collecting runtime metrics")
 	var m runtime.MemStats
@@ -63,6 +66,7 @@ func (c *Collector) CollectRuntime() {
 	c.pollCount++
 }
 
+// CollectSystem собирает системные метрики (RAM, CPU utilization) через gopsutil.
 func (c *Collector) CollectSystem() {
 	logger.Log.Info("Collecting system metrics")
 	v, err := mem.VirtualMemory()
@@ -92,6 +96,7 @@ func (c *Collector) CollectSystem() {
 	c.metrics = append(c.metrics, newMetrics)
 }
 
+// GetMetrics возвращает все накопленные батчи метрик и очищает буфер.
 func (c *Collector) GetMetrics() [][]*models.Metrics {
 	c.mu.Lock()
 	defer c.mu.Unlock()

internal/agent/doc.go

@@ -0,0 +1,2 @@
+// Package agent реализует агент сбора и отправки метрик на сервер.
+package agent

internal/agent/errors.go

@@ -2,8 +2,10 @@ package agent
 
 import "net/http"
 
+// AgentErrorClassifier классифицирует ошибки HTTP-запросов агента для определения необходимости ретрая.
 type AgentErrorClassifier struct{}
 
+// NewAgentErrorClassifier создаёт новый AgentErrorClassifier.
 func NewAgentErrorClassifier() *AgentErrorClassifier {
 	return &AgentErrorClassifier{}
 }

internal/agent/sender.go

@@ -13,17 +13,20 @@ import (
 	"time"
 )
 
+// DataSignature определяет интерфейс подписи данных.
 type DataSignature interface {
 	Sign(src []byte) string
 }
 
+// Sender отправляет метрики на сервер по HTTP.
 type Sender struct {
 	endpoint   string
 	client     http.Client
 	classifier *AgentErrorClassifier
 	signature  DataSignature
 }
 
+// NewSender создаёт новый Sender для указанного эндпоинта сервера.
 func NewSender(endpoint string, classifier *AgentErrorClassifier, signature DataSignature) *Sender {
 	return &Sender{
 		endpoint:   endpoint,
@@ -55,6 +58,7 @@ func compressData(data []byte) (*bytes.Buffer, error) {
 	return buf, nil
 }
 
+// SendJSON отправляет метрики на сервер в формате JSON.
 func (s *Sender) SendJSON(metrics ...*models.Metrics) error {
 	req, err := s.buildRequest(metrics...)
 	if err != nil {
@@ -78,6 +82,7 @@ func (s *Sender) SendJSON(metrics ...*models.Metrics) error {
 	return nil
 }
 
+// Send отправляет одну метрику через URL-параметры (POST /update/{type}/{name}/{value}).
 func (s *Sender) Send(metric *models.Metrics) error {
 	resp, err := s.sendMetric(metric)
 	if err != nil {
@@ -115,6 +120,7 @@ func (s *Sender) buildMetricURL(baseURL string, metric *models.Metrics) string {
 	)
 }
 
+// SendJSONWithRetries отправляет метрики в формате JSON с автоматическими повторами при ошибках.
 func (s *Sender) SendJSONWithRetries(metrics ...*models.Metrics) error {
 	req, err := s.buildRequest(metrics...)
 	if err != nil {