S3 / объектное хранилище
Тема дорожной карты · Loki
S3-совместимое объектное хранилище — наиболее распространённый бэкенд для хранения чанков и файлов индекса Grafana Loki в продакшене, поскольку оно обеспечивает практически неограниченную ёмкость, высокую надёжность и низкую стоимость по сравнению с управляемыми базами данных или локальными дисками. Раздел storage_config в loki-config.yaml принимает блок aws для S3 и S3-совместимых конечных точек (например, MinIO), где настраиваются имя бакета, регион и учётные данные через поля s3, access_key_id и secret_access_key или через профили экземпляров и IAM-роли. При использовании S3 как файлы индекса (TSDB или BoltDB), так и объекты чанков хранятся в одном или нескольких бакетах, а Compactor Loki должен иметь права на запись для выполнения уплотнения и удаления при применении политики хранения. Для развёртываний на собственном оборудовании MinIO является популярной S3-совместимой альтернативой, позволяющей запускать Grafana Loki с семантикой объектного хранилища без отправки данных в публичное облако. Включение шифрования на стороне сервера (SSE-S3 или SSE-KMS) в конфигурации S3-бакета обеспечивает защиту данных в состоянии покоя без каких-либо изменений в бинарном файле Loki или loki-config.yaml.
Как это работает
S3 / объектное хранилище: Loki хранит chunks (compressed log segments) + index (label → chunk pointers). Index backends эволюционировали: BoltDB Shipper (1-е поколение) → TSDB (текущий дефолт, намного лучше perf). Object storage (S3, GCS, Azure Blob, MinIO) держит bulk данных — дёшево, масштабируемо, durable. Local filesystem только для dev. Compactor merge-ит старые index файлы + применяет retention. TSDB index примерно в 10 раз эффективнее BoltDB Shipper — мигрируйте, если ещё на BoltDB.
Когда применять
Используйте TSDB index в 2026 — BoltDB Shipper legacy. S3-compatible object storage (Ceph, MinIO, AWS S3) для prod. Chunk size + compression тщательно (дефолты разумны). Replication factor ≥ 3 в clustered деплоях. Мониторьте object-storage cost — log volume растёт быстро.
Типичные ошибки
Ловушки S3 / объектное хранилище: filesystem в prod (нет масштаба, нет durability); BoltDB Shipper всё ещё в 2026 (perf страдает); compactor не запущен (index растёт + retention не применяется); недостаточный IOPS object storage (queries ползут).