Script de backup restic pour Lisette et Bermite
Pull depuis ce PC via SSH : snapshot SQLite à chaud (API backup de Python, sans fichier temporaire sur le serveur), vérification d'intégrité locale, puis restic backup taggé par service. Rétention configurable, isolation des échecs par service, commande `list`. Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
This commit is contained in:
commit
f6053bb459
8 files changed
+267
No files matched your search
@@ -0,0 +1 @@
|
||||
config.env
|
||||
@@ -0,0 +1,71 @@
|
||||
# Backups des services auto-hébergés
|
||||
|
||||
Script lancé depuis ce PC : il se connecte en SSH à chaque serveur, prend un snapshot cohérent des données et les range dans un dépôt **restic** local, chiffré et dédupliqué.
|
||||
|
||||
| Service | Hôte | Données sauvegardées |
|
||||
|---------|----------|-----------------------------------------|
|
||||
| lisette | raspiweb | `lisette.db` (SQLite) + `.env` |
|
||||
| bermite | raspiweb | `bermite.db` (SQLite) + `.env` |
|
||||
|
||||
## Installation (une fois)
|
||||
|
||||
```sh
|
||||
cp config.env.example config.env # adapter si besoin
|
||||
./backup.sh --init # génère le mot de passe + restic init
|
||||
```
|
||||
|
||||
⚠️ Il faut **copier `~/.config/backups/restic-password` ailleurs**, par exemple dans Vaultwarden. Sans ce mot de passe, le dépôt est irrécupérable.
|
||||
|
||||
## Usage
|
||||
|
||||
```sh
|
||||
./backup.sh # tous les services (services/*.sh)
|
||||
./backup.sh lisette # un seul
|
||||
./backup.sh list # liste toutes les sauvegardes
|
||||
./backup.sh list lisette # seulement celles de lisette
|
||||
```
|
||||
|
||||
Un service en échec n'empêche pas les autres de tourner. Le résumé final et le code de sortie signalent l'échec. La rétention (`KEEP_*` dans `config.env`) n'est appliquée que si tout a réussi.
|
||||
|
||||
Pour lancer restic à la main, il faut d'abord charger la config :
|
||||
|
||||
```sh
|
||||
set -a; source config.env; set +a
|
||||
restic snapshots
|
||||
```
|
||||
|
||||
## Fonctionnement
|
||||
|
||||
1. **SQLite** : `lib/sqlite_snapshot.py` est envoyé au serveur par `ssh hôte python3 -`. Il utilise l'API `backup()` de SQLite, qui fonctionne à chaud sans arrêter le service, et renvoie la base sur stdout. Aucun fichier temporaire ne reste sur le serveur. Une fois la base rapatriée, on lance `PRAGMA integrity_check` en local.
|
||||
2. **Fichiers** : ils sont récupérés par `rsync -a`.
|
||||
3. Le staging (`~/.cache/backups/staging/<service>`, en mode 700) part dans restic avec `--tag <service> --host <hôte>`, puis il est supprimé.
|
||||
|
||||
## Restaurer
|
||||
|
||||
```sh
|
||||
set -a; source config.env; set +a
|
||||
restic snapshots --tag lisette
|
||||
restic restore latest --tag lisette --target /tmp/restore # ou un ID de snapshot
|
||||
|
||||
ssh raspiweb sudo systemctl stop lisette
|
||||
scp /tmp/restore/lisette.db raspiweb:/home/pi/Scripts/lisette/lisette.db
|
||||
ssh raspiweb 'rm -f /home/pi/Scripts/lisette/lisette.db-wal /home/pi/Scripts/lisette/lisette.db-shm'
|
||||
ssh raspiweb sudo systemctl start lisette
|
||||
rm -rf /tmp/restore
|
||||
```
|
||||
|
||||
## Ajouter un service
|
||||
|
||||
Créer `services/<nom>.sh` :
|
||||
|
||||
```bash
|
||||
SERVICE_HOST=monserveur # alias ~/.ssh/config
|
||||
|
||||
backup_service() { # $1 = dossier de staging
|
||||
ssh_sqlite_snapshot "$SERVICE_HOST" /chemin/app.db "$1/app.db"
|
||||
pull_files "$SERVICE_HOST" "$1" /chemin/.env /chemin/uploads
|
||||
# ou un dump : ssh "$SERVICE_HOST" pg_dump ... > "$1/db.sql"
|
||||
}
|
||||
```
|
||||
|
||||
Les fonctions disponibles se trouvent dans `lib/common.sh`.
|
||||
@@ -0,0 +1,72 @@
|
||||
#!/usr/bin/env bash
|
||||
# Sauvegarde des services auto-hébergés vers un dépôt restic local.
|
||||
# ./backup.sh --init initialise le dépôt (une fois)
|
||||
# ./backup.sh sauvegarde tous les services (services/*.sh)
|
||||
# ./backup.sh lisette ... sauvegarde seulement ceux-là
|
||||
# ./backup.sh list [svc...] liste les sauvegardes (filtrables par service)
|
||||
set -euo pipefail
|
||||
|
||||
ROOT=$(cd "$(dirname "${BASH_SOURCE[0]}")" && pwd)
|
||||
source "$ROOT/lib/common.sh"
|
||||
load_config
|
||||
: "${KEEP_DAILY:=7}" "${KEEP_WEEKLY:=4}" "${KEEP_MONTHLY:=12}"
|
||||
|
||||
if [[ "${1:-}" == "--init" ]]; then
|
||||
restic_init
|
||||
exit 0
|
||||
fi
|
||||
|
||||
restic cat config >/dev/null 2>&1 || die "dépôt restic absent/illisible : lance ./backup.sh --init"
|
||||
|
||||
if [[ "${1:-}" == "list" ]]; then
|
||||
shift
|
||||
tags=()
|
||||
for svc in "$@"; do tags+=(--tag "$svc"); done # plusieurs --tag = OU
|
||||
exec restic snapshots --compact "${tags[@]}"
|
||||
fi
|
||||
|
||||
if (( $# )); then
|
||||
services=("$@")
|
||||
else
|
||||
services=()
|
||||
for f in "$ROOT"/services/*.sh; do services+=("$(basename "$f" .sh)"); done
|
||||
fi
|
||||
|
||||
declare -A status=()
|
||||
failed=0
|
||||
for svc in "${services[@]}"; do
|
||||
file="$ROOT/services/$svc.sh"
|
||||
if [[ ! -f "$file" ]]; then
|
||||
warn "service inconnu : $svc"; status[$svc]="INCONNU"; failed=1; continue
|
||||
fi
|
||||
log "=== $svc"
|
||||
# Sous-shell hors contexte conditionnel pour que set -e reste actif dedans,
|
||||
# et qu'un échec n'interrompe pas les services suivants.
|
||||
set +e
|
||||
(
|
||||
set -euo pipefail
|
||||
SERVICE_HOST=""
|
||||
source "$file"
|
||||
[[ -n "$SERVICE_HOST" ]] || die "SERVICE_HOST non défini dans $file"
|
||||
stage="$STAGING_DIR/$svc"
|
||||
rm -rf "$stage"
|
||||
trap 'rm -rf "$stage"' EXIT # le staging contient des secrets en clair
|
||||
( umask 077; mkdir -p "$stage" )
|
||||
backup_service "$stage"
|
||||
restic_store "$svc" "$SERVICE_HOST" "$stage"
|
||||
)
|
||||
rc=$?
|
||||
set -e
|
||||
if (( rc == 0 )); then status[$svc]="OK"; else status[$svc]="ÉCHEC"; failed=1; fi
|
||||
done
|
||||
|
||||
if (( failed == 0 )); then
|
||||
restic_retention
|
||||
else
|
||||
warn "au moins un échec : rétention non appliquée"
|
||||
fi
|
||||
|
||||
echo
|
||||
echo "Résumé :"
|
||||
for svc in "${services[@]}"; do printf ' %-12s %s\n' "$svc" "${status[$svc]}"; done
|
||||
exit "$failed"
|
||||
@@ -0,0 +1,9 @@
|
||||
# Copier en config.env et adapter.
|
||||
RESTIC_REPOSITORY="$HOME/Backups/restic"
|
||||
RESTIC_PASSWORD_FILE="$HOME/.config/backups/restic-password"
|
||||
STAGING_DIR="$HOME/.cache/backups/staging"
|
||||
|
||||
# Rétention (restic forget, groupé par hôte + service)
|
||||
KEEP_DAILY=7
|
||||
KEEP_WEEKLY=4
|
||||
KEEP_MONTHLY=12
|
||||
@@ -0,0 +1,67 @@
|
||||
# Fonctions partagées — sourcé par backup.sh.
|
||||
|
||||
log() { printf '\033[1;34m[%s]\033[0m %s\n' "$(date +%H:%M:%S)" "$*" >&2; }
|
||||
warn() { printf '\033[1;33m[warn]\033[0m %s\n' "$*" >&2; }
|
||||
die() { printf '\033[1;31m[erreur]\033[0m %s\n' "$*" >&2; exit 1; }
|
||||
|
||||
load_config() {
|
||||
local cfg="$ROOT/config.env"
|
||||
[[ -f "$cfg" ]] || die "config.env manquant : cp config.env.example config.env"
|
||||
# shellcheck source=/dev/null
|
||||
source "$cfg"
|
||||
: "${RESTIC_REPOSITORY:?}" "${RESTIC_PASSWORD_FILE:?}" "${STAGING_DIR:?}"
|
||||
export RESTIC_REPOSITORY RESTIC_PASSWORD_FILE
|
||||
}
|
||||
|
||||
# ssh_sqlite_snapshot <hôte> <chemin distant .db> <fichier local de destination>
|
||||
ssh_sqlite_snapshot() {
|
||||
local host=$1 src=$2 dst=$3
|
||||
log "snapshot SQLite $host:$src"
|
||||
ssh -o BatchMode=yes "$host" python3 - "$(printf '%q' "$src")" \
|
||||
< "$ROOT/lib/sqlite_snapshot.py" > "$dst"
|
||||
verify_sqlite "$dst"
|
||||
}
|
||||
|
||||
# verify_sqlite <fichier .db local>
|
||||
verify_sqlite() {
|
||||
local res
|
||||
res=$(sqlite3 "$1" 'PRAGMA integrity_check;') || die "lecture impossible : $1"
|
||||
[[ "$res" == "ok" ]] || die "intégrité KO pour $1 : $res"
|
||||
}
|
||||
|
||||
# pull_files <hôte> <dossier local> <chemin distant>...
|
||||
pull_files() {
|
||||
local host=$1 dest=$2; shift 2
|
||||
local srcs=() p
|
||||
for p in "$@"; do srcs+=("$host:$p"); done
|
||||
log "rsync ${srcs[*]}"
|
||||
rsync -a --protect-args "${srcs[@]}" "$dest/"
|
||||
}
|
||||
|
||||
# restic_store <service> <hôte> <dossier staging>
|
||||
restic_store() {
|
||||
local service=$1 host=$2 dir=$3
|
||||
log "restic backup ($service)"
|
||||
( cd "$dir" && restic backup --quiet --host "$host" --tag "$service" . )
|
||||
}
|
||||
|
||||
restic_init() {
|
||||
if [[ ! -f "$RESTIC_PASSWORD_FILE" ]]; then
|
||||
mkdir -p "$(dirname "$RESTIC_PASSWORD_FILE")"
|
||||
( umask 077; head -c 32 /dev/urandom | base64 > "$RESTIC_PASSWORD_FILE" )
|
||||
warn "mot de passe restic généré dans $RESTIC_PASSWORD_FILE"
|
||||
warn "=> COPIE-LE AILLEURS (Vaultwarden…) : sans lui le dépôt est irrécupérable."
|
||||
fi
|
||||
if restic cat config >/dev/null 2>&1; then
|
||||
log "dépôt déjà initialisé : $RESTIC_REPOSITORY"
|
||||
else
|
||||
mkdir -p "$RESTIC_REPOSITORY"
|
||||
restic init
|
||||
fi
|
||||
}
|
||||
|
||||
restic_retention() {
|
||||
log "rétention (d=$KEEP_DAILY w=$KEEP_WEEKLY m=$KEEP_MONTHLY)"
|
||||
restic forget --quiet --prune --group-by host,tags \
|
||||
--keep-daily "$KEEP_DAILY" --keep-weekly "$KEEP_WEEKLY" --keep-monthly "$KEEP_MONTHLY"
|
||||
}
|
||||
@@ -0,0 +1,31 @@
|
||||
"""Snapshot cohérent d'une base SQLite, écrit sur stdout.
|
||||
|
||||
Exécuté côté serveur via : ssh hôte python3 - <chemin.db> < sqlite_snapshot.py
|
||||
Utilise l'API backup de SQLite : fonctionne à chaud, respecte le WAL.
|
||||
Uniquement la stdlib (le serveur n'a pas forcément le binaire sqlite3).
|
||||
"""
|
||||
import os
|
||||
import shutil
|
||||
import sqlite3
|
||||
import sys
|
||||
import tempfile
|
||||
|
||||
src = sys.argv[1]
|
||||
if not os.path.isfile(src):
|
||||
sys.exit(f"base introuvable : {src}")
|
||||
|
||||
# mode=rw : ne jamais créer une base vide si le chemin est faux.
|
||||
source = sqlite3.connect(f"file:{src}?mode=rw", uri=True)
|
||||
fd, tmp = tempfile.mkstemp(suffix=".db")
|
||||
os.close(fd)
|
||||
try:
|
||||
dest = sqlite3.connect(tmp)
|
||||
with dest:
|
||||
source.backup(dest)
|
||||
dest.close()
|
||||
source.close()
|
||||
with open(tmp, "rb") as f:
|
||||
shutil.copyfileobj(f, sys.stdout.buffer)
|
||||
sys.stdout.buffer.flush()
|
||||
finally:
|
||||
os.unlink(tmp)
|
||||
@@ -0,0 +1,8 @@
|
||||
# Bermite — serveur Leptos sur raspiweb, base SQLite + .env
|
||||
SERVICE_HOST=raspiweb
|
||||
APP_DIR=/home/pi/Scripts/bermite
|
||||
|
||||
backup_service() { # $1 = dossier de staging
|
||||
ssh_sqlite_snapshot "$SERVICE_HOST" "$APP_DIR/bermite.db" "$1/bermite.db"
|
||||
pull_files "$SERVICE_HOST" "$1" "$APP_DIR/.env"
|
||||
}
|
||||
@@ -0,0 +1,8 @@
|
||||
# Lisette — serveur Leptos sur raspiweb, base SQLite + .env
|
||||
SERVICE_HOST=raspiweb
|
||||
APP_DIR=/home/pi/Scripts/lisette
|
||||
|
||||
backup_service() { # $1 = dossier de staging
|
||||
ssh_sqlite_snapshot "$SERVICE_HOST" "$APP_DIR/lisette.db" "$1/lisette.db"
|
||||
pull_files "$SERVICE_HOST" "$1" "$APP_DIR/.env"
|
||||
}
|
||||
Reference in new issue
Block a user