Server/storage-ng: Unterschied zwischen den Versionen
Vater (Diskussion | Beiträge) K (→CephFS) |
Vater (Diskussion | Beiträge) |
||
Zeile 5: | Zeile 5: | ||
== Probleme mit Proxmox == | == Probleme mit Proxmox == | ||
[https://bugzilla.proxmox.com/show_bug.cgi?id=1943 Bug 1943 - Kworker Process Spinning in ipv | [https://bugzilla.proxmox.com/show_bug.cgi?id=1943 Bug 1943 - Kworker Process Spinning in ipv[46]_frags_exit_net/inet_frags_exit_net - Creating High Load - Seems to Stem From LXC Restarts] | ||
== storage-ng.hq.c3d2.de == | == storage-ng.hq.c3d2.de == |
Version vom 2. August 2020, 12:49 Uhr
Storage-NG
Storage-ng nutzt ceph um einen verteilten Speicher anzubieten.
Probleme mit Proxmox
storage-ng.hq.c3d2.de
Um es einfach zu machen den storage zu erreichen, kann man storage-ng.hq.c3d2.de nutzten. Er bietet verschiedene Dienste an, um das darunter liegdende Dateisystem zu erreichen.
* http * samba * tftp * TODO: webdav
Es eine virtuelle Machine im HA modus die direkt auf der Storage Hardware läuft.
Konfiguration über nixos.
Tips
Der default storage pool für das cephfs ist auf mäßige Geschwindigkeit ausgelegt, nicht auf Effizienz. Um ein Verzeichnis effizient zu nutzen kann der archive pool genutzt werden:
setfattr -n ceph.dir.layout.pool -v cephfs_archive [folder]
Siehe auch Ceph Docu
Leider beim Schreiben spürbar langsamer. Wenn es schnell gehen soll in ein normales Verzeichnis schieben und dann auf storage im screen verschieben.
Container mit NixOS anlegen
pct create $ID local:vztmpl/nixos-container.tar.gz -ostype unmanaged -net0 name=eth0,bridge=vmbr0 -storage vms
Mehr Optionen sind möglich.
Hinterher noch im Web-Interface den Console Mode von tty auf shell ändern und unbedingt das Feature nesting anmachen. Sonst kann /nix/store
nicht r/o mounted werden und dann werden beim Booten versehentlich hässlich Dinge überschrieben.
Vor dem ersten nixos-rebuild switch überhaupt einen Channel hinzufügen:
nix-channel --add https://nixos.org/channels/nixos-18.09 nixos
CephFS
Pools
Daten sind in unterschiedlichen Pools organisiert die unterschiedliche charakteristiken besitzen.
# rados lspools # ceph osd lspools
Name | Funktion | Hardware | Replikation |
---|---|---|---|
vms | Backing store für VMS | z.Z. alle SAS und ~300 GB Platten | replicated_osd (soll replicated_rule) |
cephfs_data | Default storage fur cephfs | alle 2 TB+ Plaaten. | cephfs_data (mirror 1/2) |
cephfs_archive | Langsamer aber effizienter backing store | alle 2 TB+ Plaaten. | cephfs_archive (~raid5 k=2 m=1) |
cephfs_metadata | Metadata cephfs | SSD von allen Servern. | cephfs_metadata (mirror 2/3) |
Hardware Server
Alle Server des Verbundes nehmen proxmox als Betriebsystem.
Server | Hardware | Services | Bemerkungen |
server3.hq.c3d2.de | osd, mon, mds | Default für storage VM | |
server4.hq.c3d2.de | osd, mon | ||
server5.hq.c3d2.de | osd, mon, mds |
Einhängen vom CephFS
Folgende Optionen für das Einhängen zu setzen:
172.22.99.13:6789,172.22.99.15:6789,172.22.99.16:6789:/ on /mnt/pve/cephfs type ceph (rw,relatime,name=admin,secret=<hidden>,acl,wsize=16777216,_netdev) 172.22.99.13:6789,172.22.99.15:6789,172.22.99.16:6789:/ on /mnt/pve/cephfs-backups type ceph (rw,relatime,name=admin,secret=<hidden>,acl,wsize=16777216,_netdev) 172.22.99.13:6789,172.22.99.15:6789,172.22.99.16:6789:/ on /mnt/pve/cephfs-iso type ceph (rw,relatime,name=admin,secret=<hidden>,acl,wsize=16777216,_netdev)