Server/storage-ng: Unterschied zwischen den Versionen
Marenz (Diskussion | Beiträge) (added link to promox bugreport) |
Astro (Diskussion | Beiträge) |
||
Zeile 42: | Zeile 42: | ||
Mehr Optionen sind möglich. | Mehr Optionen sind möglich. | ||
Hinterher noch im Web-Interface den Console Mode von ''tty'' auf ''shell'' ändern. | Hinterher noch im Web-Interface den Console Mode von ''tty'' auf ''shell'' ändern und unbedingt das Feature ''nesting'' anmachen. Sonst kann <code>/nix/store</code> nicht r/o mounted werden und dann werden beim Booten versehentlich hässlich Dinge überschrieben. | ||
Vor dem ersten ''nixos-rebuild switch'' überhaupt einen Channel hinzufügen: | Vor dem ersten ''nixos-rebuild switch'' überhaupt einen Channel hinzufügen: |
Version vom 22. Mai 2020, 17:30 Uhr
Storage-NG
Storage-ng nutzt ceph um einen verteilten Speicher anzubieten.
Probleme mit Proxmox
Bug 1943 - Kworker Process Spinning in ipv[46_frags_exit_net/inet_frags_exit_net - Creating High Load - Seems to Stem From LXC Restarts]
storage-ng.hq.c3d2.de
Um es einfach zu machen den storage zu erreichen, kann man storage-ng.hq.c3d2.de nutzten. Er bietet verschiedene Dienste an, um das darunter liegdende Dateisystem zu erreichen.
* http * samba * tftp * TODO: webdav
Es eine virtuelle Machine im HA modus die direkt auf der Storage Hardware läuft.
Konfiguration über nixos.
Tips
Der default storage pool für das cephfs ist auf mäßige Geschwindigkeit ausgelegt, nicht auf Effizienz. Um ein Verzeichnis effizient zu nutzen kann der archive pool genutzt werden:
setfattr -n ceph.dir.layout.pool -v cephfs_archive [folder]
Siehe auch Ceph Docu
Leider beim Schreiben spürbar langsamer. Wenn es schnell gehen soll in ein normales Verzeichnis schieben und dann auf storage im screen verschieben.
Container mit NixOS anlegen
pct create $ID local:vztmpl/nixos-container.tar.gz -ostype unmanaged -net0 name=eth0,bridge=vmbr0 -storage vms
Mehr Optionen sind möglich.
Hinterher noch im Web-Interface den Console Mode von tty auf shell ändern und unbedingt das Feature nesting anmachen. Sonst kann /nix/store
nicht r/o mounted werden und dann werden beim Booten versehentlich hässlich Dinge überschrieben.
Vor dem ersten nixos-rebuild switch überhaupt einen Channel hinzufügen:
nix-channel --add https://nixos.org/channels/nixos-18.09 nixos
Pools
Daten sind in unterschiedlichen Pools organisiert die unterschiedliche charakteristiken besitzen.
# rados lspools # ceph osd lspools
Name | Funktion | Hardware | Replikation |
vms | Backing store für VMS | z.Z. alle SAS und ~300 GB Platten | replicated_osd (soll replicated_rule) |
cephfs_data | Default storage fur cephfs | alle 2 TB+ Plaaten. | cephfs_data (mirror 1/2) |
cephfs_archive | Langsamer aber effizienter backing store | alle 2 TB+ Plaaten. | cephfs_archive (~raid5 k=2 m=1) |
cephfs_metadata | Metadata cephfs | SSD von allen Servern. | cephfs_metadata (mirror 2/3) |
Hardware Server
Alle Server des Verbundes nehmen proxmox als Betriebsystem.
Server | Hardware | Services | Bemerkungen |
server3.hq.c3d2.de | osd, mon, mds | Default für storage VM | |
server4.hq.c3d2.de | osd, mon | ||
server5.hq.c3d2.de | osd, mon, mds |
manuelles einbinden
Folgende Mountoptionen sind zu setzen:
172.22.99.13:6789,172.22.99.15:6789,172.22.99.16:6789:/ on /mnt/pve/cephfs type ceph (rw,relatime,name=admin,secret=<hidden>,acl,wsize=16777216,_netdev) 172.22.99.13:6789,172.22.99.15:6789,172.22.99.16:6789:/ on /mnt/pve/cephfs-backups type ceph (rw,relatime,name=admin,secret=<hidden>,acl,wsize=16777216,_netdev) 172.22.99.13:6789,172.22.99.15:6789,172.22.99.16:6789:/ on /mnt/pve/cephfs-iso type ceph (rw,relatime,name=admin,secret=<hidden>,acl,wsize=16777216,_netdev)