Server/storage-ng: Unterschied zwischen den Versionen
Poelzi (Diskussion | Beiträge) (init) |
Marenz (Diskussion | Beiträge) (added link to promox bugreport) |
||
(7 dazwischenliegende Versionen von 3 Benutzern werden nicht angezeigt) | |||
Zeile 2: | Zeile 2: | ||
Storage-ng nutzt [http://www.ceph.com ceph] um einen verteilten Speicher anzubieten. | Storage-ng nutzt [http://www.ceph.com ceph] um einen verteilten Speicher anzubieten. | ||
== Probleme mit Proxmox == | |||
[https://bugzilla.proxmox.com/show_bug.cgi?id=1943 Bug 1943 - Kworker Process Spinning in ipv[46]_frags_exit_net/inet_frags_exit_net - Creating High Load - Seems to Stem From LXC Restarts] | |||
== storage-ng.hq.c3d2.de == | == storage-ng.hq.c3d2.de == | ||
Zeile 14: | Zeile 18: | ||
Es eine virtuelle Machine im HA modus die direkt auf der Storage Hardware läuft. | Es eine virtuelle Machine im HA modus die direkt auf der Storage Hardware läuft. | ||
[https://github.com/c3d2/server-config/tree/master/nix/storage-ng Konfiguration] über nixos. | |||
== Tips == | == Tips == | ||
Zeile 27: | Zeile 34: | ||
Leider beim Schreiben spürbar langsamer. Wenn es schnell gehen soll in ein normales Verzeichnis schieben und dann auf storage im screen verschieben. | Leider beim Schreiben spürbar langsamer. Wenn es schnell gehen soll in ein normales Verzeichnis schieben und dann auf storage im screen verschieben. | ||
=== Container mit NixOS anlegen === | |||
<code lang=shell> | |||
pct create $ID local:vztmpl/nixos-container.tar.gz -ostype unmanaged -net0 name=eth0,bridge=vmbr0 -storage vms | |||
</code> | |||
Mehr Optionen sind möglich. | |||
Hinterher noch im Web-Interface den Console Mode von ''tty'' auf ''shell'' ändern. | |||
Vor dem ersten ''nixos-rebuild switch'' überhaupt einen Channel hinzufügen: | |||
<code lang=shell> | |||
nix-channel --add https://nixos.org/channels/nixos-18.09 nixos | |||
</code> | |||
== Pools == | == Pools == | ||
Zeile 61: | Zeile 82: | ||
| cephfs_metadata | | cephfs_metadata | ||
| Metadata cephfs | | Metadata cephfs | ||
| | | SSD von allen Servern. | ||
| cephfs_metadata (mirror 2/3) | | cephfs_metadata (mirror 2/3) | ||
|} | |} | ||
Zeile 90: | Zeile 111: | ||
| | | | ||
|} | |} | ||
== manuelles einbinden == | |||
Folgende Mountoptionen sind zu setzen: | |||
172.22.99.13:6789,172.22.99.15:6789,172.22.99.16:6789:/ on /mnt/pve/cephfs type ceph (rw,relatime,name=admin,secret=<hidden>,acl,wsize=16777216,_netdev) | |||
172.22.99.13:6789,172.22.99.15:6789,172.22.99.16:6789:/ on /mnt/pve/cephfs-backups type ceph (rw,relatime,name=admin,secret=<hidden>,acl,wsize=16777216,_netdev) | |||
172.22.99.13:6789,172.22.99.15:6789,172.22.99.16:6789:/ on /mnt/pve/cephfs-iso type ceph (rw,relatime,name=admin,secret=<hidden>,acl,wsize=16777216,_netdev) |
Version vom 23. April 2019, 22:21 Uhr
Storage-NG
Storage-ng nutzt ceph um einen verteilten Speicher anzubieten.
Probleme mit Proxmox
Bug 1943 - Kworker Process Spinning in ipv[46_frags_exit_net/inet_frags_exit_net - Creating High Load - Seems to Stem From LXC Restarts]
storage-ng.hq.c3d2.de
Um es einfach zu machen den storage zu erreichen, kann man storage-ng.hq.c3d2.de nutzten. Er bietet verschiedene Dienste an, um das darunter liegdende Dateisystem zu erreichen.
* http * samba * tftp * TODO: webdav
Es eine virtuelle Machine im HA modus die direkt auf der Storage Hardware läuft.
Konfiguration über nixos.
Tips
Der default storage pool für das cephfs ist auf mäßige Geschwindigkeit ausgelegt, nicht auf Effizienz. Um ein Verzeichnis effizient zu nutzen kann der archive pool genutzt werden:
setfattr -n ceph.dir.layout.pool -v cephfs_archive [folder]
Siehe auch Ceph Docu
Leider beim Schreiben spürbar langsamer. Wenn es schnell gehen soll in ein normales Verzeichnis schieben und dann auf storage im screen verschieben.
Container mit NixOS anlegen
pct create $ID local:vztmpl/nixos-container.tar.gz -ostype unmanaged -net0 name=eth0,bridge=vmbr0 -storage vms
Mehr Optionen sind möglich.
Hinterher noch im Web-Interface den Console Mode von tty auf shell ändern.
Vor dem ersten nixos-rebuild switch überhaupt einen Channel hinzufügen:
nix-channel --add https://nixos.org/channels/nixos-18.09 nixos
Pools
Daten sind in unterschiedlichen Pools organisiert die unterschiedliche charakteristiken besitzen.
# rados lspools # ceph osd lspools
Name | Funktion | Hardware | Replikation |
vms | Backing store für VMS | z.Z. alle SAS und ~300 GB Platten | replicated_osd (soll replicated_rule) |
cephfs_data | Default storage fur cephfs | alle 2 TB+ Plaaten. | cephfs_data (mirror 1/2) |
cephfs_archive | Langsamer aber effizienter backing store | alle 2 TB+ Plaaten. | cephfs_archive (~raid5 k=2 m=1) |
cephfs_metadata | Metadata cephfs | SSD von allen Servern. | cephfs_metadata (mirror 2/3) |
Hardware Server
Alle Server des Verbundes nehmen proxmox als Betriebsystem.
Server | Hardware | Services | Bemerkungen |
server3.hq.c3d2.de | osd, mon, mds | Default für storage VM | |
server4.hq.c3d2.de | osd, mon | ||
server5.hq.c3d2.de | osd, mon, mds |
manuelles einbinden
Folgende Mountoptionen sind zu setzen:
172.22.99.13:6789,172.22.99.15:6789,172.22.99.16:6789:/ on /mnt/pve/cephfs type ceph (rw,relatime,name=admin,secret=<hidden>,acl,wsize=16777216,_netdev) 172.22.99.13:6789,172.22.99.15:6789,172.22.99.16:6789:/ on /mnt/pve/cephfs-backups type ceph (rw,relatime,name=admin,secret=<hidden>,acl,wsize=16777216,_netdev) 172.22.99.13:6789,172.22.99.15:6789,172.22.99.16:6789:/ on /mnt/pve/cephfs-iso type ceph (rw,relatime,name=admin,secret=<hidden>,acl,wsize=16777216,_netdev)