Server/storage-ng: Unterschied zwischen den Versionen
Vater (Diskussion | Beiträge) K (→Pools) |
Keine Bearbeitungszusammenfassung |
||
(4 dazwischenliegende Versionen von einem anderen Benutzer werden nicht angezeigt) | |||
Zeile 2: | Zeile 2: | ||
Storage-ng nutzt [http://www.ceph.com ceph] um einen verteilten Speicher anzubieten. | Storage-ng nutzt [http://www.ceph.com ceph] um einen verteilten Speicher anzubieten. | ||
== storage-ng.hq.c3d2.de == | == storage-ng.hq.c3d2.de == | ||
Zeile 15: | Zeile 11: | ||
* tftp | * tftp | ||
* TODO: webdav | * TODO: webdav | ||
Es eine virtuelle Machine im HA modus die direkt auf der Storage Hardware läuft. | Es eine virtuelle Machine im HA modus die direkt auf der Storage Hardware läuft. | ||
[https://github.com/c3d2/server-config/tree/master/nix/storage-ng Konfiguration] über nixos. | <s>[https://github.com/c3d2/server-config/tree/master/nix/storage-ng Konfiguration]</s> über nixos. | ||
== Tips == | == Tips == | ||
Zeile 34: | Zeile 28: | ||
Leider beim Schreiben spürbar langsamer. Wenn es schnell gehen soll in ein normales Verzeichnis schieben und dann auf storage im screen verschieben. | Leider beim Schreiben spürbar langsamer. Wenn es schnell gehen soll in ein normales Verzeichnis schieben und dann auf storage im screen verschieben. | ||
== | == CephFS == | ||
=== Dashboard === | |||
Um sich eine einfache Übersicht zu verschaffen sei auf das [http://server6.core.zentralwerk.org:8080/#/dashboard Ceph-Dashboard] verwiesen. | |||
Mit dem Nutzer k-ot einloggen. Das Dashboard bietet eine guten Überblick über alle involvierten Server und kann einem die Hosts, OSDs, Crush-Maps, Pools | |||
und viele weitere Details mit samt Konfiguration im Browser darstellen. | |||
=== Pools === | === Pools === | ||
Daten sind in unterschiedlichen Pools organisiert die unterschiedliche | Daten sind in unterschiedlichen Pools organisiert die unterschiedliche Charakteristiken besitzen. | ||
: <code lang=shell>rados lspools</code> | |||
: <code lang=shell>ceph osd lspools</code> | |||
{| class="wikitable" | {| class="wikitable" | ||
Zeile 83: | Zeile 64: | ||
| cephfs_archive (~raid5 k=2 m=1) | | cephfs_archive (~raid5 k=2 m=1) | ||
|- | |- | ||
| | | cephfs_metadata | ||
| Metadata cephfs | | Metadata cephfs | ||
| SSD von allen Servern. | | SSD von allen Servern. |
Version vom 8. August 2020, 22:13 Uhr
Storage-NG
Storage-ng nutzt ceph um einen verteilten Speicher anzubieten.
storage-ng.hq.c3d2.de
Um es einfach zu machen den storage zu erreichen, kann man storage-ng.hq.c3d2.de nutzten. Er bietet verschiedene Dienste an, um das darunter liegdende Dateisystem zu erreichen.
* http * samba * tftp * TODO: webdav
Es eine virtuelle Machine im HA modus die direkt auf der Storage Hardware läuft.
Konfiguration über nixos.
Tips
Der default storage pool für das cephfs ist auf mäßige Geschwindigkeit ausgelegt, nicht auf Effizienz. Um ein Verzeichnis effizient zu nutzen kann der archive pool genutzt werden:
setfattr -n ceph.dir.layout.pool -v cephfs_archive [folder]
Siehe auch Ceph Docu
Leider beim Schreiben spürbar langsamer. Wenn es schnell gehen soll in ein normales Verzeichnis schieben und dann auf storage im screen verschieben.
CephFS
Dashboard
Um sich eine einfache Übersicht zu verschaffen sei auf das Ceph-Dashboard verwiesen. Mit dem Nutzer k-ot einloggen. Das Dashboard bietet eine guten Überblick über alle involvierten Server und kann einem die Hosts, OSDs, Crush-Maps, Pools und viele weitere Details mit samt Konfiguration im Browser darstellen.
Pools
Daten sind in unterschiedlichen Pools organisiert die unterschiedliche Charakteristiken besitzen.
rados lspools
ceph osd lspools
Name | Funktion | Hardware | Replikation |
---|---|---|---|
vms | Backing store für VMS | z.Z. alle SAS und ~300 GB Platten | replicated_osd (soll replicated_rule) |
cephfs_data | Default storage fur cephfs | alle 2 TB+ Plaaten. | cephfs_data (mirror 1/2) |
cephfs_archive | Langsamer aber effizienter backing store | alle 2 TB+ Plaaten. | cephfs_archive (~raid5 k=2 m=1) |
cephfs_metadata | Metadata cephfs | SSD von allen Servern. | cephfs_metadata (mirror 2/3) |
Hardware Server
Alle Server des Verbundes nehmen proxmox als Betriebsystem.
Server | Hardware | Services | Bemerkungen |
server3.hq.c3d2.de | osd, mon, mds | Default für storage VM | |
server4.hq.c3d2.de | osd, mon | ||
server5.hq.c3d2.de | osd, mon, mds |
Einhängen vom CephFS
Folgende Optionen für das Einhängen zu setzen:
172.22.99.13:6789,172.22.99.15:6789,172.22.99.16:6789:/ on /mnt/pve/cephfs type ceph (rw,relatime,name=admin,secret=<hidden>,acl,wsize=16777216,_netdev) 172.22.99.13:6789,172.22.99.15:6789,172.22.99.16:6789:/ on /mnt/pve/cephfs-backups type ceph (rw,relatime,name=admin,secret=<hidden>,acl,wsize=16777216,_netdev) 172.22.99.13:6789,172.22.99.15:6789,172.22.99.16:6789:/ on /mnt/pve/cephfs-iso type ceph (rw,relatime,name=admin,secret=<hidden>,acl,wsize=16777216,_netdev)