Server/storage-ng: Unterschied zwischen den Versionen

Aus C3D2
Zur Navigation springen Zur Suche springen
(added link to promox bugreport)
Keine Bearbeitungszusammenfassung
(8 dazwischenliegende Versionen von 2 Benutzern werden nicht angezeigt)
Zeile 2: Zeile 2:


Storage-ng nutzt [http://www.ceph.com ceph] um einen verteilten Speicher anzubieten.  
Storage-ng nutzt [http://www.ceph.com ceph] um einen verteilten Speicher anzubieten.  
== Probleme mit Proxmox ==
[https://bugzilla.proxmox.com/show_bug.cgi?id=1943 Bug 1943 - Kworker Process Spinning in ipv[46]_frags_exit_net/inet_frags_exit_net - Creating High Load - Seems to Stem From LXC Restarts]


== storage-ng.hq.c3d2.de ==
== storage-ng.hq.c3d2.de ==
Zeile 15: Zeile 11:
  * tftp
  * tftp
  * TODO: webdav
  * TODO: webdav


Es eine virtuelle Machine im HA modus die direkt auf der Storage Hardware läuft.
Es eine virtuelle Machine im HA modus die direkt auf der Storage Hardware läuft.


[https://github.com/c3d2/server-config/tree/master/nix/storage-ng Konfiguration] über nixos.
<s>[https://github.com/c3d2/server-config/tree/master/nix/storage-ng Konfiguration]</s> über nixos.
 


== Tips ==
== Tips ==
Zeile 34: Zeile 28:
Leider beim Schreiben spürbar langsamer. Wenn es schnell gehen soll in ein normales Verzeichnis schieben und dann auf storage im screen verschieben.
Leider beim Schreiben spürbar langsamer. Wenn es schnell gehen soll in ein normales Verzeichnis schieben und dann auf storage im screen verschieben.


=== Container mit NixOS anlegen ===
== CephFS ==


<code lang=shell>
=== Dashboard ===
pct create $ID local:vztmpl/nixos-container.tar.gz -ostype unmanaged -net0 name=eth0,bridge=vmbr0 -storage vms
</code>


Mehr Optionen sind möglich.
Um sich eine einfache Übersicht zu verschaffen sei auf das [http://server6.core.zentralwerk.org:8080/#/dashboard Ceph-Dashboard] verwiesen.
Mit dem Nutzer k-ot einloggen. Das Dashboard bietet eine guten Überblick über alle involvierten Server und kann einem die Hosts, OSDs, Crush-Maps, Pools
und viele weitere Details mit samt Konfiguration im Browser darstellen.
=== Pools ===


Hinterher noch im Web-Interface den Console Mode von ''tty'' auf ''shell'' ändern.
Daten sind in unterschiedlichen Pools organisiert die unterschiedliche Charakteristiken besitzen.
 
Vor dem ersten ''nixos-rebuild switch'' überhaupt einen Channel hinzufügen:
<code lang=shell>
nix-channel --add https://nixos.org/channels/nixos-18.09 nixos
</code>
 
== Pools ==
 
Daten sind in unterschiedlichen Pools organisiert die unterschiedliche charakteristiken besitzen.
 
<pre>
# rados lspools
# ceph osd lspools
</pre>


: <code lang=shell>rados lspools</code>
: <code lang=shell>ceph osd lspools</code>


{| class="wikitable"
{| class="wikitable"
| Name
|-
| Funktion
! Name
| Hardware
! Funktion
| Replikation
! Hardware
! Replikation
|-
|-
| vms
| vms
Zeile 84: Zeile 68:
| SSD von allen Servern.
| SSD von allen Servern.
| cephfs_metadata (mirror 2/3)
| cephfs_metadata (mirror 2/3)
|-
|}
|}


Zeile 110: Zeile 95:
| osd, mon, mds
| osd, mon, mds
|  
|  
|-
|}
|}


== manuelles einbinden ==
== Einhängen vom CephFS ==
 
Folgende Mountoptionen sind zu setzen:


Folgende Optionen für das Einhängen zu setzen:
<pre>
     172.22.99.13:6789,172.22.99.15:6789,172.22.99.16:6789:/ on /mnt/pve/cephfs type ceph (rw,relatime,name=admin,secret=<hidden>,acl,wsize=16777216,_netdev)
     172.22.99.13:6789,172.22.99.15:6789,172.22.99.16:6789:/ on /mnt/pve/cephfs type ceph (rw,relatime,name=admin,secret=<hidden>,acl,wsize=16777216,_netdev)
     172.22.99.13:6789,172.22.99.15:6789,172.22.99.16:6789:/ on /mnt/pve/cephfs-backups type ceph (rw,relatime,name=admin,secret=<hidden>,acl,wsize=16777216,_netdev)
     172.22.99.13:6789,172.22.99.15:6789,172.22.99.16:6789:/ on /mnt/pve/cephfs-backups type ceph (rw,relatime,name=admin,secret=<hidden>,acl,wsize=16777216,_netdev)
     172.22.99.13:6789,172.22.99.15:6789,172.22.99.16:6789:/ on /mnt/pve/cephfs-iso type ceph (rw,relatime,name=admin,secret=<hidden>,acl,wsize=16777216,_netdev)
     172.22.99.13:6789,172.22.99.15:6789,172.22.99.16:6789:/ on /mnt/pve/cephfs-iso type ceph (rw,relatime,name=admin,secret=<hidden>,acl,wsize=16777216,_netdev)
</pre>

Version vom 8. August 2020, 22:13 Uhr

Storage-NG

Storage-ng nutzt ceph um einen verteilten Speicher anzubieten.

storage-ng.hq.c3d2.de

Um es einfach zu machen den storage zu erreichen, kann man storage-ng.hq.c3d2.de nutzten. Er bietet verschiedene Dienste an, um das darunter liegdende Dateisystem zu erreichen.

* http
* samba
* tftp
* TODO: webdav

Es eine virtuelle Machine im HA modus die direkt auf der Storage Hardware läuft.

Konfiguration über nixos.

Tips

Der default storage pool für das cephfs ist auf mäßige Geschwindigkeit ausgelegt, nicht auf Effizienz. Um ein Verzeichnis effizient zu nutzen kann der archive pool genutzt werden:

 setfattr -n ceph.dir.layout.pool -v cephfs_archive [folder]

Siehe auch Ceph Docu

Leider beim Schreiben spürbar langsamer. Wenn es schnell gehen soll in ein normales Verzeichnis schieben und dann auf storage im screen verschieben.

CephFS

Dashboard

Um sich eine einfache Übersicht zu verschaffen sei auf das Ceph-Dashboard verwiesen. Mit dem Nutzer k-ot einloggen. Das Dashboard bietet eine guten Überblick über alle involvierten Server und kann einem die Hosts, OSDs, Crush-Maps, Pools und viele weitere Details mit samt Konfiguration im Browser darstellen.

Pools

Daten sind in unterschiedlichen Pools organisiert die unterschiedliche Charakteristiken besitzen.

rados lspools
ceph osd lspools
Name Funktion Hardware Replikation
vms Backing store für VMS z.Z. alle SAS und ~300 GB Platten replicated_osd (soll replicated_rule)
cephfs_data Default storage fur cephfs alle 2 TB+ Plaaten. cephfs_data (mirror 1/2)
cephfs_archive Langsamer aber effizienter backing store alle 2 TB+ Plaaten. cephfs_archive (~raid5 k=2 m=1)
cephfs_metadata Metadata cephfs SSD von allen Servern. cephfs_metadata (mirror 2/3)

Hardware Server

Alle Server des Verbundes nehmen proxmox als Betriebsystem.

Server Hardware Services Bemerkungen
server3.hq.c3d2.de osd, mon, mds Default für storage VM
server4.hq.c3d2.de osd, mon
server5.hq.c3d2.de osd, mon, mds

Einhängen vom CephFS

Folgende Optionen für das Einhängen zu setzen:

    172.22.99.13:6789,172.22.99.15:6789,172.22.99.16:6789:/ on /mnt/pve/cephfs type ceph (rw,relatime,name=admin,secret=<hidden>,acl,wsize=16777216,_netdev)
    172.22.99.13:6789,172.22.99.15:6789,172.22.99.16:6789:/ on /mnt/pve/cephfs-backups type ceph (rw,relatime,name=admin,secret=<hidden>,acl,wsize=16777216,_netdev)
    172.22.99.13:6789,172.22.99.15:6789,172.22.99.16:6789:/ on /mnt/pve/cephfs-iso type ceph (rw,relatime,name=admin,secret=<hidden>,acl,wsize=16777216,_netdev)