Hallo zusammen,
fast jeder Administrator kennt das Problem, dass gefühlt 90% aller Daten auf seinem Storage System „eh nur Altlasten und Müll“ sind. Beweisen kann er das meist nur schwer.
NetApp bietet in seinen ONTAP Systemen die Möglichkeit die kalten und alten Daten auf Storage (Block) Ebene zu erkennen. So könnt ihr bereits seit ONTAP 9.4 (und das ist schon lange her) das Inactive Data Reporting auf euren ONTAP Storage Systemen aktivieren indem ihr in der CLI eures ONTAP Clusters folgenden Befehl absetzt:
storage aggregate modify -aggregate youraggregatename -is-inactive-data-reporting-enabled true
(Bei neueren ONTAP Versionen ist dieses Feature bereits aktiviert)
Und dann?
Dann wartet ihr mal ein Bisschen… 😉 ONTAP wird nach und nach „merken“ welche eurer Daten wirklich aktiv genutzt werden und welche nicht.
So seht ihr dann in eurem System Manager unter Storage -> Tiers -> Volumes wieviel inaktive also kalten Daten vorhanden sind. Dabei geht ONTAP, je nach Version, davon aus, dass die Blöcke in dem Volume seit mindestens 30 Tagen nicht benutzt wurden. In meinem Demo System sind das etwas um die 230 GB in Summe.
Draussen, „im Feld“, stehen dort TerraByte Werte. Ich kann euch sagen, dass zwischen 70 und 90% der Filedaten seit mehr als 90 Tagen nicht mehr angefasst werden. Eigentlich eine riesen „Verschwendung“ von teurem Speicherplatz.
Wenn ihr also ein All Flash System in Benutzung habt, dann fragt euch, warum ihr vielleicht Unmengen an „teurem“ SSD Speicher für alte und kalte Daten „verschwendet“.
Und was mach ich jetzt mit diesen kalten/alten Daten auf meinem All Flash System?
Gute Frage, schwere Frage… Ihr habt mehrere Möglichkeiten:
Option 0.1: „Ich Lösche einfach die kalten Daten!“
Höhö, die Konzequenz kennt ihr ja selbst 😉
Option 1: Alles lassen wie es ist. „Ich hab eh genug Speicherplatz, das reicht für Jahre“
Glückwunsch zu dieser Option. Ihr und euer Unternehmen hat genug Geld und überschüttet die IT Abteilung mit Ressourcen. Wann darf ich bei euch anfangen?
Option 2: Tiering zu günstigerem Storage bei mir im Haus
Ihr kauft euch ein weiteres Storage System mit günstigen drehenden Spindeln und lagert darauf alle eure kalten und alten Daten aus.
„Hallo Chef, ich weiß wir haben kein Geld für die IT aber ich weiß wie wir nur gaaaaanz wenig anschaffen müssen, um… „RAUUUUSSSS!!!!““
Option 3: Tiering der kalten Daten in die „Die Cloud“
„Hallo Chef, der Speicherplatz auf unserem Primären Speichersystem geht zu neige. Ich habe eine Option mit der wir ohne CAPEX (Capital Expenses) also ohne Investitionen, diese Problem beheben können. Durch eine OPEX (Operational Expenditures) Option im Rahmen eines Storage as a Service können wir unsere alten und kalten Daten zu einem Provider innerhalb Deutschlands auslagern. Damit sparen und verringern wir den Speicherbedarf unseres „teuren“ All Flash Speichers in unserem eigenen Rechenzentrum. Die alten und ungenutzten Daten lagern wir zu einem ISO 27001 und ISO 9001 zertifizierten Anbieter raus. „
Dein Chef überreicht dir den goldenen Eichenlaub Kranz des Mitarbeiters des Jahres, du wirst befördert, fährst nun einen Porsche, ein Kaffee-Brunnen mit deinen Initialen wurde im Büro errichtet, es gibt jeden Abend Freibier in deinem Namen, die IT-Abteilung spielt täglich acht stunden Counterstrike mit 3D Brillen und du bist dabei als HALO Master Seargant unbesiegbar.
… Moment… Counterstrike?… HALO Master Seargent?….
… Dein Traum platzt!
Du wachst auf und merkst, dass du noch in der realen Welt bist.
Aber nicht alles war geträumt. Tiering von kalten Daten gibt es wirklich und ich zeig dir jetzt wie schnell das geht.
Ready to rumble Master Seargent?
Okay lets go!
In deinem ONTAP System Manager, klicke auf Storage-> Tiers(1) -> Add cloud tier (2) -> StorageGRID(3)
Dann füllen wir die Anforderungen aus.
Danach kann ich für jedes Volume einzeln die Tiering Optionen setzen.
Hierbei wähle ich zwischen Snapshot Copies only, Auto, None oder all.
Erläuterung der Cloud Tier Settings:
| Setting | Erklärung |
| Snapshot copies only | Es werden nur Snapshots in das Cloud Tier ausgelagert. |
| Auto | Es werden kalte Blöcke nach einer bestimmten Abklingzeit ausgelagert |
| None | Nichts wird ausgelagert |
| All | Alle eintreffenden Blöcke werden sofort ausgelagert. In diesem und allen anderen Fällen verbleiben jedoch mindestens 10% Metadaten auf der Quelle. |
Nachdem ich nun einige meiner Volumes mittels Cloud Tiering oder auch Fabricpool genannt ausgelagert habe sehe ich schon kurze Zeit später den direkten Nutzen. Hier im Beispiel sind das knapp 55 GB die ich auslagern konnte.
Jetzt fragt ihr euch… Warum sind da zwei grüne Pfeile in der Grafik? Joar das ist ganz einfach. Ich kann das Ziel zu dem ich meine kalten Daten replizieren möchte nämlich auch spiegelen! Also kein singlepoint of failure.
Aber dazu gerne mehr im nächsten Blog Beitrag.
Ich hoffe ich konnte euch helfen, inspirien oder herausfordern. STellt gerne eure Fragen in den Kommentaren
Schöne Grüße
André Unterberg aka DerSchmitz