Ich arbeite in einer großen IT Firma und befasse mich dort vor allem mit Themen der Datenverarbeitung.
Wenn wir die Daten unserer Kunden bekommen, dann fassen wir sie in sogenannten Kafka Clustern zusammen. Doch was jetzt immer mehr zu einem Problem zu werden schein ist, dass die Server all das nicht schnell genug verarbeiten können. Es entsteht eine zu lange Liste der Daten und die Server überlasten und drehen sich ab.
Das Problem dabei ist, dass die eigentlich schon verarbeiteten Daten auch verloren gehen. Wie können wir die sichern oder so?
Hey du!
Ja, so ganz so einfach ist das nicht mit der Datenverarbeitung. Das ist schon ein etwas kompliziertes Thema, das auch schon einiges an Erfahrung voraussetzt, um damit gut umgehen zu können. Bei mir hat das auch einige Zeit gedauert, bis ich da mal durchblicken konnte. Habe sehr viel Literatur gelesen, mich durch Foren gewühlt und mich mit Gleichgesinnten ausgetauscht, die schon wesentlich mehr Erfahrung hatten als ich. Bin auch seit einigen Jahren im IT-Bereich eines Unternehmens tätig, sodass ich dir evt. weiterhelfen kann.
Damit ihr die Datensicherheit gewährleisten könnt, empfehle ich auch die Verwendung von aiven für Kafka Mirromaker:
https://aiven.io/mirrormaker
Aiven für Kafka Mirrormaker ermöglicht es, flexible und sichere Pipelines zur Replikation zwischen Kafka Clustern zu erstellen, sodass die Kontinuität eurer Daten sichergestellt ist. Weiters empfiehlt es sich, die Datenspiegelung der Workload-Cluster auf sogenannte Hilfscluster auszulagern, sodass sich die Latenz verringert. Mithilfe von aiven könnt ihr diese in einer Cloud speichern, sodass ihr immer Zugriff auf diese Daten habt.
Hoffe, dass ich dir einen guten Ansatz geben konnte.
LG
Hast du denn nun das gefunden wonach du gesucht hast ?
Also ich muss ja sagen, dass man aufpassen muss mit dem verarbeiten von Daten. Es kann immer was passieren und aus dem Grund muss man darüber nachdenken, wie man sich absichern kann.
Ich habe mich bei
https://www.hiscox.de/geschaeftskunden/i...t-versicherung/ zur IT Haftpflicht informiert und muss sagen, dass ich wirklich sehr zufrieden bin.
Die bietet wunderbare Leistungen an, im Fall der Fälle ist man wirklich rundum geschützt.
Vielleicht wäre es schlau, wenn du dich zur Versicherung informierst.
