Themen für Abschlussarbeiten sind in der Regel im Umfeld der aktuellen Forschungsaktivitäten der Abteilung angesiedelt, im Umfeld verteilter Speichersysteme (BigData/Graph-Verarbeitung in Cluster-/Cloud-Umgebungen). Auch eigene Themenvorschläge können berücksichtigt werden, sofern sie thematisch zum Abteilungsprofil passen. Eine Liste möglicher Themen findet sich am Ende der Seite.
Wenn Sie sich bezüglich eines möglichen Themas informieren möchten oder einen eigenen Themenvorschlag haben, sprechen Sie uns an!
Aktuelle Abschlussarbeitsthemen
MASTERPROJEKT
Beschreibung
Infinileap wird an der HHU entwickelt und erlaubt Java-Anwendungen auf Daten in einem entfernten Speicher über InfiniBand RDMA zuzugreifen.
EasyNVJ (Easy Non-Volatile Java) ist eine Bibliothek, ebenfalls an der HHU entwickelt, welche einen strukturierten Zugriff auf Daten, außerhalb des Java-Heaps, ermöglicht, in Hinblick auf NVRAM, also persistente Daten. Hierfür verwendet EasyNVJ Byte-Code Instrumentierung.
In dieser Projekt-/Masterarbeit sollen die beiden Konzepte miteinander verknüpft und erweitert werden
Entsprechende Hardware (RDMA + NVRAM) steht auf dem Cluster der Arbeitsgruppe zur Verfügung
In dieser Masterarbeit soll der Apache Plasma Speicher erweitert werden, sodass Daten per RDMA verteilt zugänglich gemacht werden
Für RDMA soll Open UCX verwendet werden
Für die Metadaten-Verwaltung soll ein verteilter Key-Value-Store verwendet werden, beispielsweise Redis oder Aerospike
MASTERPROJEKT
Beschreibung
KerA is a distributed message broker inspired by Apache Kafka developed by INRIA (Rennes) and University of Luxembourg. KerA focuses on load balancing, fault tolerance and fast networking using InfiniBand. Its implementation builds upon the RAMCloud system. KerA itself does not provide stream analytics but can be integrated with different stream processing system, e.g. Apache Flink. So far the integration is done using Apache Plasma allowing data exchange using shared memory between a KerA process and a Flink instance running on the same machine.
The main objective of this thesis is to replace the current log-structured memory implementation in KerA by RocksDB. The latter can already been used for storing state in Apache Flink which will allow direct data exchange between KerA and Flink through RocksDB avoiding copying data from and to shared space managed by Apache Plasma.
OpenSHMEM ist eine Schnittstellendefinition für das PGAS-Modell (PGAS = Partioned Global Address Space) was im Prinzip ein Distributed Shared Memory (DSM) für verteilte und parallel Programme ist.
Beim PGAS-Modell wird i.d.R. nicht die gesamte Speicher gemeinsam genutzt, sondern nur punktuell Variablen oder Datenstrukturen
Da es sich um eine Schnittstellendefinition handelt gibt es verschiedene Implementierungen. In dieser Arbeit ist OSSS-UCX von Interesse, eine freie Implementierung von OpenSHMEM auf Basis von OpenUCX
Open UCX ist ein Kommunikationsframework (geschrieben in C), welches transparent verschiedene Netzwerktechologien unterstützt u.a. auch InfiniBand
Ziel dieser Bachelorarbeit ist es OSSS-UCX zu beschreiben, Mikro-Benchmarks zu schreiben und diese auf dem Cluster der Arbeitsgruppe mit InfiniBand-Hardware zu evaluieren