Offene Themen

• OpenUCX bietet verschiedene Parameter für das Buffer-Management
• Im Rahmen dieser Arbeit soll UCX und insbesondere das Buffer-Management beschrieben werden
• Darauf aufbauend sollen Mikrobenchmarks geschrieben werden, um optimale Konfigurationen für verschiedene Workloads experimentell zu bestimmen

• to be written
• OpenUCX, https://www.openucx.org/

• Infinileap wird an der HHU entwickelt und erlaubt Java-Anwendungen auf Daten in einem entfernten Speicher über InfiniBand RDMA zuzugreifen.

• EasyNVJ (Easy Non-Volatile Java) ist eine Bibliothek, ebenfalls an der HHU entwickelt, welche einen strukturierten Zugriff auf Daten, außerhalb des Java-Heaps, ermöglicht, in Hinblick auf NVRAM, also persistente Daten. Hierfür verwendet EasyNVJ Byte-Code Instrumentierung.

• In dieser Projekt-/Masterarbeit sollen die beiden Konzepte miteinander verknüpft und erweitert werden
• Entsprechende Hardware (RDMA + NVRAM) steht auf dem Cluster der Arbeitsgruppe zur Verfügung

• Code zu Infinileap: https://github.com/hhu-bsinfo/infinileap
• Infos EasyNVJ auf Anfrage

• In dieser Masterarbeit soll der Apache Plasma Speicher erweitert werden, sodass Daten per RDMA verteilt zugänglich gemacht werden
• Für RDMA soll Open UCX verwendet werden
• Für die Metadaten-Verwaltung soll ein verteilter Key-Value-Store verwendet werden, beispielsweise Redis oder Aerospike

KerA is a distributed message broker inspired by Apache Kafka developed by INRIA (Rennes) and University of Luxembourg. KerA focuses on load balancing, fault tolerance and fast networking using InfiniBand. Its implementation builds upon the RAMCloud system. KerA itself does not provide stream analytics but can be integrated with different stream processing system, e.g. Apache Flink. So far the integration is done using Apache Plasma allowing data exchange using shared memory between a KerA process and a Flink instance running on the same machine.

The main objective of this thesis is to replace the current log-structured memory implementation in KerA by RocksDB. The latter can already been used for storing state in Apache Flink which will allow direct data exchange between KerA and Flink through RocksDB avoiding copying data from and to shared space managed by Apache Plasma.

• Overview of RocksDB and FASTER,
  https://www.youtube.com/watch?v=xWNbbkQMtfI 

• KerA architecture (especially chapter 6),
  https://tel.archives-ouvertes.fr/tel-01972280/file/thesis.pdf

• Example thesis, integrating FASTER in streaming system
  https://www.research-collection.ethz.ch/handle/20.500.11850/362324RocksDB overview,

• RocksDB overview, https://github.com/facebook/rocksdb/wiki/RocksDB-Overview
• Paper about RocksDB write operations, https://research.fb.com/wp-content/uploads/2017/01/rocksdb.pdf
• Using RocksDB in Apache Flink, https://flink.apache.org/2021/01/18/rocksdb.html

• Willingness to study source code of large systems

• Basic knowledge in C++ programming

• Working in an international cooperation

• OpenUCX bietet verschiedene Parameter für das Buffer-Management
• Im Rahmen dieser Arbeit soll UCX und insbesondere das Buffer-Management beschrieben werden
• Darauf aufbauend sollen Mikrobenchmarks geschrieben werden, um optimale Konfigurationen für verschiedene Workloads experimentell zu bestimmen

• OpenUCX, https://www.openucx.org/

• RUST bietet eine Reihe von Vorteilen für die Systementwicklung, insbesondere Typsicherheit
• Im Rahmen dieser Arbeit soll das hhuOS aus dem Modul "Betriebssystem-Entwicklung" in RUST umgeschrieben werden
• Weitere Infos auf Anfrage.

• Rust, https://www.rust-lang.org
• Writing an OS in RUST https://os.phil-opp.com
• The Case for Writing a Kernel in Rust, https://sing.stanford.edu/site/publications/levy17-rust.pdf 
• Materialien zu hhuOS aus dem Modul "BS-Entwicklung" https://coconucos.cs.uni-duesseldorf.de/lehre/ss_20/bse/

• OpenSHMEM ist eine Schnittstellendefinition für das PGAS-Modell (PGAS = Partioned Global Address Space) was im Prinzip ein Distributed Shared Memory (DSM) für verteilte und parallel Programme ist.
• Beim PGAS-Modell wird i.d.R. nicht die gesamte Speicher gemeinsam genutzt, sondern nur punktuell Variablen oder Datenstrukturen
• Da es sich um eine Schnittstellendefinition handelt gibt es verschiedene Implementierungen. In dieser Arbeit ist OSSS-UCX von Interesse, eine freie Implementierung von OpenSHMEM auf Basis von OpenUCX
  
• Open UCX ist ein Kommunikationsframework (geschrieben in C), welches transparent verschiedene Netzwerktechologien unterstützt u.a. auch InfiniBand
• Ziel dieser Bachelorarbeit ist es OSSS-UCX zu beschreiben, Mikro-Benchmarks zu schreiben und diese auf dem Cluster der Arbeitsgruppe mit InfiniBand-Hardware zu evaluieren

• SHMEM tutorial: http://www.archer.ac.uk/training/course-material/2015/05/pgas_bristol/
• Spezifikation (Juni 2020): http://www.openshmem.org/site/sites/default/site_files/OpenSHMEM-1.5.pdf
• OpenUCX, https://www.openucx.org/

• Project Panama : https://openjdk.java.net/projects/panama/
• Vector API : https://openjdk.java.net/jeps/338
• OpenJDK (panama-vector): https://github.com/openjdk/panama-vector
• vector-handle: https://github.com/forax/vector-handle

• Naos bietet RDMA für Java, ohne Serialisierung, direkt zwischen zwei Java-Hepas
• Es handelt sich um einen sehr neuen Prototyp für OpenJDK 11
• Im Rahmen dieser Arbeit soll Naos experimentell auf dem Cluster der Abteilung evaluiert werden. Hierzu soll der PageRank-Algorithmus mithilfe von Naos verteilt realsiiert werden.

• Naos (Paper + Präsentation):
  https://www.usenix.org/conference/atc21/presentation/taranov
• Code: https://github.com/spcl/naos