Seitenhistorie

• OpenUCX bietet verschiedene Parameter für das Buffer-Management
• Im Rahmen dieser Arbeit soll UCX und insbesondere das Buffer-Management beschrieben werden
• Darauf aufbauend sollen Mikrobenchmarks geschrieben werden, um optimale Konfigurationen für verschiedene Workloads experimentell zu bestimmen

• to be written
• OpenUCX, https://www.openucx.org/

• Infinileap wird an der HHU entwickelt und erlaubt Java-Anwendungen auf Daten in einem entfernten Speicher über InfiniBand RDMA zuzugreifen.

• EasyNVJ (Easy Non-Volatile Java) ist eine Bibliothek, ebenfalls an der HHU entwickelt, welche einen strukturierten Zugriff auf Daten, außerhalb des Java-Heaps, ermöglicht, in Hinblick auf NVRAM, also persistente Daten. Hierfür verwendet EasyNVJ Byte-Code Instrumentierung.

• In dieser Projekt-/Masterarbeit sollen die beiden Konzepte miteinander verknüpft und erweitert werden
• Entsprechende Hardware (RDMA + NVRAM) steht auf dem Cluster der Arbeitsgruppe zur Verfügung

• Code zu Infinileap: https://github.com/hhu-bsinfo/infinileap
• Infos EasyNVJ auf Anfrage

KerA is a distributed message broker inspired by Apache Kafka developed by INRIA (Rennes) and University of Luxembourg. KerA focuses on load balancing, fault tolerance and fast networking using InfiniBand. Its implementation builds upon the RAMCloud system. KerA itself does not provide stream analytics but can be integrated with different stream processing system, e.g. Apache Flink. So far the integration is done using Apache Plasma allowing data exchange using shared memory between a KerA process and a Flink instance running on the same machine.

The main objective of this thesis is to replace the current log-structured memory implementation in KerA by RocksDB. The latter can already been used for storing state in Apache Flink which will allow direct data exchange between KerA and Flink through RocksDB avoiding copying data from and to shared space managed by Apache Plasma.

Project JDFlight (Java Direct Flight) aims at providing ultra-fast networking for Java-based big-data applica?ons, which rely on Apache Arrow [1], a unified columnar inmemory data format. This shall be achieved by implementing a transport compatible with Apache Flight, based on UCX, providing Remote Direct Memory Access (RDMA) to Apache Arrow buffers using project Panama.

• OpenUCX bietet verschiedene Parameter für das Buffer-Management
• Im Rahmen dieser Arbeit soll UCX und insbesondere das Buffer-Management beschrieben werden
• Darauf aufbauend sollen Mikrobenchmarks geschrieben werden, um optimale Konfigurationen für verschiedene Workloads experimentell zu bestimmen

• https://

• arrow.

• apache.org

• RUST bietet eine Reihe von Vorteilen für die Systementwicklung, insbesondere Typsicherheit
• Im Rahmen dieser Arbeit soll das hhuOS aus dem Modul "Betriebssystem-Entwicklung" in RUST umgeschrieben werden
• Weitere Infos auf Anfrage.

• OpenSHMEM ist eine Schnittstellendefinition für das PGAS-Modell (PGAS = Partioned Global Address Space) was im Prinzip ein Distributed Shared Memory (DSM) für verteilte und parallel Programme ist.
• Beim PGAS-Modell wird i.d.R. nicht die gesamte Speicher gemeinsam genutzt, sondern nur punktuell Variablen oder Datenstrukturen
• Da es sich um eine Schnittstellendefinition handelt gibt es verschiedene Implementierungen. In dieser Arbeit ist OSSS-UCX von Interesse, eine freie Implementierung von OpenSHMEM auf Basis von OpenUCX
  
• Open UCX ist ein Kommunikationsframework (geschrieben in C), welches transparent verschiedene Netzwerktechologien unterstützt u.a. auch InfiniBand
• Ziel dieser Bachelorarbeit ist es OSSS-UCX zu beschreiben, Mikro-Benchmarks zu schreiben und diese auf dem Cluster der Arbeitsgruppe mit InfiniBand-Hardware zu evaluieren

• SHMEM tutorial: http://www.archer.ac.uk/training/course-material/2015/05/pgas_bristol/
• Spezifikation (Juni 2020): http://www.openshmem.org/site/sites/default/site_files/OpenSHMEM-1.5.pdf
• OpenUCX, https://www.openucx.org/

Für dieses Thema werden Kenntnisse im Bereich des Java Bytecodes sowie der Java Virtual Machine vorausgesetzt.

• Project Panama : https://openjdk.java.net/projects/panama/
• Vector API : https://openjdk.java.net/jeps/338
• OpenJDK (panama-vector): https://github.com/openjdk/panama-vector
• vector-handle: https://github.com/forax/vector-handle

• Naos bietet RDMA für Java, ohne Serialisierung, direkt zwischen zwei Java-Hepas
• Es handelt sich um einen sehr neuen Prototyp für OpenJDK 11
• Im Rahmen dieser Arbeit soll Naos experimentell auf dem Cluster der Abteilung evaluiert werden. Hierzu soll der PageRank-Algorithmus mithilfe von Naos verteilt realsiiert werden.