Offene Themen

• OpenUCX bietet verschiedene Parameter für das Buffer-Management
• Im Rahmen dieser Arbeit soll UCX und insbesondere das Buffer-Management beschrieben werden
• Darauf aufbauend sollen Mikrobenchmarks geschrieben werden, um optimale Konfigurationen für verschiedene Workloads experimentell zu bestimmen

• to be written

• In dieser Projekt-/Masterarbeit soll der Apache Plasma Speicher erweitert werden, sodass Daten per RDMA verteilt zugänglich gemacht werden.
• Apache Plasma ist ein Dienst, welcher den Datenaustausch zwischen verschiedenen Big-Data-Systemen auf einer Maschine erlaubt (Shared-Memory lokal)
• Für RDMA soll Open UCX verwendet werden
• Für die Metadaten-Verwaltung soll ein verteilter Key-Value-Store verwendet werden, beispielsweise Redis oder Aerospike

• Plasma Store
  https://arrow.apache.org/blog/2017/08/08/plasma-in-memory-object-store/

KerA is a distributed message broker inspired by Apache Kafka developed by INRIA (Rennes) and University of Luxembourg. KerA focuses on load balancing, fault tolerance and fast networking using InfiniBand. Its implementation builds upon the RAMCloud system. KerA itself does not provide stream analytics but can be integrated with different stream processing system, e.g. Apache Flink. So far the integration is done using Apache Plasma allowing data exchange using shared memory between a KerA process and a Flink instance running on the same machine.

The main objective of this thesis is to replace the current log-structured memory implementation in KerA by RocksDB. The integration interface in KerA for this thesis is the virtual log abstraction which will provide the remote replication for RocksDB. 

The vision (beyond this thesis) is to support different storage solutions depending on the workload characteristics, e.g. FASTER from Microsoft is an alternative to RocksDB. Another aspect is the potential tighter integration of KerA and backend stream systems. For example Flink is also supporting RocksDB for storing states of stateful operators which will make it natural to later share state directly between KerA and Flink using RocksDB (replacing the Apache Plasma interface which still implies copying data between two connected systems if data needs to be persistent.

• Overview of RocksDB and FASTER,
  https://www.youtube.com/watch?v=xWNbbkQMtfI 

• KerA architecture (especially chapter 6),
  https://tel.archives-ouvertes.fr/tel-01972280/file/thesis.pdf

• Example thesis, integrating FASTER in streaming system
  https://www.research-collection.ethz.ch/handle/20.500.11850/362324

• Willingness to study source code of large systems

• Basic knowledge in C++ programming

• Working in an international cooperation

• OpenUCX bietet verschiedene Parameter für das Buffer-Management
• Im Rahmen dieser Arbeit soll UCX und insbesondere das Buffer-Management beschrieben werden
• Darauf aufbauend sollen Mikrobenchmarks geschrieben werden, um optimale Konfigurationen für verschiedene Workloads experimentell zu bestimmen

• to be written

• RUST bietet eine Reihe von Vorteilen für die Systementwicklung, insbesondere Typsicherheit
• Im Rahmen dieser Arbeit soll das hhuOS aus dem Modul "Betriebssystem-Entwicklung" in RUST umgeschrieben werden
• Weitere Infos auf Anfrage.

• Rust, https://www.rust-lang.org
• Writing an OS in RUST https://os.phil-opp.com
• The Case for Writing a Kernel in Rust, https://sing.stanford.edu/site/publications/levy17-rust.pdf 
• Materialien zu hhuOS aus dem Modul "BS-Entwicklung" https://coconucos.cs.uni-duesseldorf.de/lehre/ss_20/bse/

• jextract ist ein Tool von Pamana

• Project Panama : https://openjdk.java.net/projects/panama/

• OpenSHMEM ist eine Schnittstellendefinition für das PGAS-Modell (PGAS = Partioned Global Address Space) was im Prinzip ein Distributed Shared Memory (DSM) für verteilte und parallel Programme ist.
• Beim PGAS-Modell wird i.d.R. nicht die gesamte Speicher gemeinsam genutzt, sondern nur punktuell Variablen oder Datenstrukturen
• Da es sich um eine Schnittstellendefinition handelt gibt es verschiedene Implementierungen. In dieser Arbeit ist OSSS-UCX von Interesse, eine freie Implementierung von OpenSHMEM auf Basis von OpenUCX
  
• Open UCX ist ein Kommunikationsframework (geschrieben in C), welches transparent verschiedene Netzwerktechologien unterstützt u.a. auch InfiniBand
• Ziel dieser Bachelorarbeit ist es OSSS-UCX zu beschreiben, Mikro-Benchmarks zu schreiben und diese auf dem Cluster der Arbeitsgruppe mit InfiniBand-Hardware zu evaluieren

• SHMEM tutorial: http://www.archer.ac.uk/training/course-material/2015/05/pgas_bristol/
• Spezifikation (Juni 2020): http://www.openshmem.org/site/sites/default/site_files/OpenSHMEM-1.5.pdf

• Project Panama : https://openjdk.java.net/projects/panama/
• Vector API : https://openjdk.java.net/jeps/338
• OpenJDK (panama-vector): https://github.com/openjdk/panama-vector
• vector-handle: https://github.com/forax/vector-handle