Offene Themen

• Netty ist ein Client-Server-Framework für Java-Anwendungen
• Es unterstützt verschiedene Transport-Protokolle (blockierend und asynchron) und wird in zahlreichen Projekten verwendet, u.a. Apache Spark und Flink
  
• In dieser Arbeit soll ein RDMA-basierter Transport für netty entwickelt werden

https://netty.io/

• Open UCX ist ein Kommunikationsframework, welches transparent verschiedene Netzwerktechologien unterstützt u.a. auch InfiniBand
• Es gibt bereits ein Java-Binding für UCX, basierend auf JNI und Unsage, welches im Rahmen dieser Projektarbeit durch Panama ersetzt werden soll.
• Panama soll zukünfitg JNI und Unsafe in Java ersetzen und den Zugriff auf native Bibliotheken und Hardware vereinfachen

• Open UCX ist ein Kommunikationsframework, welches transparent verschiedene Netzwerktechologien unterstützt u.a. auch InfiniBand
• Es gibt bereits ein Java-Binding für UCX, basierend auf JNI und Unsage, welches im Rahmen dieser Projektarbeit durch Panama ersetzt werden soll.
• Panama soll zukünfitg JNI und Unsafe in Java ersetzen und den Zugriff auf native Bibliotheken und Hardware vereinfachen

• In dieser Bachelorarbeit soll der Observatory-Benchmark (entwickelt von der HHU) erweitert werden, sodass auch Open UCX evaluiert werden kann.
  
• Open UCX ist ein Kommunikationsframework, welches transparent verschiedene Netzwerktechologien unterstützt u.a. auch InfiniBand
• Der Observatory-Benchmark hat zum Ziel Java-basierte InfiniBand-Bibliotheken zu evaluieren und zu vergleichen.
• Für Open UCX ist ein rudimentäres Java-Binding vorhanden, welches im Rahmen dieser Arbeit optimiert werden soll 

• In dieser Bachelorarbeit soll ein kleines Testframework für eine C-basierte Speicherverwaltung entwickelt werden.
• Benötigt wird dieses Testframework für den Lehrbetrieb bei dem in einigen Modulen eine Speicherverwaltung in C implementiert wird
• Das Testframework soll in C oder C++ geschrieben werden und mithilfe verschiedern Allokations- und Freigabemuster eine Speicherverwaltung (Funktionen: malloc und free) testen.
• Neben der Zuverlässigkeit sollen auch Aspekte der internen und externen Fragmentierung und ggf. auch Performance berücksichtigt werden.

• Einige Key-Value Systeme verwalten den Arbeitsspeicher als ein Protokoll (engl. log)

• Der Vorteil hierbei ist, dass es zu keiner Fragmentierung kommt, da neue Daten immer am Ende des Log angehängt werden. Damit dies nebenläufig auf Multicore-Rechnern möglich ist, verwenden manche Systeme mehrere Logs

• Ein großer Nachteil entsteht, wenn Daten aktualisiert werden, da dann im Log mehrere Versionen gespeichert sind. Somit muss das Log irgendwann bereinigt werden (engl. cleaner). Dies kann nebenläufig erfolgen wozu das Log in Segmente unterteilt wird und dann die Bereinigung segmentweise erfolgt.

• Damit schneller Daten eingefügt werden können, wurden

• Wie bei allen Systemen wird eine Abbildung des Keys in das Log benötigt.

• In dieser Projektarbeit sollen zunächst recherchiert werden welche Konzepte es gibt, mit welchen Vor- und Nachteilen. Zudem sollen bestehende Lösungen experimentell untersucht werden und ein Ansatz in Java-Unsafe implementiert werden.

Concurrent Log-Structured Memory for Many-Core Key-Value Stores

Log-structured Memory for DRAM-based Storage

• Sobald viele Threads gleichzeitig Speicher allozieren wollen, so müssen diese Anfragen synchronisiert werden. Hierzu können Sperren oder Spinlocks verwendet werden.

• Je nachdem wie die Synchronisierung gelöst wurde kann die Skalierbarkeit hinsichtlich der Anzahl Threads dadurch sehr stark eingeschränkt werden

• In der nachstehenden Publikation wurde ein skalierbares nicht-blockierendes Buddy-System veröffentlicht

• In dieser Bachelorarbeit soll dieser Ansatz in Java für den Unsafe-Speicherbereich implementiert und anschließend evaluiert werden

• Der Unsafe-Speicher wird außerhalb des Java-Heaps manuell verwaltet und damit auch außerhalb der Kontrolle des Garbage Collectors

A Non-blocking Buddy System for Scalable Memory Allocation on Multi-core Machine

• hhuOS ist ein kompakter Betriebssystem für die Lehre

• Es ist ein multitaskingfähiges 32-Bit Betriebssystem für x86 Prozessoren

• Geschrieben ist hhuOS in C++ und C

• In dieser Bachelorarbeit soll ein einfaches Dateisystem für hhuOS geschrieben werden.
• Die Integration erfolgt über die vorhandene VFS-Schnittstelle

Weitere Informationen zu hhuOS finden sich hier.

• Auf Basis einer bestehenden Bibliotheken zur Überwachung von InfiniBand-Netzwerken soll eine grafische Oberfläche erstellt werden, welche diese Daten aufbereitet und übersichtlich darstellt

• Die Oberfläche kann beispielsweise mit Grafana erstellt werden
• Die Bibliothek ist in C++ und Java verfügbar

Detector: A small library for reading the performance counters of all InfiniBand devices in a network

jDetector: A JNI-wrapper for Detector

Grafana: The open observability platform

• In dieser Bachelorarbeit soll eine bestehende TCP/IP-Implementierung auf hhuOS portiert werden
• Es gibt beispielsweise kompakte Implementierungen aus dem Embedded Bereich, beispielsweise uIP, siehe unten.
• In hhuOS ist ein Ethernet-Treiber vorhanden

Weitere Informationen zu hhuOS finden sich hier.

Und zu uIP aus Contiki hier.

• Graal: https://cornerwings.github.io/2018/07/graal-native-methods/
• JNA: https://github.com/java-native-access/jna
• Javalution: https://github.com/javolution/javolution

• Project Panama : https://openjdk.java.net/projects/panama/
• jextract : http://cr.openjdk.java.net/~mcimadamore/panama/jextract_distilled.html
• OpenJDK (foreign-jextract): https://github.com/openjdk/panama-foreign
• JMH: https://openjdk.java.net/projects/code-tools/jmh