Offene Themen

• Apache Plasma ist ein In-Memory Object-Store, welcher es erlaubt  In-Memory-Daten zwischen Prozessen gemeinsam zu nutzen (als Shared-Memory, auf einem Rechner).
• Häufig wird Apache Arrow mit Plasma kombiniert
  
  • Arrow definiert ein sprach-unabhängiges spalten-orientiertes Speicherformat für flache oder hierarchische Daten
  • Arrow und Plasma erlauben einen einfachen und effizienten Datenaustausch zwischen verschiedenen Frameworks
    
• Apache Flight erlaubt den Datenaustausch zwischen zwei Apache Plasma Instanzen auf verschiedenen Rechnern, mithilfe von Message-Passing, basierend auf Google RPC
• Im Rahmen dieses Projekts soll ein Datenaustausch mithilfe von InfiniBand RDMA zwischen Plasma-Instanzen realisiert werden.
• Hierzu soll Neutrino (entwickelt an der HHU) verwendet werden
• Weitere Informationen:
  • https://arrow.apache.org/docs/python/plasma.html
  • https://arrow.apache.org 
  • https://arrow.apache.org/docs/format/Flight.html
  • https://github.com/hhu-bsinfo/neutrino

• Open UCX ist ein Kommunikationsframework, welches transparent verschiedene Netzwerktechologien unterstützt u.a. auch InfiniBand
• Es gibt bereits ein Java-Binding für UCX, basierend auf JNI und Unsage, welches im Rahmen dieser Projektarbeit durch Panama ersetzt werden soll.
• Panama soll zukünfitg JNI und Unsafe in Java ersetzen und den Zugriff auf native Bibliotheken und Hardware vereinfachen

• In dieser Bachelorarbeit soll der Observatory-Benchmark (entwickelt von der HHU) erweitert werden, sodass auch Open UCX evaluiert werden kann.
  
• Open UCX ist ein Kommunikationsframework, welches transparent verschiedene Netzwerktechologien unterstützt u.a. auch InfiniBand
• Der Observatory-Benchmark hat zum Ziel Java-basierte InfiniBand-Bibliotheken zu evaluieren und zu vergleichen.
• Für Open UCX ist ein rudimentäres Java-Binding vorhanden, welches im Rahmen dieser Arbeit optimiert werden soll 

• In dieser Bachelorarbeit soll ein kleines Testframework für eine C-basierte Speicherverwaltung entwickelt werden.
• Benötigt wird dieses Testframework für den Lehrbetrieb bei dem in einigen Modulen eine Speicherverwaltung in C implementiert wird
• Das Testframework soll in C oder C++ geschrieben werden und mithilfe verschiedern Allokations- und Freigabemuster eine Speicherverwaltung (Funktionen: malloc und free) testen.
• Neben der Zuverlässigkeit sollen auch Aspekte der internen und externen Fragmentierung und ggf. auch Performance berücksichtigt werden.

• Einige Key-Value Systeme verwalten den Arbeitsspeicher als ein Protokoll (engl. log)

• Der Vorteil hierbei ist, dass es zu keiner Fragmentierung kommt, da neue Daten immer am Ende des Log angehängt werden. Damit dies nebenläufig auf Multicore-Rechnern möglich ist, verwenden manche Systeme mehrere Logs

• Ein großer Nachteil entsteht, wenn Daten aktualisiert werden, da dann im Log mehrere Versionen gespeichert sind. Somit muss das Log irgendwann bereinigt werden (engl. cleaner). Dies kann nebenläufig erfolgen wozu das Log in Segmente unterteilt wird und dann die Bereinigung segmentweise erfolgt.

• Damit schneller Daten eingefügt werden können, wurden

• Wie bei allen Systemen wird eine Abbildung des Keys in das Log benötigt.

• In dieser Projektarbeit sollen zunächst recherchiert werden welche Konzepte es gibt, mit welchen Vor- und Nachteilen. Zudem sollen bestehende Lösungen experimentell untersucht werden und ein Ansatz in Java-Unsafe implementiert werden.

Concurrent Log-Structured Memory for Many-Core Key-Value Stores

Log-structured Memory for DRAM-based Storage

• hhuOS ist ein kompakter Betriebssystem für die Lehre

• Es ist ein multitaskingfähiges 32-Bit Betriebssystem für x86 Prozessoren

• Geschrieben ist hhuOS in C++ und C

• In dieser Bachelorarbeit soll ein einfaches Dateisystem für hhuOS geschrieben werden.
• Die Integration erfolgt über die vorhandene VFS-Schnittstelle

Weitere Informationen zu hhuOS finden sich hier.

• Graal: https://cornerwings.github.io/2018/07/graal-native-methods/
• JNA: https://github.com/java-native-access/jna
• Javalution: https://github.com/javolution/javolution

• Project Panama : https://openjdk.java.net/projects/panama/
• jextract : http://cr.openjdk.java.net/~mcimadamore/panama/jextract_distilled.html
• OpenJDK (foreign-jextract): https://github.com/openjdk/panama-foreign
• JMH: https://openjdk.java.net/projects/code-tools/jmh