neoDBMS: Hardware/Software Co-Design for Accelerated
Near-Data Processing in Modern Database Systems.
With advances in semiconductor technologies, it has nowadays become economical to produce combinations of modern semiconductor storage (e.g., Non-Volatile Memories) and powerful compute-units (FPGA, GPU, many-core CPUs) co-located on, or close to, the same chip - yielding intelligent storage devices. Data movements have become a limiting factor in times of exponential data growth, since they are blocking, frequent, and impair scalability. However, existing solution approaches are mainly based on 40-year old architectures, following the paradigm of transporting data to the processing elements. This procedure has both time as well as energy penalties. The "memory wall" and the "von Neumann bottleneck" amplify the negative performance impact of those deficiencies. The present project proposal aims to explore new architectures, abstractions and algorithms for intelligent database storage capable of performing Near-Data Processing (NDP). We target intelligent storage devices, comprising Non-volatile Memories or next-generation 3D-DRAM (such as the HMC), as well as the use of FPGAs as computational-units. We intend to investigate the following research questions: 1) Support for NDP in update-environments and hybrid-workloads. 2) Support for NDP in DBMS on Non-volatile Memories and NDP-support for declarative data layouts. 3) NDP use of shared virtual memory.
Mit den fortgeschrittenen Halbleitertechnologien ist es heutzutage wirtschaftlich geworden, Kombinationen von modernem Halbleiter-Speicher (z.B. nichtflüchtige Speicher) und leistungsstarken Rechnereinheiten (FPGA, GPU, many-core CPU) auf dem gleichen Gerät herzustellen und so intelligente Speichersysteme zu realisieren. Datentransfers sind in Zeiten exponentiellen Datenwachstums zu einem limitierenden Faktor geworden, da sie blockierender Natur sind, häufig auftreten, und die Skalierbarkeit einschränken. Bisherige Lösungsansätze basieren aber überwiegend auf 40 Jahre alten Architekturen, die die Daten vom Speicherort zu einer Verarbeitungseinheit transportieren. Diese Vorgehensweise kostet nicht nur Zeit, sondern hat zunehmend auch einen bemerkbaren Energieaufwand. Die sogenannte "memory wall" und der "von Neumann-bottleneck" verstärken zusätzlich die negativen Auswirkungen. Der vorliegende Projektantrag zielt darauf ab, neue Architekturen, Abstraktionen und Algorithmen für intelligente Datenbankablagen zu erforschen, die stattdessen die Berechnungen unmittelbar in die Nähe der Datenspeicher (NDP) verschieben können. Wir streben intelligente Speichergeräte an, die nichtflüchtige Speicher oder 3D-DRAM der nächsten Generation (wie das HMC), sowie auch FPGAs als hardware-beschleunigte Recheneinheiten umfassen. Wir beabsichtigen, folgende Forschungsfragen zu untersuchen: 1) Unterstützung für NDP auch in Update-Umgebungen und für hybride Arbeitslasten. 2) Unterstützung für NDP in Datenbanksystemen auf nichtflüchtigen Speichern und NDP-Unterstützung für deklarative Daten-Layouts. 3) Einsatz von Shared Virtual Memory in solchen NDP-Umgebungen.
Consortium
Research Topics
- NDP Middleware ,
- Hardware Design
Papers
DANSEN: Database Acceleration on Native
Computational Storage by Exploiting NDP
S. Tamimi, A. Bernhardt, F. Stock, I. Petrov,
A. Koch
In ACM
TRETS
[PDF]
NVMulator: A Configurable Open-Source Non-volatile
Memory Emulator for FPGAs
S. Tamimi, A. Bernhardt, F. Stock, I. Petrov, A. Koch
In Proc. ARC 2023
[PDF]
pimDB: From Main-Memory DBMS to Processing-In-Memory DBMS-Engines
on Intelligent Memories.
A. Bernhardt, A. Koch, I. Petrov.
In Proc. DAMON 2023
[PDF]
Result-Set Management for NDP Operations on Smart Storage.
T. Vincon, C. Knoedler, A. Bernhardt, L. Solis-Vasquez, L. Weber, A. Koch, I.Petrov.
In Proc. DaMoN 2022
[PDF (extended)]
[Video]
An Evaluation of Using CCIX for Cache-Coherent Host-FPGA Interfacing.
S. Tamimi, F. Stock, A. Bernhardt, I. Petrov, A. Koch.
In Proc. FCCM 2022
[PDF]
[Talk]
HiPEAC 2022 Paper Award
Near-Data Processing in Database Systems on Native Computational Storage under
HTAP Workloads.
T. Vincon, C. Knoedler, L. Solis-Vasquez, A. Bernhardt, S. Tamimi, L. Weber, F. Stock,
A. Koch, I. Petrov.
In Proc. VLDB 2022
[PDF]
[Slides]
[Video]
Cache-Coherent Shared Locking for Transactionally Consistent Updates in
Near-Data Processing DBMS on Smart Storage.
A. Bernhardt, S. Tamimi, F. Stock, A. Koch, T. Vincon, I. Petrov.
In Proc. EDBT 2022
[PDF] [Video]
neoDBMS: In-situ Snapshots for Multi-Version DBMS on Native Computational Storage.
A. Bernhardt, S. Tamimi, T. Vincon, C. Knoedler, F. Stock, C Heinz, A. Koch, I. Petrov.
In Proc. ICDE 2022
[PDF]
[Video]
A cost model for NDP-aware query optimization for KV-stores.
C. Knoedler, T. Vincon, A. Bernhardt, L. Solis-Vasquez, L. Weber, I. Petrov, A. Koch.
In Proc. DAMON 2021
[PDF]
[Video]
On the Necessity of Explicit Cross-Layer Data Formats in Near-Data Processing Systems.
L. Weber, T. Vincon, C Knoedler, L. Solis-Vasquez, A. Bernhardt, I. Petrov, A. Koch.
Journal DAPD. 2021
[PDF]
nKV in Action: Accelerating KV-Stores on Native Computational Storage with
Near-Data Processing.
T. Vincon, L. Weber, A. Bernhardt, C. Riegger, S. Hardock, C. Knoedler, F. Stock,
L. Solis-Vasquez, S. Tamimi, A. Koch, I. Petrov.
In Proc. VLDB 2020.
[PDF]
nKV: Near-Data Processing with KV-Stores on Native Computational Storage.
T. Vincon, L. Weber, A. Bernhardt, A. Koch, I. Petrov.
In Proc. DAMON 2020.
[PDF]
On the Necessity of Explicit Cross-Layer DataFormats in Near-Data Processing Systems.
T. Vincon, A. Bernhardt, L. Weber, A. Koch, I. Petrov.
In Proc. HardBD 2020 [PDF].
MV-PBT: Multi-Version Indexing for Large Datasets and HTAP Workloads.
T. Vincon, S. Hardock, C. Riegger, A. Koch, I. Petrov.
In Proc. EDBT 2020 [PDF]