neoDBMS: Hardware/Software Co-Design for Accelerated


Near-Data Processing in Modern Database Systems.

images/neodbms.png

neoDBMS is a DFG-funded project aiming to explore new architectures, abstractions and algorithms for intelligent database storage capable of performing Near-Data Processing (NDP)and executing data- or compute-intensive DBMS operations in-situ.
With advances in semiconductor technologies, it has nowadays become economical to produce combinations of modern semiconductor storage (e.g., Non-Volatile Memories) and powerful compute-units (FPGA, GPU, many-core CPUs) co-located on, or close to, the same chip - yielding intelligent storage devices. Data movements have become a limiting factor in times of exponential data growth, since they are blocking, frequent, and impair scalability. However, existing solution approaches are mainly based on 40-year old architectures, following the paradigm of transporting data to the processing elements. This procedure has both time as well as energy penalties. The "memory wall" and the "von Neumann bottleneck" amplify the negative performance impact of those deficiencies. The present project proposal aims to explore new architectures, abstractions and algorithms for intelligent database storage capable of performing Near-Data Processing (NDP). We target intelligent storage devices, comprising Non-volatile Memories or next-generation 3D-DRAM (such as the HMC), as well as the use of FPGAs as computational-units. We intend to investigate the following research questions: 1) Support for NDP in update-environments and hybrid-workloads. 2) Support for NDP in DBMS on Non-volatile Memories and NDP-support for declarative data layouts. 3) NDP use of shared virtual memory.


Mit den fortgeschrittenen Halbleitertechnologien ist es heutzutage wirtschaftlich geworden, Kombinationen von modernem Halbleiter-Speicher (z.B. nichtflüchtige Speicher) und leistungsstarken Rechnereinheiten (FPGA, GPU, many-core CPU) auf dem gleichen Gerät herzustellen und so intelligente Speichersysteme zu realisieren. Datentransfers sind in Zeiten exponentiellen Datenwachstums zu einem limitierenden Faktor geworden, da sie blockierender Natur sind, häufig auftreten, und die Skalierbarkeit einschränken. Bisherige Lösungsansätze basieren aber überwiegend auf 40 Jahre alten Architekturen, die die Daten vom Speicherort zu einer Verarbeitungseinheit transportieren. Diese Vorgehensweise kostet nicht nur Zeit, sondern hat zunehmend auch einen bemerkbaren Energieaufwand. Die sogenannte "memory wall" und der "von Neumann-bottleneck" verstärken zusätzlich die negativen Auswirkungen. Der vorliegende Projektantrag zielt darauf ab, neue Architekturen, Abstraktionen und Algorithmen für intelligente Datenbankablagen zu erforschen, die stattdessen die Berechnungen unmittelbar in die Nähe der Datenspeicher (NDP) verschieben können. Wir streben intelligente Speichergeräte an, die nichtflüchtige Speicher oder 3D-DRAM der nächsten Generation (wie das HMC), sowie auch FPGAs als hardware-beschleunigte Recheneinheiten umfassen. Wir beabsichtigen, folgende Forschungsfragen zu untersuchen: 1) Unterstützung für NDP auch in Update-Umgebungen und für hybride Arbeitslasten. 2) Unterstützung für NDP in Datenbanksystemen auf nichtflüchtigen Speichern und NDP-Unterstützung für deklarative Daten-Layouts. 3) Einsatz von Shared Virtual Memory in solchen NDP-Umgebungen.

Consortium

Research Topics

- database architectures and algorithms for NDP,
- NDP Middleware ,
- Hardware Design

Papers