ReProVide
Anfrageoptimierung und Daten-nahe Verarbeitung auf Rekonfigurierbaren SoCs für Big-Data-Analyse
Dieses Projekt wird durch die Deutsche Forschungsgemeinschaft (DFG) im Rahmen des Schwerpunktprogramms SPP 2037 "Scalable Data Management for Future Hardware" gefördert.
Ziel dieses Projekts ist es, neuartige Hardware und Optimierungstechniken für die skalierbare, leistungsfähige Verarbeitung von Big Data bereitzustellen. Wir zielen insbesondere auf große Datenmengen mit flexiblen Schemata (zeilenorientierte, spaltenorientierte, dokumentenorientierte, irreguläre und/oder nicht-indexierte Daten) sowie auf Datenströme, wie sie in der Klick-Strom-Analyse, in Unternehmensquellen wie E-Mails, Software-Logs und Diskussionsforum-Archiven sowie in Sensoren im Internet of Things (IoT) und Industrie 4.0 zu finden sind. In diesem Bereich untersucht das Projekt das Potenzial Hardware-konfigurierbarer, FPGA-basierter Systems-on-Chip (SoCs) für die Daten-nahe Verarbeitung, bei der Berechnungen direkt bei den Datenquellen stattfinden. Basierend auf FPGA-Technologie und insbesondere deren dynamischer Rekonfiguration schlagen wir eine generische Architektur mit dem Namen ReProVide für die kostengünstige Verarbeitung von Datenbankanfragen vor.
Die Konzepte sollen die Integration von FPGA-basierten Beschleunigern in verfügbare SQL-, NoSQL- und In-Memory-Datenbanksysteme sowie Stream-Processing-Frameworks ermöglichen. Unser Ziel ist es dabei, flüchtige und nichtflüchtige Daten direkt an ReProVide-Knotenpunkte anzuschließen, die nicht nur bereinigte und integrierte Datensätze enthalten, sondern auch zur temporären oder persistenten Speicherung ungereinigter Daten aus neuen Datenquellen und Datenströmen verwendet werden können.
Unser FPGA-basiertes SoC wird vom Lehrstuhl für Informatik 12 vorangetrieben. Es
- verwendet Hardware-Rekonfiguration zur Anpassung von Datenpfaden und Beschleunigern, um verschiedene OLAP- und Data-Mining-Operatoren auf Daten aus solchen heterogenen Datenquellen verarbeiten zu können,
- enthält Management-Techniken zur Generierung lokaler Metadaten, Indexe und Statistiken dieser Datenquellen, um optimierte Datenverarbeitung zu ermöglichen, und
- bietet Schema-on-read-Fähigkeiten für das Datenbank-Management-System (DBMS), das auf das SoC zugreift.
Während die Unterstützung unregelmäßiger Daten (z.B. Graphenverarbeitung) nicht im Fokus unserer Forschung steht, arbeiten wir an einer generischen Entwurfsmethodik, die Erweiterbarkeit durch benutzerdefinierte Funktionen und Datenschemata ermöglicht.
Solche Architekturen, die mit ihrem eigenen lokalen Optimierer ins DBMS integriert sind, erfordern neuartige Techniken zur globalen Abfrageoptimierung, die auf Konzepten aus verteilten und Multi-Database-Systemen basieren. Diese werden vom Lehrstuhl für Informatik 6 entwickelt. Während der lokale Optimierer Statistiken seiner lokalen Daten erstellt, muss der globale Optimierer auf diese Daten und Informationen der Daten-nahen Beschleuniger zugreifen. Anhand dieser Daten entscheidet die globale Abfrageoptimierung dann, welche Operationen auf den ReProVide SoCs berechnet werden und welche nicht. Es ist von entscheidender Bedeutung, dass der Optimierer über genügend Wissen verfügt, um ReProVide in der Abfrageverarbeitung einzusetzen, wann immer es einen Nutzen gibt. Dies erfordert funktionales Wissen (welche Daten und welche Operatoren sind verfügbar) sowie nicht funktionales Wissen (z.B. Kostenschätzungen für die Operatoren). In diesem Projekt soll eine erweiterbare Schnittstelle zur Verfügung gestellt werden, über die der globale Optimierer die zu bearbeitende Anfrage dem ReProVide-System übergeben und das Anfrageergebnis entgegennehmen kann. Darüber hinaus soll aber auch der bidirektionale Austausch von Hinweisen zur Verbesserung der jeweiligen Optimierung ermöglicht werden.
Music from: https://www.musicfox.com
Publikationen
2024
- Hahn T., Schüll D., Wildermann S., Teich J.:
ABACUS: ASIP-based Avro Schema-customizable Parser Acceleration on FPGAs
International Symposium on Design and Diagnostics of Electronic Circuits and Systems (DDECS) (Kielce, 3. April 2024 - 5. April 2024)
In: IEEE Proceedings of the 27th International Symposium on Design and Diagnostics of Electronic Circuits & Systems 2024
DOI: 10.1109/DDECS60919.2024.10508904
BibTeX: Download - Hahn T., Wildermann S., Teich J.:
JSON-CooP: A JSON Decompression/Parsing Co-Design for FPGAs
International Conference on Field-Programmable Logic and Applications (FPL) (Turin, 2. September 2024 - 6. September 2024)
In: IEEE Proceedings of the 34th International Conference on Field-Programmable Logic and Applications 2024
DOI: 10.1109/FPL64840.2024.00012
BibTeX: Download
2023
- Hahn T., Schüll D., Wildermann S., Teich J.:
An FPGA Avro Parser Generator for Accelerated Data Stream Processing
2nd Workshop on Novel Data Management Ideas on Heterogeneous (Co-)Processors (NoDMC) (Dresden, 6. März 2023 - 10. März 2023)
In: Proceedings of the 2nd Workshop on Novel Data Management Ideas on Heterogeneous (Co-)Processors (NoDMC) 2023
DOI: 10.18420/BTW2023-46
BibTeX: Download - Hahn T., Wildermann S., Teich J.:
SPEAR-JSON: Selective parsing of JSON to enable accelerated stream processing on FPGAs
International Conference on Field-Programmable Logic and Applications (FPL) (Göteborg, 4. September 2023 - 8. September 2023)
In: IEEE Proceedings of the 33rd International Conference on Field-Programmable Logic and Applications 2023
DOI: 10.1109/FPL60245.2023.00034
BibTeX: Download
2022
- Becher A.:
Near-Data Query Processing on Heterogeneous FPGA-based Systems (Dissertation, 2022)
URL: https://nbn-resolving.org/urn:nbn:de:bvb:29-opus4-189289
BibTeX: Download - Hahn T., Becher A., Wildermann S., Teich J.:
Raw Filtering of JSON data on FPGAs
Design, Automation and Test in Europe Conference (DATE) (Antwerpen, 14. März 2022 - 23. März 2022)
In: Proceedings of the 2022 Conference & Exhibition on Design, Automation & Test in Europe 2022
DOI: 10.23919/DATE54114.2022.9774696
BibTeX: Download - Hahn T., Wildermann S., Teich J.:
Auto-Tuning of Raw Filters for FPGAs
International Conference on Field-Programmable Logic and Applications (FPL) (Belfast, United Kingdom, 29. August 2022 - 2. September 2022)
In: IEEE Proceedings of the 32nd International Conference on Field-Programmable Logic and Applications 2022
DOI: 10.1109/FPL57034.2022.00036
BibTeX: Download
2020
- Beena Gopalakrishnan Nair L., Becher A., Meyer-Wegener K.:
The ReProVide Query-Sequence Optimization in a Hardware-Accelerated DBMS
16th International Workshop on Data Management on New Hardware Held with ACM SIGMOD/PODS 2020 (Portland, Oregon USA, 15. Juni 2020 - 15. Juni 2020)
In: DaMoN '20: Proceedings of the 16th International Workshop on Data Management on New Hardware 2020
DOI: 10.1145/3399666.3399926
BibTeX: Download - Beena Gopalakrishnan Nair L., Becher A., Meyer-Wegener K., Wildermann S., Teich J.:
SQL Query Processing Using an Integrated FPGA-based Near-Data Accelerator in ReProVide
23rd International Conference on Extending Database Technology (Copenhagen, 30. März 2020 - 2. April 2020)
In: Proceedings of EDBT 2020
BibTeX: Download
2019
- Becher A., Herrmann A., Wildermann S., Teich J.:
ReProVide: Towards Utilizing Heterogeneous Partially Reconfigurable Architectures for Near-Memory Data Processing
1st Workshop on Novel Data Management Ideas on Heterogeneous (Co-)Processors (NoDMC) at 18. Fachtagung für "Datenbanksysteme für Business, Technologie und Web" (Universität Rostock, 4. März 2019 - 8. März 2019)
In: Gesellschaft für Informatik, Bonn (Hrsg.): Proceedings of the 1st Workshop on Novel Data Management Ideas on Heterogeneous (Co-)Processors (NoDMC), Bonn: 2019
DOI: 10.18420/btw2019-ws-04
URL: https://dl.gi.de/handle/20.500.12116/21825
BibTeX: Download - Becher A., Teich J.:
In situ Statistics Generation within partially reconfigurable Hardware Accelerators for Query Processing
15th International Workshop on Data Management on New Hardware (DaMoN) Held with ACM SIGMOD/PODS 2019 (Amsterdam, 1. Juli 2019 - 1. Juli 2019)
DOI: 10.1145/3329785.3329936
BibTeX: Download - Plagwitz P., Streit FJ., Becher A., Wildermann S., Teich J.:
Compiler-Based High-Level Synthesis of Application-Specific Processors on FPGAs
International Conference on ReConFigurable Computing and FPGAs (ReConFig) (Cancún, Mexico, 9. Dezember 2019 - 11. Dezember 2019)
In: IEEE Proceedings of the 14th International Conference on ReConFigurable Computing and FPGAs 2019
DOI: 10.1109/ReConFig48160.2019.8994778
BibTeX: Download
2018
- Becher A., Beena Gopalakrishnan Nair L., Broneske D., Drewes T., Gurumurthy B., Meyer-Wegener K., Pionteck T., Saake G., Teich J., Wildermann S.:
Integration of FPGAs in Database Management Systems: Challenges and Opportunities
In: Datenbank-Spektrum (2018)
ISSN: 1618-2162
DOI: 10.1007/s13222-018-0294-9
BibTeX: Download - Becher A., Wildermann S., Teich J.:
Optimistic Regular Expression Matching on FPGAs for Near-Data Processing
Data Management on New Hardware (DaMoN) (Houston, Texas, 11. Juni 2018 - 11. Juni 2018)
DOI: 10.1145/3211922.3211926
BibTeX: Download - Echavarria Gutiérrez JA., Schütz K., Becher A., Wildermann S., Teich J.:
Can Approximate Computing Reduce Power Consumption on FPGAs?
25th IEEE International Conference on Electronics Circuits and Systems (Bordeaux, 9. Dezember 2018 - 12. Dezember 2018)
In: Proceedings of IEEE International Conference on Electronics Circuits and Systems 2018
DOI: 10.1109/icecs.2018.8618062
BibTeX: Download
2016
- Becher A., Wildermann S., Mühlenthaler M., Teich J.:
ReOrder: Runtime Datapath Generation for High-Throughput Multi-Stream Processing
International Conference on Reconfigurable Computing and FPGAs (ReConFig) (Cancún)
In: Proceedings of the International Conference on Reconfigurable Computing and FPGAs 2016
DOI: 10.1109/ReConFig.2016.7857185
BibTeX: Download