VERBUNDPROJEKT — ZIM

In-Memory, Parallelisierung und Scheduling-Optimierung

CONWEAVER GmbH stärkt ihre Technologiebasis mit erfolgreich abgeschlossenem Forschungsprojekt. Das Projekt mit dem Titel „Entwicklung einer hauptspeicher-residenten Steuerung für Echtzeit-Aktualisierungen von Wissensnetzen“ wurde vom Bundesministerium für Wirtschaft und Energie (BMWi) im Rahmen des Zentralen Innovationsprogramm Mittelstand (ZIM) gefördert. Die Ausführung von Analyse-Workflows „in-memory“, die Parallelisierung und das Entkoppeln von Berechnungs-Pipelines, Engpässe beim Lesen/Schreiben aus Datenbanken etc. wurden dabei optimiert durch Kombination von Scheduling-Algorithmen mit Streaming-Verfahren. Dies ermöglicht beispielsweise schnelle Berechnungen von Änderungsauswirkungen (Change Impact Analysis) in der digitalen Entwicklung von Automobil- oder Flugzeug-Varianten.

In der digitalen Produktentwicklung ist die Vernetzung verteilt vorliegender Produkt- und Entwicklungsdaten ein wichtiger Schlüssel zum Erfolg. Im Bereich des Automobil- oder Flugzeugbaus muss das Zusammenspiel tausender technischer Komponenten orchestriert werden: Jede Komponente arbeitet im Verbund mit weiteren Komponenten. Bei der Entwicklung einzelner Komponenten müssen die interdisziplinär arbeitenden Teams von Ingenieuren vielfältige Zusammenhänge, zum Beispiel zwischen Anforderungen, anderen Bauteilen, Baugruppen oder Konfigurationen, berücksichtigen. Eine Änderung an einem Entwicklungsartefakt kann Auswirkungen auf viele andere Artefakte haben.

Semantische Wissensnetze, wie sie die CONWEAVER GmbH entwickelt und vertreibt, unterstützen die Recherchen nach Entwicklungsdaten, wie zum Beispiel Bauteilen, Varianten und ihren Zusammenhängen über Abteilungs- und IT-Grenzen hinweg. Bedingt durch die üblicherweise sehr große Anzahl von Engineering-Daten wird ein Wissensnetz zuerst vorberechnet und dann iterativ erweitert. Ein Entwicklungsingenieur erhält sehr schnelle Ergebnisse aus dem Netz, welches selbst aber nicht schnell änderbar ist.

Mit der täglich wachsenden Anzahl weiterer Daten, z. B. Produkt-, Entwicklungs- und Variantendaten, werden auch die Vorberechnungen von Änderungsauswirkungen immer zeitaufwendiger. Mehr Hardware ist nur Teil der Lösung, denn mit mehr Prozessorkraft oder mit größerem Hauptspeicher wächst auch der Aufwand für die interne Steuerung der Datenflüsse zwischen diesen Hardware-Teilen.

Die andere Seite der Lösung besteht in einer intelligenten softwareseitigen Steuerung der Datenflüsse über alle an einer Berechnung beteiligten Analytics-Komponenten. Dieser zweite Teil der Lösung war das Ergebnis des Forschungsprojekts: Eine spezialisierte In-Memory-Steuerung zur optimierten parallelisierten Workflow-Ausführung der CONWEAVER-Module, die für die Verarbeitung der Engineering-Daten verantwortlich sind.

„Technisch herausfordernd im Projekt waren die Auflösung von schwierig parallelisierbaren Abhängigkeiten in unseren Analyse-Workflows und die Minimierung von Flaschenhälsen im Datendurchsatz entlang unserer gesamten Verarbeitungskette, von der ersten Datenbank-Lese-Operation bis zur finalen Darstellung von Berechnungsergebnissen auf den Frontends beim Kunden. Unser Ziel war es, die benötigte Zeit für komplexe semantische „Small Data“ Update-Operationen zu minimieren, im Zusammenspiel mit „Big Data“-Operationen, die nicht in den Hauptspeicher passen. Um dieses Ziel zu erreichen, mussten wir durch unsere Architektur hindurch sozusagen ein Hochgeschwindigkeitsgleis verlegen und viele Stellwerke neu verschalten. Auf dem neuen Gleis fahren jetzt die schnellen In-Memory Update-Operationen.“

Joachim Caspar, CONWEAVER GmbH

„Technisch herausfordernd im Projekt waren die Auflösung von schwierig parallelisierbaren Abhängigkeiten in unseren Analyse-Workflows und die Minimierung von Flaschenhälsen im Datendurchsatz entlang unserer gesamten Verarbeitungskette, von der ersten Datenbank-Lese-Operation bis zur finalen Darstellung von Berechnungsergebnissen auf den Frontends beim Kunden. Unser Ziel war es, die benötigte Zeit für komplexe semantische „Small Data“ Update-Operationen zu minimieren, im Zusammenspiel mit „Big Data“-Operationen, die nicht in den Hauptspeicher passen. Um dieses Ziel zu erreichen, mussten wir durch unsere Architektur hindurch sozusagen ein Hochgeschwindigkeitsgleis verlegen und viele Stellwerke neu verschalten. Auf dem neuen Gleis fahren jetzt die schnellen In-Memory Update-Operationen.“

Joachim Caspar, CONWEAVER GmbH

Projektrahmen

Das Projekt „Entwicklung einer hauptspeicherresidenten Steuerung für Echtzeit-Aktualisierungen von Wissensnetzen“ lief vom Dezember 2014 bis Februar 2016 und wurde mit 140.000 EUR vom Bundesministerium für Wirtschaft und Energie (BMWi) im Rahmen des Zentralen Innovationsprogramm Mittelstand (ZIM) unter der Nummer EP141075 gefördert.

Ingenieur-Teams, die zum Beispiel eine Produktvariante entwickeln, benötigen oft Tage oder sogar Wochen, um Änderungsauswirkungen von Bauteilen oder Konfigurationen berechnen und angleichen zu können. Mit Hilfe von Wissensnetzen und der neuen In-Memory-Fähigkeit werden sie nun mit automatischen Vorberechnungen für Change Impact Analysis fast in Echtzeit unterstützt. Kunden der CONWEAVER GmbH profitieren enorm von ihren verkürzten Innovationszyklen bei der Entwicklung ihrer Produkte.

Dr. Thomas Kamps (CONWEAVER GmbH) beschreibt das Projektergebnis mit Hilfe einer Analogie: „Bisher haben wir ein Containerschiff gebaut, welches zuverlässig sehr große Ladungen transportiert, z. B. in 3 Wochen von den USA nach Europa. Dies entspricht den „Big Data“-Verarbeitungen, bei denen es hauptsächlich darauf ankommt, wieviel transportiert wird, aber nicht wie lange der Transport dauert. Jetzt können wir auch kontinuierlich kleine Überschallflieger die gleiche Strecke hin- und herschicken. Dies entspricht den schnellen Berechnungen von z. B. Änderungsauswirkungen.“

Weitere Informationen

CASE STUDIES

CUSTOMER SUCCESS

Bilfinger SE

Wissensmanagement Optimierung mit Linksphere

Expertenwissen und Erfahrungen aus Projekten im Unternehmen weiterzugeben war und ist eine der zentralen Aufgaben der Bilfinger SE. Gemeinsam mit Wissenschaftlern der Fraunhofer-Gesellschaft wurde ein semantisches Suchsystem entwickelt, das mit nur einer Suchanfrage die unterschiedlichsten Anwendungen vernetzt.

GENERAL MOTORS

Informations- und Recherchelösung SmartSearch

Entwicklungsprozesse in Automotive sind komplex. Ingenieure wirken dabei weltweit an der Entstehung verschiedener Fahrzeugmodelle mit. Dafür nutzen Automobilbauer wie General Motors (GM) unterschiedlichste Product Data Management (PDM)-Systeme. Jedes hat seine eigene Benutzeroberfläche, ist in sich abgeschlossen und besitzt eine spezielle Zugriffslogik. „Brücken“ zwischen ihnen waren bis vor kurzem oft nicht vorhanden.

Bilfinger SE

Wissensmanagement Optimierung mit Linksphere

Expertenwissen und Erfahrungen aus Projekten im Unternehmen weiterzugeben war und ist eine der zentralen Aufgaben der Bilfinger SE. Gemeinsam mit Wissenschaftlern der Fraunhofer-Gesellschaft wurde ein semantisches Suchsystem entwickelt, das mit nur einer Suchanfrage die unterschiedlichsten Anwendungen vernetzt.

GENERAL MOTORS

Informations- und Recherchelösung SmartSearch

Entwicklungsprozesse in Automotive sind komplex. Ingenieure wirken dabei weltweit an der Entstehung verschiedener Fahrzeugmodelle mit. Dafür nutzen Automobilbauer wie General Motors (GM) unterschiedlichste Product Data Management (PDM)-Systeme. Jedes hat seine eigene Benutzeroberfläche, ist in sich abgeschlossen und besitzt eine spezielle Zugriffslogik. „Brücken“ zwischen ihnen waren bis vor kurzem oft nicht vorhanden.

BRANCHEN
WIR DENKEN AUS DER SICHT DES KUNDEN
BRANCHEN
WIR DENKEN AUS DER SICHT DES KUNDEN