Unser derzeitiges, von fossilen Brennstoffen getragenes Energieversorgungssystem in eine nachhaltige und vollst?ndig durch erneuerbare Energien gepr?gte Struktur zu transformieren, ist eine zentrale gesellschaftliche Herausforderung des 21. Jahrhunderts. Wie diese Herausforderung bew?ltigt werden k?nnte, erforschen Dr.-Ing. Oliver Wallscheid vom Institut für Elektrotechnik und Prof. Dr. Eyke Hüllermeier vom Institut für Informatik in einem gemeinsamen Forschungsprojekt. Für ihr Vorhaben mit dem Titel ?Reinforcement Learning in Micro- und Smartgrids: Sichere, datengetriebene Betriebsstrategien für komplexe Energiesysteme“ erhalten die beiden Wissenschaftler jetzt den mit 150.000 Euro dotierten Forschungspreis der Universit?t Paderborn.
Grundlagen für die nachhaltige Energiewende schaffen
Das deutsche bzw. zentraleurop?ische Energienetz zeichnet sich derzeit durch konventionelle und hierarchisch angelegte Top-Down-Strukturen aus. Dies bedeutet, dass die Energie ma?geblich durch konventionelle Gro?kraftwerke (z. B. Kohle) bereitgestellt wird und dann über lange Transportwege zu den Verbrauchern in Industrie, Gewerbe und in den Haushalten gebracht wird. Um aber die n?tige Voraussetzung für eine erfolgreiche und nachhaltige Energiewende zu schaffen, sei laut Wallscheid und Hüllermeier die Hinwendung zu flexiblen, sektorübergreifenden und intelligenten Energiesystemen notwendig. Dies soll mit sogenannten ?Micro- und Smartgrids“ (MSG) gelingen, die eine L?sungskomponente darstellen, um auch zukünftig eine saubere, effiziente und kostengünstige Energieversorgung zu gew?hrleisten. Wallscheid: ?Als MSG wird das Konzept eines lokalen Netzes bezeichnet, das aus Energiequellen, Energiespeichern und Energieverbrauchern verschiedener Sektoren besteht. Dies kann beispielsweise die lokale Kombination aus Windkraftanlagen, Blockheizkraftwerken und Batterien sein, die den Elektrizit?ts- und W?rmebedarf eines mittelst?ndischen Unternehmens decken.“ Ihr Vorteil: Durch die lokale Integration regenerativer Energien würden die überregionalen Energienetze entlastet, womit der Bedarf für einen kosten- sowie ressourcenintensiven Netzausbau sinken würde. Dies sei auch schon heute ein signifikantes Problem: bereits vorhandene regenerative Kraftwerke müssten oftmals abgeschaltet werden, da nicht genügend Transportkapazit?ten im Netz verfügbar seien, sodass die nachhaltig bereitgestellte Energie ungenutzt verfiele.
Mehr Stabilit?t durch Künstliche Intelligenz
Der L?sungsansatz der beiden Wissenschaftler weist allerdings eine zentrale Hürde auf, und zwar den sicheren Betrieb. ?MSGs sind hochgradig heterogen und komplex. Die Ungewissheit des Verbraucherverhaltens und die Volatilit?t der regenerativen Kraftwerke verleihen dem System eine bedeutende stochastische Komponente. Klassische Methoden der Regelungstechnik erachten wir hier deshalb nicht als zielführend“, gibt Wallscheid zu bedenken. Stattdessen setzen die beiden Forscher auf das sogenannte ?Reinforcement Learning“ (RL): ?Hierbei handelt es sich um ein datengetriebenes Betriebskonzept aus dem Bereich des Maschinellen Lernens bzw. der Künstlichen Intelligenz. Es wird bei ?hnlich komplexen und stochastischen Problemen, wie etwa beim B?rsen-Trading, eingesetzt und hat dort bereits vielversprechende Erfolge erzielen k?nnen“, erkl?rt Hüllermeier. Nichtsdestotrotz sei die Regelung von MSGs mithilfe dieser Methode mit einem hohen Risiko behaftet, da die Sicherheit und Verfügbarkeit der Energieversorgung h?chsten Anforderungen genügen müsse. Hüllermeier: ?Bereits eine einzige Fehlentscheidung kann zu einem vollst?ndigen Systemversagen führen. Da es an mathematisch beweisbaren Garantien mangelt, ist der Einsatz adaptiver und datengetriebener Methoden des Maschinellen Lernens, deren Verhalten grunds?tzlich nicht vorhersehbar ist, in diesem Zusammenhang ?u?erst herausfordernd.“
Wallscheid und Hüllermeier erhoffen sich von diesem interdisziplin?ren Projekt vor allem eine Antwort auf die Frage, ob Betriebsstrategien, die auf RL basieren, prinzipiell in der Lage sind, komplexe, heterogene und stochastische Micro- und Smartgrids unter h?chsten Sicherheits- und Verfügbarkeitsanforderungen zu steuern, und welche methodischen Erweiterungen des RL hierfür notwendig sind.
Kosten reduzieren, Umwelt schonen
Im Zuge des Projekts werden zwei Ans?tze auf ihre Eignung hin untersucht. Wallscheid: ?Im ?zentralisierten‘ Ansatz leitet ein Regler, auch Agent genannt, basierend auf Informationen über das System Steuerbefehle für alle Komponenten im MSG ab, wie etwa zum Laden und Entladen des Batteriespeichers. Der andere Ansatz verfolgt ein Konzept, bei dem jede Komponente selbst über ihr eigenes Betriebsverhalten entscheidet. Man nennt dieses Verhalten auch ?Multi-Agenten-System‘, kurz MAS. Dieser Ansatz ist tendenziell robuster und senkt das Risiko eines Totalausfalls, da er nicht von einer zentralen Steuereinheit abh?ngig ist. Gleichwohl steigt durch die Vielzahl von Entscheidern die Systemkomplexit?t, was die Gefahr von Fehlentscheidungen erh?ht.“ Neben dem prim?ren Ziel eines sicheren MSG-Betriebs m?chten die Paderborner Forscher u. a. untersuchen, ob es m?glich ist, Betriebs- und Investitionskosten von MSGs zu minimieren und die regenerativ bereitgestellte Energie zu maximieren, um somit wiederum die Umweltbelastung zu verringern. Dabei soll eine skalierbare Software-Modellumgebung helfen, die zur Abbildung verschiedenster MSG-Anordnungen geschaffen wird. ?Die Einbindung der Modellumgebung sowie der RL-Strategien finden im Paderborn Center for Parallel Computing (PC?) statt, um durch Parallelisierung vielf?ltige Untersuchungen durchführen zu k?nnen“, erkl?rt Hüllermeier. Langfristig sei ein Transfer auf die reale Testumgebung des Microgrid-Labors geplant, das zurzeit vom Fachgebiet ?Leistungselektronik und Elektrische Antriebstechnik“ (LEA) am Paderborner Campus aufgebaut wird.
?ber den Einsatz in Energierversorgungssystemen hinaus sehen die beiden Wissenschaftler in ihrem Projekt Potential, von dem vielf?ltige Arbeitsbereiche profitieren k?nnten. So lie?en sich die Erkenntnisse im Idealfall z. B. auf die Steuerung industrieller Produktionsanlagen übertragen. Denkbar w?re auch ein Transfer auf die Koordination verteilter Energienetze in Fahrzeugen, Flugzeugen und Schiffen sowie die Regelung komplexer mechatronischer Systeme.
