Chance Constraints for Stochastic Optimal Control and Stochastic Optimization Probabilistische Nebenbedingungen in stochastich optimaler Regelung und stochastischer Optimierung Master-Thesis von Onur Celik Dezember 2018 Chance Constraints for Stochastic Optimal Control and Stochastic Optimization Pr

Constraints in optimization problems for static systems is well studied nowadays. Effective numerical methods for convex and non-convex problems exist. However, for optimal control problems state and action constraints can be challenging, especially in case it is dealt with unknown dynamics in the Markov Decision Process. Dynamic Programming approaches, as Differential Dynamic Programming or iterative Linear Quadratic Gaussian, are powerful methods for Trajectory Optimization. In unknown dynamics tasks these methods generally gain linearized dynamics around the trajectory distribution and optimize subject to the linearized dynamics, which lead to local Linear Quadratic Gaussian controllers in closed-form. If constraints are not considered, the algorithms exploit the linearized dynamics and violate the constraints, such that validity of linearizations are not ensured anymore. However, action and state constraints in robotics are common and often known from construction. Thus, incorporating these constraints into the optimization procedure should yield advantages in terms of convergence and better overall performance. As the transition dynamics in Markov Decision Processes are stochastic, considering hard constraints is not possible. In this work, we introduce Chance Constraints within the iterative Linear Quadratic Gaussian framework, in order to increase convergence performance. For this purpose, we reformulate the Chance Constraints as a deterministic constraint and use a direct shooting method to formulate an optimization problem after the backward pass of iterative Linear Quadratic Gaussian, which is solved by using numerical solver CasADi. Known model-free policy search algorithms, like Relative Entropy Policy Search use information-theoretic bounds to prevent loss of information. These methods bound the policy update by using the Kullback-Leibler Divergence. For Relative Entropy Policy Search this results in an entropic risk measure in the corresponding dual. By updating the policy in direction of high reward regions, the algorithm is explicitly risk-seeking in terms of expected reward difference. This risk behavior can be tuned by the upper bound ε for Kullback-Leibler Divergence. In the second part of this work we propose a new point of view for Regularized Stochastic Optimization inspired by the risk behavior of Relative Entropy Policy search. We bound the reward change directly by using Chance Constraints instead of bounding the policy change. We show the proposed method’s behavior on finding the minimum value of two one-dimensional functions. Zusammenfassung Nebenbedingungen in Optimierungsproblemen für statische Systeme sind heute gut untersucht. Es gibt effektive numerische Methoden für konvexe und nicht konvexe Probleme. Für optimale Regelung können jedoch Zustandsund Stellgrößenbeschränkungen eine Herausforderung darstellen, insbesondere wenn es sich um eine unbekannte Dynamik im Markov-Entscheidungsprozess handelt. Dynamische Programmieransätze wie Differential Dynamic Programming oder iterative Linear Quadratic Gaussian sind leistungsfähige Methoden zur Trajektorienoptimierung. In unbekannten dynamischen Problemen linearisieren diese Verfahren die Dynamik in der Regel um die Trajektorienverteilung und optimieren in Abhängigkeit von der linearisierten Dynamik, was zu lokalen linearen quadratischen Reglern in geschlossener Form führt. Wenn Nebenbedingungen nicht berücksichtigt werden, nutzen die Algorithmen zu sehr die linearisierte Dynamik und verletzen die Einschränkungen, so dass die Gültigkeit von Linearisierungen nicht mehr gewährleistet ist. In der Robotik sind Stellgrößenund Zustandsbeschränkungen allerdings üblich und oft aus der Konstruktion bekannt. Die Einbeziehung dieser Einschränkungen in das Optimierungsverfahren sollte daher Vorteile in Bezug auf Konvergenz und bessere Gesamtleistung bringen. Da die Übergangsdynamik in Markov Entscheidungsprozessen stochastisch ist, ist es nicht möglich, harte Einschränkungen zu berücksichtigen. In dieser Arbeit führen wir probabilistische Nebenbedingungen innerhalb des iterative Linear Quadratic Gaussian Algorithmus’ ein, um die Konvergenzleistung zu erhöhen. Zu diesem Zweck formulieren wir die probabilistischen Nebenbedingungen als deterministische Nebenbedingung und formulieren mit einer direkten Methode ein Optimierungsproblem nach dem backward pass des iterative Linear Quadratic Gaussian Algorithmus’, das mit dem numerischen Solver CasADi gelöst wird. Bekannte modellfreie Algorithmen zur policy Suche, wie der Relative Entropy Policy Search Algorithmus, verwenden informationstheoretische Nebenbedingungen, um Informationsverluste zu vermeiden. Diese Methoden stellen eine Oberschranke für die Aktualisierung der policy mit Hilfe der Kullback-Leibler Divergenz. Für den Relative Entropy Policy Search Algorithmus ergibt sich daraus ein entropisches Risikomaß in der entsprechenden Dualform. Durch die Aktualisierung der policy in Richtung der Regionen mit hoher Belohnung sucht der Algorithmus explizit nach Risiken in Bezug i auf die erwartete Belohnungsdifferenz. Dieses Risikoverhalten kann durch die obere Grenze von ε für die Kullback-Leibler Divergenz eingestellt werden. Im zweiten Teil dieser Arbeit schlagen wir einen neuen Standpunkt für die regularisierte stochastische Optimierung vor, was durch das Risikoverhalten des Relative Entropy Policy Search Algorithmus’ inspiriert ist. Wir beschränken die Belohnungsänderung direkt mithilfe von probabilistischen Nebenbedingungen, anstatt die policy Änderung zu beschränken. Wir untersuchen das Verhalten der vorgeschlagenen Methode anhand eines eindimensionalen Minimierungsproblems für eine konvexe und nicht konvexe Funktion.