Development of Autonomous Operation Algorithm using Deep Reinforcement Learning for Start-up/Emergency in NPPs

Abstract

최근 컴퓨터 성능의 향상과 새로운 인공지능 알고리즘의 등장으로 인공지능 기술에 기반한 높은 자동화 수준을 가진 자율 운전 시스템이 많은 산업분야에 적용되었다. 자율 운전 알고리즘은 원자력 발전소 시스템의 기존에 전통적인 자동화 알고리즘보다 더 높은 수준의 개념을 가지고 있다. 자율 운전 시스템을 개발하기 위해서는 이미 기존에 자동된 하위 시스템들을 모니터링, 제어 및 진단할 수 있는 기능을 포함해야 한다. 본 연구에서는 원전의 시동 및 비상시 자율 운전을 위한 지능형 제어기를 개발한다. 제어기는 현재 운전원에 의한 원자력 발전소에 운영 전략과 유사한 높은 수준의 작업을 수행하는 데 중점을 둔다. 운영자와 유사하게 구성 요소를 조작하기 위해 컨트롤러는 현재 수동 제어를 자동화하는 것을 목표로 한다. 설계 목표를 달성하기 위해 지능형 컨트롤러는 심층 강화학습 방법이 적용된다. 심층 강화학습 기반에 컨트롤러의 설계는 현재 운영 전략, 즉 기존 시스템, 운영 절차 및 인력을 고려하여 설계된다. 컨트롤러는 Westinghouse 990MWe, 3 Loop 가압경수로에 적용된다. 시동 및 비상 운전에서 검증 결과는 자율 운전 알고리즘이 주어진 운영 목표에 따라 원자력 발전소의 시스템들을 관리할 수 있음을 보였다.|With the improvement of computer performance and the emergence of cutting-edge artificial intelligence (AI) algorithms, an autonomous operation based on AI is being applied to many industries. An autonomous algorithm is a higher-level concept than conventional automatic operation in nuclear power plants (NPPs). In order to achieve autonomous operation, the autonomous algorithm needs to include superior functions to monitor, control and diagnose automated subsystems. This study develops an intelligent controller for an autonomous operation in NPPs during start-up and emergency. The controller is focused on conducting high-level operations that are similarly performed to the current operation strategy. To manipulate components similarly to operators, controllers currently aim to automate manual controls. To achieve the design goal, the intelligent controller applies a deep reinforcement learning method. The design of the Deep Reinforcement Learning (DRL)-based controllers considers the current operational strategy, i.e., existing systems, operating procedures, and staffing. The controllers are applied to a reference NPP, a Westinghouse 990 megawatts electric, three-loop pressurized water reactor. In start-up and emergency operation, the validation results showed that the autonomous operation algorithm can mange the NPPs according to given operational goals.