Experience Replay Memory란?

1. Experience Replay Memory란?

---

[ Experience Replay Memory ]

머신러닝에서 학습 데이터가 아래와 같다고 하자. 전체 데이터의 분포를 보면 a가 정답에 가장 근접한 직선이지만, b근처의 데이터만으로 학습을 진행한다고 하면 b가 정답에 가장 가까운 직선이 된다. 이를 통해 고르게 분포된 데이터를 사용해야 정답에 근접한 직선을 찾을 수 있음을 알 수 있다. 하지만 DL은 data와 label이 존재하기 때문에 random하게 데이터를 추출하여 correlation을 줄일 수 있지만, RL은 환경과 상호작용하는 data가 들어오기 때문에 b처럼 correlated 되는 데이터가 학습될 수 있습니다. 이를 해결하기 위해 거대한 Experience Replay Memory를 만들고 데이터(Experience)를 저장한 후 랜덤하게 뽑아서 학습하였다. 이를 통해 correlated가 적고 고르게 분포된 데이터로 학습이 가능하다.

 

 

 

 

[ Experience Replay Memory 한장 요약]

 

 

 

참고 자료

• https://blog.lgcns.com/1692