PPO κ΄λ¦¬ κ±΄κ° λ³΄νμ ννμ
λλ€. κΈ°λ³Έμ μΌλ‘ κ·Έλ€μ μλ£ κΈ°κ΄, μμ¬ λ¨μ²΄μ
λλ€, μ§λ£μ, κ·Έλ¦¬κ³ ν¨κ» λ
립과 κ΄λ ¨μ΄μλ κ΄λ¦¬μλ€μ΄ 건κ°μμμ§ λ³μ. κ·Έκ²μ 콩 κ΄λ¦¬μ λλ 보ν νμ¬λ€μ μ 체 μ§μ κ³Ό ν¨κ» μμ
ν μμμ΅λλ€ μ λ ΄ν λΉμ©μΌλ‘ μΉλ£λ μ΄λ¬ν μ‘μΈμ€ ν΄λΌμ΄μΈνΈλ₯Ό μ 곡νλ κ²μ
λλ€.
PPOμ ꡬμ±μμ΄κΈ° λλ¬Έμ κ·Έ μΉλ£μ μ’μ κ±°λλ₯Ό μ»μ κ²μ μλ―Έν©λλ€. κ·Έκ²μ κ°μ
νλ κ±΄κ° λ³΄ν κ³μ½μ΄λΌκ³ ν©λλ€. μ¦, λ§μ½ λΉμ μ΄ λΉμ©μμν μ΅μμ κ±°λλ₯Ό μ»μ λ€νΈμν¬ κ³΅κΈμλ₯Ό μ¬μ©νλ κ²μ μλ―Έν©λλ€. μ¬λλ€μ΄ κ³μ½μνκΈ° λλ¬Έμμ΄ κ³νμ΄ μ’μ΅λκΉ.
μΈμ κ·Έλ κ°λ κ°μΆμμ μΉλ£λ°μ μ PPOμμ΅λλ€. μ΄κ²μ λ€λ₯Έ κ΄λ¦¬ μ§λ£ κ³ν μ΄λ €μΈ μμμ΅λλ€. κ·Έλ€μ΄ λ°μμ μΌνλ€ λ³΄λ μνμ΄ μμ΄ λ€λ₯Έ PPOμ΄μΌ. λ§μ½ λΉμ μ΄ μ¬νμμ λκ° μκΈ° λλ¬Έμ νΈλ¦¬νκ² μ¬ μμλ μΌμ΄ μ΄κ²μ μ λ§ λ©μ§ λ€μ.
PPOλ₯Ό νμΈ νμ©μ κ²ν νμ§ μλ κ²½μ°μλ μμ¬λ€μ΄ μΉλ£ν΄μΌνλμ£Όλ μ°Έμ‘°νμμμ€. 보νμ λͺ¨λ νμμ μΉλ£ κΈ°λ‘μ λλ¦¬κ² μ΅λλ€ κ·Έ λ¬΄μ¨ μ§μνκ³ μλμ§ νμΈμλ§ λκ° μ΄λ€ νμμ λ³λ μ
λλ€ μΉλ£λ₯Όμν κ²μ
λλ€. 체ν¬νκΈ° λλ¬Έμ κ·Έλ€μ΄ μνλ κ·Έ 곡κΈμκ° λ νκΈλ°μ μΌλ€μνκ³ μμ§ μμμ§ νμΈν©λλ€. λ νμκ° μμ λμ΄ λ³μμ΄λκ°λ κ·Έκ²μ μΉμΈνκΈ° μ μ κ·Έλ€κ³Ό λΉμ·ν κ²ν λ₯Ό ν΅ν΄ κ°μΌ ν κ²μ΄λ€ μΈλ μμ μ μΌμ’
κ° λ κ²μ
λλ€.
λΉμ μ΄ μ°Ύμ μμλκ° κ°κ²©κ³Ό μ΅μ
μ λ°λ‘ λΉμ μ κ°μ‘±μμν PPOμμ΅λλ€. λ λΉμΌλ³΄λ€ λ§μ λ€λ₯Έ μ΅μ
κ³Ό λν μμ¬μ μ λ¬Έκ°κ° λ€λ₯Έ 보νμ λΉν΄ κ΄λ¦¬μ λν λ λ§μ μ νμ μ¬μ§κ°μκ²λλ€. μ λ§ λ¬΄μ¨ κ΄λ ¨μ΄μλ λΉμ μ΄ κ²°μ ν κ³ν, μ€μν 건 λΉμ μ κ°μ‘±μ΄ κ·Έκ²μ νμλ‘ λ²μλ₯Ό κ°μ§κ³ μμ΅λλ€.