R&E

R&E announcement contest - 12/29 member :
1112.이승현
1116.최민엽
1207.손창준
1211.이상민

Research : 강화학습을 이용한 정체현상을 해결할 수 있는 신호등 체계 연구

10/13

• 기존 연구 주제 : 야구에서 초음파 센서를 이용하여 로봇 심판 제작과 구종 예측
• 문제상황 : 구의 형태를 띄고 있는 야구공의 특성으로 인한 문제점이 생김.
  • 초음파 센서가 초음파를 쏘았을때 야구공의 둥근 표면에 부딪쳐서 다른 방향으로 반사를 하게 되었고 이에 거리를 측정하는데 매우 정확도가 떨어지게되어서 어려움을 겪게 됨.
  • 예상되는 해결방안 : 초음파 센서 교체 및 다른 방법)

10/23

• 1.이론적 배경 조사(병목 현상)

• 2.역할 분담

  • Visualization : 이승현, 이상민
  • 이론적 배경 조사 : 최민엽
  • 강화학습 : 손창준

11/13

해야하는 것 : 도로 없애기, 보상, 비주얼화, 신호등

• 1.도로없애기

  • road data 배열 없애기

• 2.보상

  • 접근방식 : 보상 최대화, 손실 최소화 손실 최소화로
  • 움직이는 차량의 손실
  • 정지-정체-지체-원활
  • v=2를 기준으로, 즉 손실이 0
  • v=3인 차량의 보상은 주변 차량 밀도 고려하기
  • 일정 구간으로 혹은 주변 차량 수로
  • 신호등 대기 차량 손실 함수 만들기
  • 에피소드
    • 마지막 차량이 특정 위치까지 도달 => 시간단위 t return
  • R(보상 변수) = v^2
  • 코딩시 인수(P, R, ... 등)를 설정할 수 있게 하기

• 3.비주얼화

  • 그래프로, X축 위치, Y축 v.m = v.max - v

• 4.신호등 기존의 시간 간격으로 하는 것을 자율적으로 바꿀 수 있게

• 변수

  • 보상 = R
  • 정체율 = D
  • log 변수

• 함수

  • 신호등 대기 차량 보상 함수

11/14

• 환경 코딩

11/15

• 1.환경 구축(차 속력 계산 함수 / 차 이동 함수 / 보상함수)
• 2.애니메이션 구축 진행중

11/25

• 신호등에서 감소하는 보상

11/26 ~ 12/4(온라인 수업)