slide1 n.
Download
Skip this Video
Loading SlideShow in 5 Seconds..
先端論文紹介ゼミ PowerPoint Presentation
Download Presentation
先端論文紹介ゼミ

Loading in 2 Seconds...

play fullscreen
1 / 28

先端論文紹介ゼミ - PowerPoint PPT Presentation


  • 102 Views
  • Uploaded on

先端論文紹介ゼミ. B4 鶴崎徹也. 使用論文. An approach to the pursuit problem on a heterogeneous multiagent system using reinforcement learning 強化学習 を使用して、異種マルチエージェントシステム上で追跡問題へのアプローチ. Abstract1. 本論文では、共通の目的をもつマルチエージェントシステムのエージェント間の協力のために、4つのハンターがターゲットを捕獲する追跡問題を行う。 強化学習アルゴリズムはQ学習を使用する。. Abstract2.

loader
I am the owner, or an agent authorized to act on behalf of the owner, of the copyrighted work described.
capcha
Download Presentation

PowerPoint Slideshow about '先端論文紹介ゼミ' - marcos


An Image/Link below is provided (as is) to download presentation

Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author.While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server.


- - - - - - - - - - - - - - - - - - - - - - - - - - E N D - - - - - - - - - - - - - - - - - - - - - - - - - -
Presentation Transcript
slide1

先端論文紹介ゼミ

B4 鶴崎徹也

slide2
使用論文

An approach to the pursuit problem

on a heterogeneous multiagent system

using reinforcement learning

強化学習を使用して、異種マルチエージェントシステム上で追跡問題へのアプローチ

abstract1
Abstract1
  • 本論文では、共通の目的をもつマルチエージェントシステムのエージェント間の協力のために、4つのハンターがターゲットを捕獲する追跡問題を行う。
  • 強化学習アルゴリズムはQ学習を使用する。
abstract2
Abstract2
  • 最初は均一なハンターが学習を重ねてそれぞれ異なる行動をするハンターになる。シミュレーションは連続行動状態空間で行われ、ハンターの初期位置とハンターとターゲットの速度の結果による依存度により議論する。
introduction
Introduction
  • 組織的な行動をとるために以下のことが関係あるのか注意する

(1)ターゲットの移動ルール

(2)エージェント間の違い、特に速さ

(3)各エージェントの初期位置

problem domain1
Problem domain1
  • 環境は、壁に囲まれた連続格子環境
  • エージェントが5体、そのうちハンターが4体、ターゲットが1体、ハンターのうち1つがターゲットを捕獲すると終了
problem domain2
Problem domain2
  • ハンターエージェントの集合A={Ai|i=1,2,…,N}
  • ハンターエージェントAiは6つの要素

<Si,Ii,Oi,Pi,Fi,Gi> (1)

(1)内部状態SはS={θ,dφ,dφ,xt,xc,v}

(2)入力IはI={dφ,dφ}

(3)出力OはO={a}

problem domain3
Problem domain3

Fig. 1. The action space of (a) each hunter agent and (b) target agent. The line between the hunter agent and the target agent shows the relative central axis, whose angle is 0.

problem domain4
Problem domain4

(4)予測関数P状態遷移関数F出力関数G

F:S×I→S, G:S→O(2)

F′:S×I→O (F′=F×G′) (3)

G′:S→O (G′=G) (4)

P:S(θ)×I→S′(θ) (5)

F′:S×P×I→O (6)

the method1
The method1
  • ハンターはターゲットを捕獲するために2種類の予測をして行動を学習し、自分自身の行動を決定ルールに基づいて決定する。詳細はFig.2
the method2
The method2

Fig. 2. The heterogeneous multiagent architecture

slide12
ターゲットの移動ルール
  • ターゲットは、ルールをもとに8方向のいずれかへ移動することができる
  • ターゲットは、他のハンターがいる位置へ移動することができない
slide13
各ハンターの移動ルール
  • 各ハンターは、ターゲットを基準に(Fig.1a)8方向に移動することができる
  • 各ハンターは、他のエージェントがいる場所に移動できない
  • 各ハンターは、視界を制限されている
  • 各ハンターは、他のハンターを見ることができない。しかし、組織の制約に基づいて通信することができる
  • 各ハンターは視界内の場合、ターゲットを見つけたり、他のハンターとの通信に基づいてターゲットの方向性を予測する(Fig.3a,3b)
the method3
The method3

Fig. 3. (a) The state space of each hunter agent when the target lies within the range of its restricted field of view. (b) The prediction of the location of the target agent and other hunter agent which found the target agent, rφ is the observation range and r the communication range.

the method4
The method4
  • 終了状態はターゲットが許容方法で移動できない場合に少なくとも2つのハンターがターゲットに隣接しているとき
  • Fig.4はすべてのエージェントが衝突なしで移動することができないときを示している

Fig. 4. Examples of capturing states. (a) Two hunter agents capture the target agent in the corner. (b) Three hunter agents capture the target agent at the wall. (c) and (d) Captures in the open with three and four hunters, respectively.

slide16
各ハンターについて1
  • 各ハンターは制限された視界範囲内にターゲットがいると、自分とターゲットの間の相対角度を観察することができる
  • 他のハンターとの通信を通して、ターゲットと他のハンターの重心の相対角度の情報を得ることができる
  • 他のハンターがターゲットを観察しているときハンターは自分が観察できなくてもターゲットの方向を見積もることができる
  • ハンターは自分がターゲットを見ることができないとき、他のエージェントはそのことを知っている
slide17
各ハンターについて2
  • ターゲットを見つけたハンターはターゲットと他のハンターの重心との角度θselfを送ることができる(θself in Fig.3b)
  • 通信を通じてターゲットを発見できない各ハンターは自分とハンター間の角度θself′を計算する(θself′ in Fig.3b)
  • ハンターの推定位置と角度θself′に基づいて、各エージェントはターゲットの位置xtを予測する
the method5
The method5

(7)

(8)

(9)

(10)

(11)

(12)

(13)

experiments1
Experiments1
  • 問題領域は200×200、各エージェントの形は半径4の円。ハンターが可能な初期位置は以下の通り

Fig. 7. Types of motion rules. Target agent moves (a) in the opposite direction of a hunter agent (left-hand side) or toward the largest space in which there is no hunter agent (right-hand side), (b) on a straight line, or (c) on a circle.

experiments2
Experiments2
  • ハンターの速度Δhとターゲットの速度Δtの関係はΔh>Δt,Δh=Δt ,Δh<Δtの3つ
  • ターゲットの動きの可能性のルールはFig.7

Fig. 7. Types of motion rules. Target agent moves (a) in the opposite direction of a hunter agent (left-hand side) or toward the largest space in which there is no hunter agent (right-hand side), (b) on a straight line, or (c) on a circle.

simulation results and discussion1
Simulation results and discussion1

Fig. 8. Target agent moves away from hunters: (a) hunter agent speed>target agent speed,

(b) hunter agent speed=target agent speedand (c) hunter agent speed<target agent speed.

Fig. 9. Target agent moves on a straight line: (a) hunter agent speed>target agent speed, (b) hunter agent speed=target agent speed, (c) hunter agent speed<target agent speed.

simulation results and discussion2
Simulation results and discussion2

Fig. 10. Target agent moves on a circle:

(a) hunter agent speed>target agent speed,

(b) hunter agent speed=target agent speedand

(c) hunter agent speed<target agent speed.

Fig. 11. Target agent moves randomly:

hunter agent speed>target agent speed,

hunter agent speed=target agent speed and

hunter agent speed<target agent speed.

simulation results and discussion3
Simulation results and discussion3
  • ターゲットの最後の場所の分布はハンターの初期位置と比較することができる。ハンターがターゲットより速いか同じ速度の時は違いがなく、遅い場合は違いがある
  • ハンターが出発地点で視界内にターゲットがいると、速いときと同じ速度のときは見失うことはないが、遅いときは見失いターゲットを観察することができず、しばらく近づくことができない
simulation results and discussion4
Simulation results and discussion4
  • 各ハンターの予測方向の確率
  • 矢印は各エージェントの確率が高い方向

Fig. 12. Probability of prediction direction of each hunter agent. Each circle graph shows the probability of prediction of each corner’s agent, and arrow shows the high probability direction of each agent.

simulation results and discussion5
Simulation results and discussion5
  • ハンターとターゲットの軌跡

Fig. 13. The trajectories of hunter agents and target agent when the target is captured which is filled in. Each hunter agent is numbered with ID.

simulation results and discussion6
Simulation results and discussion6

Fig. 14. An example of the trajectory of the agents. Hunter agents are faster than target; target moves away from hunter agents; hunter agents are initially located in the corners.

conclusion
Conclusion
  • シミュレーション結果によると、ハンターがターゲットより速いときハンターの初期位置による結果の依存性はない。創発的組織の性質は、ハンターとターゲット間の関係に依存する
  • 均一な能力から異種の能力への移行は、待ち伏せエージェント、休憩エージェントなどが発生した。