Humanoid Virtual Athletics Challenge 2025 ロボットシミュレーション競技を活用した大学院講義の実践

Humanoid Virtual Athletics Challenge 2025 （ロボット学会オープンフォーラム）における小島先生（東大）のショートプレゼンスライドです

1. ロボットシミュレーション競技を活用した
大学院講義の実践
OF17：ヒューマノイドバーチャルアスレチックチャレンジ 2025
東京大学 情報理工学系研究科
講師小島邦生

2. 自己紹介
◼小島邦生
◼経歴
◼2023～東京大学 情報理工学系研究科 知能機械情報学専攻
情報システム工学研究室 講師
◼2021～同学同専攻 助教
◼2018～同学同専攻 特任助教
◼2018同学学際情報学府 学際情報学専攻 博士号取得
◼研究内容
◼人型ロボットのハードウェア・制御開発
2
JAXON3の設計開発
跳躍制御
HRP2のダンス動作制御JAXON1,2の設計開発・制御

3. 発表の経緯
◼もともとシミュレーションソフトウェアを活用した大
学院の講義「エージェントシステム」があった
◼2025年度に講義「エージェントシステム」の担当と
なり講義内容を改める
◼その題材において
シミュレータとして統合開発環境 Choreonoidを，
講義の最終課題としてヒューマノイドバーチャルアスレ
チックチャレンジを
採用する
3

4. 発表の流れ
◼講義の趣旨・受講者の所属
◼講義の全体の流れと各回の概要
◼競技会と講義発表会のルールの違い
◼競技スコア入賞者などの競技の様子
◼学生からの反響（アンケート結果など）
◼今後の展望・修正点等
4

5. 講義「エージェントシステム」の趣旨
◼講義の趣旨
◼ロボットなど実世界で行動するエージェントシステムに関する講義
◼エージェントシステムのためのシミュレーションソフトウェアを利用して
課題実習を行いつつ講義を進める．
◼題材
◼シミュレータ，環境認識・行動計画，ソフトウェア統合システム，ロボットモデ
リングなど
◼ヒューマノイドバーチャルチャレンジとの共通点と相違点
◼共通点
◼シミュレーションによる競技ではあるが，実機で可能な機体性能に制限する
◼ロボット教育の一貫
◼相違点
◼人型ロボットを中心として行っている訳ではない
◼受講者も人型ロボットだけに興味がある訳では無い
◼ロボットの制御や環境認識だけでなく，システム構築やロボットモデル生成
など主題として含む
5

6. 参加学生の内訳
◼受講者（成績評価対象）： 27名
◼人型ロボットの研究を行う学生：知能機械情報学専攻の半数程度
◼何らかの形でロボットまたは AIに関する研究をしている学生が大部分
◼→講義では人型ロボットだけでなく， 4脚・車輪型ロボットにも対応する
6
新領域創成科学
研究科
1
工学系研究科
1
生産技術研究所
1
知能機械情報学専攻
17
システム情報学
専攻
2
電子情報学専攻
1
創造情報学専攻
3
情報理工学系研究科
23

7. 講義の概要
◼コンセプト
◼ロボットの形を問わずヒューマノイドバーチャルアスレチックチャレンジ
に直結する技術を学べる
◼ロボットのモデリング・制御・環境認識を学べる
◼可能な限りオープンソースで構成する
◼自身で環境構築できるようになる
◼講義の構成
◼環境構築
◼WSL，ROS，各種環境などの環境構築
◼ロボットのモデリング
◼Choreonoidによるロボットモデルの作成
◼制御
◼Choreonoidのコントローラの作成
◼4脚ロボットの強化学習による歩行
◼Physical AI向けシミュレータ Genesis，強化学習ライブラリ rsl-rl
◼環境認識
◼ROSのパッケージと通信システム
7

8. 各回の概要（ Choreonoid）
◼Choreonoidでの開発（2回，オンライン）
◼ChoreonoidのSimpleTankチュートリアルの利用
◼ロボットモデルの作成
◼コントローラの作成
◼駆動制御
◼センサデータ取得
8

9. 各回の概要（強化学習）
◼Genesisでの4脚ロボットの強化学習による歩行（ 2
回，ハイブリッド）
◼学習環境シミュレータ Genssisの導入（ハイブリッド）
◼4脚ロボットGo2の強化学習の訓練と推論の実習
9

10. 各回の概要（ Sim2Sim）
◼Sim2Sim（1回）
◼Genesisで学習したモデルの Choreonoidでの推論実行
◼Sim2Simの実習（ゲイン調整， DR，報酬設計など）
10

11. 各回の概要（ ROSによる環境認識）
11
node (nodeletmanager)
point_cloud_nodelet_manager
nodelet topic nodelet nodelettopic nodelettopic
choreonoid/SimpleTank/Kinect
/point_cloud
/cropped_cloud /hsi_filter/output Rvizcrop_box_filter hsi_filter
ChoreonoidのScene /SimpleTank/Kinect/point_cloud（無加工）
/cropped_cloud（特定範囲にクロップ） 赤色部分を抽出

12. 各回の概要（環境構築）
◼Choreonoid
◼強化学習関連
◼Genesis
◼CUDA，PyTorch
◼rsl-rl
◼ROS・システムの構成
◼ROS環境
◼catkinワークスペース
◼パッケージの作成， CMake
◼仮想環境
◼WSLのイメージのエクスポート，インポート
12

13. 講義の流れ
◼講義の流れ
◼初回ガイダンス（ 1回，オンライン）
◼環境構築（ 1回，対面）
◼Choreonoidでの開発（2回，オンライン）
◼Genesisで4脚ロボットの強化学習による歩行（ 2回，ハイブリッド）
◼Sim2Sim（1回）
◼ROSの導入と環境認識（ 1回，ハイブリッド）
◼コンテストのルール・最終課題の説明（ 1回，ハイブリッド）
◼各種サンプルの紹介（ハイブリッド）
◼実装相談会（ハイブリッド）
◼発表会（対面）
◼初心者への対応
◼対面とハイブリッドの回を増やす
◼実装相談会を用意した
13
ここまでの各週課題で
4脚ロボットで強化学習により
短距離走を手動操縦で走行完了
その後，学生毎に方針分岐
・強化学習， 2足歩行，環境認識，
車輪制御．．．

14. 講義での発表会のルール
◼短距離走または障害物競走の一つ以上の競技に参加する
◼ダンス競技は成績評価が難しいため
◼発表会と公式競技でのルールの違い
◼総質量は20[kg]以上とする（上限は規定しない）
◼公式ルールでは 40[kg]以上
◼短距離走
◼ロボットの多様性への対応
◼ロボットモデルの中で，事前に申告したリンクのみが路面に接触してよい
◼公式ルールでは申請可能なリンク数は 4つまで
◼ロボットの自動制御，環境認識の推進
◼自動プログラム のみ（人の操縦が介入しない）でゴールした場合は評価タイムを実
際のタイムの 8割とする
◼競技フィールドの色のみ変更可能とする
◼アスレチック
◼リトライの導入
◼セクション間のゾーンで choreonoidのインタラクション機能を用いてロボットを移動
させた場合はリトライとみなす
◼リトライによりセクション間を移動させてもよい
14

15. 学生の発表の紹介
◼短距離走とアスレチックの上位者の発表の紹介
◼講義の性質上，二足歩行や 4脚ロボット以外のロボッ
トも多数登場する点に関してご了承ください
16

16. 短距離走 3位
18
◼観測値：ロボットの絶対位置，関節角度，ベースリンクの姿勢
◼カリキュラム学習
◼段階的に学習できる Cmdの速度を上げる
◼速度をビンに分けて，隣のビンでの速度に追従できるようになったら，次のビンの確
率を上げる
◼Domain Randomization
◼摩擦，PDゲイン，モータ慣性，重 ⼼，リンクの質量をリセットごとにランダム化
◼Step毎にActionとObservationのシミュレータから読み取る値にノイズを加える
◼効果が出なかったもの
◼初期姿勢のノイズ，様々な地形での学習
情報理工学系研究科，知能機械情報学専攻，原田・黒瀬・椋田研究室 ，阿部陽樹

17. ◼手足の無い箱型のロボットで飛
び跳ねる
◼箱の内部に上下・回転するリア
クションホイールを搭載する
◼モチベーション
◼動きが変なものを作りたい
短距離走 2位
19
情報理工学系研究科，知能機械情報学専攻，情報システム工学研究室 ，服部 高拓

18. 短距離走 1位
20
◼報酬
◼tracking_lin_vel ：指令速度への追従による報酬．
◼tracking_lin_vel_x：前進の速度が高いほど大きい報酬（上限あり）．学習を早める．
◼lin_vel_z ：上下方向の速度に対するペナルティ．
◼base_orientation ：胴体が垂直に近いほど大きい報酬．
◼base_y ：左右方向の位置ずれに対するペナルティ．真っすぐ走らせるために必要．
◼feet_y ：脚先の左右方向の位置ずれに対するペナルティ．自己干渉対策．
◼action_rate ：指令関節角の時間変化に対するペナルティ．
◼similar_to_default：元の姿勢から遠ざかることに対するペナルティ．
自作の二脚ロボット
（12自由度）
情報理工学系研究科，知能機械情報学専攻，情報システム工学研究室 ，多田皓海

19. 短距離走 1位
◼観測値
◼ベースリンクの位置
◼ベースリンクの角速度
◼ベースリンク相対の重力方向
◼指令速度・角速度
◼関節角度・角速度
◼指令関節角度
◼関節のPD制御ゲイン
◼ChoreonoidではDゲインのみ Genesisの2/3倍
◼足首はやわらかめにしないと sim2simで歩かなかった
21
情報理工学系研究科，知能機械情報学専攻，情報システム工学研究室 ，多田皓海

20. アスレチック 2位（階段を登れる車輪）
22
◼過去のプロジェクトで断念した階段を登れるロボットへの挑戦
◼3自由度，階段を登れる車輪 +展開機構
◼11種類以上の形を試行
◼タスクに合わせてロボットモデルを作って制御を単純にする
情報理工学系研究科，知能機械情報学専攻，力学制御システム研究室 ，田中梨咲子

21. アスレチック 2位（階段を登れる車輪）
23
[1] 田中康皓 , 吹田夏樹, 入江寿弘 , 新宮清志 .展開車輪を使った階段昇降ロボットの昇降制御 ―階段昇降での展開量操作による制振と傾斜
角の調整 ―日本建築学会・情報システム技術委員会 第 40 回情報・システム・利用・技術シンポジウム 2017
情報理工学系研究科，知能機械情報学専攻，力学制御システム研究室 ，田中梨咲子

22. アスレチック 1位（変形ロボット）
24
◼高専で実際に製作したロボットの再現
◼15自由度（12輪），カメラ×1
◼手動操縦
◼ステージ1・2：一人称視点，ステージ 3：三人称点
情報理工学系研究科，知能機械情報学専攻，力学制御システム研究室 ，工藤大和

23. アスレチック（自動走行制御）
25
◼センサからの観測情報による自動走行制御
◼ステージ1：自動，ステージ 2：自動
◼カメラ画像からコースの端を認識し目標速度を計算する

24. アスレチック（自動走行制御）
◼ステージ2での指令速度の計算
26

25. アスレチック（ 4脚）
27
◼ロボット：f◯◯◯y2×4=8自由度
◼4脚歩行動作の強化学習
◼目標cmd：x方向速度 0~2 m/s，角速度-1~1 rad/s
◼予め通過点の座標を設定して目標速度を自動で切り替える
◼DR：トルク0.1~2.1倍

26. 結果について
◼出場するロボットの形態
◼短距離走では 4脚が多い
◼講義で4脚ロボットを用いたため
◼アスレチックでは車輪型が多い
◼講義では障害物競争の強化学習までは扱えなかったため
◼各競技ともに所属研究室や自身の経歴を活かした取り組みが見られた
◼例）
◼ヒューマノイド系の研究室 →二足歩行への挑戦
◼AI系の研究室 →カリキュラム学習などへの展開
◼自動運転の研究室 →環境認識，車輪制御の導入
◼自身の経験 →ロボットモデルの自作
28
19名 8名

27. 結果について
◼いずれの競技も上位はロボットの制御を行ってい
る研究室の学生が多い
◼短距離走の上位は 2脚と1脚ロボットであった
◼講義資料でサンプルとして扱った 4脚ロボットGo2にお
いてchoreonoidへのsim2simの調整が難しかった
◼環境モデルとの接触力計算の相性問題？（未検証）
29

28. ◼講義内容の興味について
アンケート結果
30
競技会へ興味がない
人は居ない
WSL
環境構築
ROS
環境構築
Choreonoid
モデル作成
Choreonoid
コントローラ
強化学習
環境構築
強化学習
Sim2Sim
ROS
ツール
その他
サンプル
競技会
強化学習への興味 ROSへの興味

29. アンケート結果
◼講義内容の難易度について
31
強化学習に対する難しさが残る
競技会に向けた技術の充足
難易度の調整

30. アンケート結果
◼公式大会に応募したか？
◼応募した理由
◼面白そうだったから．スキルアップのため．
◼応募しなかった理由
◼大部分：スケジュールが合わなかったから．
◼スキルアップに繋がらない．
◼他の授業を取りすぎた．
◼大会に出るならもっと工夫したい．
◼出場するなら Unitree_G1で出場したいが，質量が 35kgしかなく不適
合で，自作ロボットには勝てないから
32

31. その他の学生からの感想等
◼講義内容
◼実践的な内容が多く参考になった
◼もう少しsim2simを深く教えてほしい
◼難易度
◼sim2simが難しい
◼初心者が挑むには少し難しい
◼リソース，情報等
◼パソコンのスペックが求められる
◼choreonoidの情報が少ないので取り組みにくい（留学生）
◼授業資料をスライドではなくウェブサイトのような形式にし
てほしい
◼コピペしやすい．資料変更に対応しやすい．
◼可能ならば皆のスライド (できればプロジェクト）を後から見
れるようにしてほしい
33

32. 実際のコメント
◼授業資料をスライドではなくウェブサイトのような形式にしていただけるとよいかと思いました。プログラムのコピペで失敗が起きにく
かったり、記載内容に変更があったとしても柔軟に対応できたり、あとから復習したいときに検索などが楽にできたりすると思います。
◼楽しかったです
◼面白い講義でした。 sim2simの部分での DRをもう少し詳しく解説してくださるとうれしかったです。
◼楽しかった(が、少し最終課題に時間をかけすぎた )
◼I think choreonoidis uncommon on the Internet, so there is no document to refer to except the official one. I think this course can be
better if the simulator can be more popular choice such as gazebo. Issac Sim will be the best one since it is very popular rightnow. Also,
although the lecture states it will not need gpu, it is impossible to train robot in the final project with just cpu. Finally, the contest of the
final project is very interesting.
◼"実践的な内容が多くとても参考になりました．たまに授業中にコードやコマンドがスライドのままだと動かないことがあったのが少し
大変でした． "
◼四足歩行の Griphisのbodyファイルいじるのめんどくさすぎて頭おかしくなりそうでした
◼"非常に内容の詰まった授業をしていただいて楽しく授業に取り組めました。 Choreonoid上でUnitree go2をGenesisと同じくらい動かす
のが非常に大変で、結局思い描いてほど走らせることはできませんでしたが、学習や推論の工夫によって Go2の中では一番早く走れ
たので嬉しかったです。 Go2でうまく歩ける方法を知りたかったので、今後できるようになったら共有していただけると非常に嬉しいで
す。総じて大変勉強になる授業でした。ありがとうございました。 "
◼可能ならば皆のスライド (できればプロジェクト）を後から見れるようにしてほしい (もちろん希望のある人のみ )。上位の方々は本当に
すごかったので、短い発表で終わらせるのは少し勿体無い気もする。
◼面白いことができたのは，ありがとうございました！
◼"授業を一通り受けてみましたが、総じて面白かったけど難しかったという感想です。授業内容に沿ってシミュレーションする部分はな
んとかできました。授業に沿って理解しながらやると、まあ何とか動く。しかし一つ一つのコードや、やっていることが何となくしかわか
らなかったです。また、自分で改良するとなるとよくわからないエラーが出てきて、それを調べて直していくとどんどん変なエラーが出
てしまい、結局よくわからなくなるという展開が多かったです。何が間違っているのか分からないので悲しかったです。完成したときは
楽しいですが。初心者が挑むには難しい授業だったかもしれません。しかし、色々シミュレーションしたり、 bodyファイルを作ったり ,、
新しい概念に触れるのは面白かったです。ありがとうございました。 "
◼sim2sim 難しい
◼パソコンのスペックや他の授業との兼ね合いでなかなか思うように進められなかったことや、初めて挑んだこともあり、かなりご迷惑
をおかけしましたが、全体的に授業は面白くて勉強になりました。先生も丁寧に説明してくださり、トラブルにも何度も対処していただ
いて非常に助かりました。最終課題は残念ながら取り組めなかったのですが、テーマが面白く発表会の時もとても楽しかったです。こ
こまで丁寧に教えてくれる授業はなかなかなくてありがたいので、今後も続けてほしいと思います。
34

33. 今後の展望・修正点等
◼展望
◼強化学習サンプルの充実
◼現状は強化学習 +アスレチックは少数（平面のみ）
◼二足歩行サンプルの公開
◼修正点
◼良い成果の出た学生には詳しい発表をしてもらうと他の学
生に良い刺激になる
◼講義の発表会での上位者が本大会への不参加
◼より大会に挑戦するモチベーションを考える
◼所有PCのスペックの格差による強化学習の性能への影響
◼大学共通のサーバ等の利用
35