s1eepypillow/task12_act_test2

🤖 Pick & Stack (블록 집기 및 순차 적재) 모델

모델명: task12_act_test2

• Action Chunking with Transformers (ACT) 기반의 모방 학습(Imitation-learning) 모델
• 단일 스텝 대신 짧은 행동 단위(action chunks)를 예측하며 원격 조작 데이터를 통해 학습
• LeRobot

---

1. 모델 개요 (Model Details)

• License: apache-2.0
• Robot type: so_follower
• Cameras: top, wrist

---

2. 데이터셋 구성 (Dataset)

2.1 이전 모델과의 차이점

• 기존 데이터셋의 한계: Task가 2개인 과제에 대해서 Task 1에 대한 데이터셋만 있는 상태에서 동작을 확인. 다른 Task를 수행하는 데이터셋이 있는 상태에서 기존 Task가 잘 수행되는지 확인이 필요
• 데이터셋 개선: Task 1를 수행하는 데이터셋 전체에 Task 2 데이터셋 (고정 위치)를 추가하여 Task 1의 동작 수행을 확인, 사전 입력된 위치에서 Task 2가 잘 수행하는지도 확인

2.2 전체 데이터셋 구조 (상세)

Task 1

• 기본 에피소드: 75개
• 고정된 위치: 60개
• 왼쪽 위치: 50개
• 오른쪽 위치: 59개
• DAgger Correction: 20개

Task 2

• 고정된 위치: 60개

---

3. 학습 방식 및 설정 (Training Procedure)

3.1 아키텍처 및 시스템

• 모델 아키텍처: ACT (Action Chunking with Transformers) 기반 (이전과 차이 없음)
• 시스템: Jetson Orin Nano에서 단독으로 추론 및 수행
• Chunk & Step: 이전 모델과 동일한 설정 유지

3.2 Training Configuration

(수정 필요)

Setting	Value
Training steps	100,000
Batch size	64
Optimizer	adamw
Learning rate	1e-05
Seed	1000
LeRobot version	0.6.1

---

4. 입출력 구조 (Inputs & Outputs)

이 모델은 다음의 관측(observation) 특징을 입력받아 행동(action) 특징을 출력합니다.

Inputs

Feature	Type	Shape
observation.state	STATE	(6,)
observation.images.top	VISUAL	(3, 480, 640)
observation.images.wrist	VISUAL	(3, 480, 640)
observation.environment_state	ENV	(1,)

Outputs

Feature	Type	Shape
action	ACTION	(6,)

---

5. 수행 결과 (Evaluation & Results)

5.1 수행 결과 요약

• 고정 위치: 총 5회 시도 중 평균 개 블럭 성공 ()
• 랜덤 위치: 총 5회 시도 중 평균 개 블럭 성공 ()

5.2 특이 사항 (Behavioral Observations)

• a:
• b:
• c:
• d:

5.3 결과 피드백 및 향후 계획

• 우선 개선 사항:

---

6. How to Get Started with the Model

Run the policy on your robot

lerobot-rollout \
  --strategy.type=base \
  --robot.type=so_follower \
  --robot.port=<your_robot_port> \
  --robot.cameras="{ <camera_1>: {type: opencv, index_or_path: <index_or_path>, width: 640, height: 480, fps: 30}, <camera_2>: {type: opencv, index_or_path: <index_or_path>, width: 640, height: 480, fps: 30}}" \
  --policy.path=s1eepypillow/task12_act_test2 \
  --task="task1" \
  --duration=60