| --- |
| license: mit |
| --- |
| |
| <Modellname>: RTM133Lifting |
|
|
| https://img.shields.io/badge/%25F0%259F%25A4%2597-Model%2520Hub-yellow |
| https://img.shields.io/badge/License-MIT-green.svg |
| https://badge.fury.io/py/%3Cdein-paketname%3E.svg |
| https://img.shields.io/badge/Framework-PyTorch-orange |
|
|
| Dieses Repository enthält ein Modell für 3D-Ganzkörper-Poseschätzung, das auf dem WholeBody3D (H3WB) Datensatz und der Referenzarchitektur trainiert wurde. Das Modell schätzt gleichzeitig die 3D-Posen von Körper, Händen und Gesicht aus 2D Pose Daten. |
| 📋 Modell-Details |
|
|
| Entwickler: Jonas D. Stephan, Nathalie Dollmann |
| |
| Architektur: SimpleBasline aus [https://github.com/wholebody3d/wholebody3d](https://github.com/wholebody3d/wholebody3d) |
| |
| Trainingsdaten: WholeBody3D (H3WB & T3WB) Datensätze. |
| |
| Framework: PyTorch |
| |
| Input: 2D-Koordinaten (133 Keypoints) für Körper-, Hand- und Gesichts-Keypoints (3DMM-Parameter), wie im H3WB-Format definiert. |
| |
| Output: 3D-Koordinaten (133 Keypoints) für Körper-, Hand- und Gesichts-Keypoints (3DMM-Parameter), wie im H3WB-Format definiert. |
| |
| 🚀 Schnellstart |
| Installation |
| bash |
|
|
| # Installation via PyPI |
| pip install pose-estimation-recognition-utils-rtmlib |
|
|
| Grundlegende Verwendung |
| python |
|
|
| from pose_estimation_recognition_utils_rtmlib import RTMLifting, RTMPoseEstimator2D |
|
|
| # 1. 2D PoseEstimation eines Bilder |
| estimator = RTMPoseEstimator2D()\ |
| result2D = estimator.process_image_from_file(image_path="Testbild.jpg") |
|
|
| # 2. Lifting Model laden |
| lifting = RTMLifting(num_keypoints=133, mode="ai") |
| |
| # 3. Liften |
| lifting.lift_pose(result2D) |
|
|
| 📥 Modell-Download |
|
|
| Das vortrainierte Modell wird automatisch über from_pretrained() heruntergeladen. Für einen manuellen Download: |
| python |
| |
| from pose_estimation_recognition_utils_rtmlib import ModelLoader, Simple3DPoseLiftingModel |
| |
| model=Simple3DPoseLiftingModel(num_keypoints=num_keypoints)\ |
| model.to(device)\ |
| model.eval() |
| |
| model_loader=ModelLoader( |
| repo_id="fhswf/rtm133lifting", |
| model_filename="rtm133lifting.pth", |
| cache_dir=cache_dir, |
| ) |
| |
| state_dict=model_loader.load_model(device=device)\ |
| model.load_state_dict(state_dict) |
|
|
| 📊 Evaluation & Leistung |
|
|
| Train Loss: 29712.805670 |
| Test Loss: 100725.236959 |
|
|
| 🏋️ Training |
|
|
| Dieses Modell wurde von Grund auf neu auf dem H3WB-Datensatz trainiert. |
|
|
| Epochen: 175 |
| |
| Batch-Größe: 256 |
| |
| Optimierer: Adam |
| |
| Learning Rate: 0.002 |
| |
| Hardware: NVIDIA GeForce RTX 3050 |
| |
| 📄 Zitation |
|
|
| @inproceedings{zhu2023h3wb, |
| title={H3WB: Human3.6M 3D WholeBody Dataset and Benchmark}, |
| author={Zhu, Yue and Samet, Nermin and Picard, David}, |
| booktitle={Proceedings of the IEEE/CVF International Conference on Computer Vision}, |
| year={2023} |
| } |
|
|
| /*@misc{<dein-modellname>2024, |
| title = {{<Modellname>}: A 3D Whole-Body Pose Estimation Model}, |
| author = {Stephan, Jonas D. and Dollmann, Nathalie}, |
| howpublished = {\url{https://github.com/<dein-username>/<dein-repo>}}, |
| year = {2024} |
| }*/ |
|
|
| 🙏 Danksagung |
|
|
| Dieses Projekt basiert auf der Arbeit des WholeBody3D (H3WB) Teams. Vielen Dank an Yue Zhu, Nermin Samet und David Picard für die Bereitstellung des hervorragenden Datensatzes und Codes. |
| ⚖️ Lizenz |
|
|
| Der Code in diesem Repository ist, sofern nicht anders angegeben, unter der MIT-Lizenz lizenziert. Siehe die Datei LICENSE für Details. |
|
|
| Das Modell nutzt Daten und Architektur, die unter der MIT-Lizenz vom H3WB-Projekt veröffentlicht wurden. Copyright 2023 der H3WB-Autoren. Copyright 2024 Jonas D. Stephan & Nathalie Dollmann. |
