README_CN.md

# RL-Struct: 弥合结构鸿沟

[English Version](./README.md)

本仓库包含论文 **"Bridging the Structure Gap: A Lightweight RL Framework for Reliable Structured Output Generation in LLMs"** 的模型和代码。

我们提出了 **RL-Struct**，这是一个轻量级的强化学习框架，旨在解决“结构鸿沟”问题——即概率性 Token 生成与确定性结构化格式（如 JSON）之间的矛盾。通过利用 **GRPO（梯度正则化策略优化）** 和新颖的 **多维奖励函数**，我们的模型在无需高延迟约束解码的情况下，实现了卓越的结构可靠性。

## 🚀 核心特性

-   **多维奖励函数**：将目标分解为结构（Structure）、格式（Format）、有效性（Validity）、正确性（Correctness）和长度（Length）。
-   **高效训练**：使用 GRPO 消除 Critic 网络，相比 PPO 减少约 40% 的显存占用。
-   **涌现课程学习**：模型自发地先学习语法（如何说），再学习语义（说什么）。
-   **高性能**：在复杂的食谱生成任务上实现了 **89.7% 的结构准确率** 和 **92.1% 的 JSON 有效性**，优于 LLaMA-3-8B 和 GPT-3.5。

## 📊 模型详情

-   **基座模型：** [Qwen/Qwen3-4B-Instruct-2507](https://huggingface.co/Qwen/Qwen3-4B-Instruct-2507)
-   **训练方法：** GRPO (强化学习) + LoRA
-   **任务：** 结构化输出生成 (JSON 食谱, GSM8K-JSON, ToolUse)
-   **协议：** Apache-2.0

## 🛠️ 使用方法

### 系统提示词 (System Prompt)
为确保正确的 JSON 输出，请使用以下系统提示词：

```text
You are a precise recipe assistant. Always respond in the following JSON format:
{
  "reasoning": "Your step-by-step reasoning here...",
  "answer": "{\"name\": \"Recipe Name\", \"nutrition\": \"Calories: ..., Protein: ..., Fat: ...\"}"
}
Do not include any other text, explanations, or markdown. Only output valid JSON.
```

## 📈 性能表现

| 方法 | 结构准确率 | JSON 有效性 | 内容准确率 |
| :--- | :---: | :---: | :---: |
| GPT-3.5 (Zero-shot) | 45.5% | 82.1% | 88.0% |
| LLaMA-3-8B (SFT) | 78.2% | 85.4% | 86.0% |
| **RL-Struct (Ours)** | **89.7%** | **92.1%** | **84.5%** |