Fwizzer-R1.preset.json

{
  "identifier": "@local:fwizzer-r1-3b-ru",
  "name": "Fwizzer-R1-3B-RU (Thinking)",
  "changed": true,
  "operation": {
    "fields": [
      {
        "key": "llm.prediction.systemPrompt",
        "value": "Ты русскоязычный ИИ-ассистент Fwizzer-R1-3B-RU. Твоя задача — рассуждать глубоко и логично внутри тегов <think>(цепочка мыслей) и </think>(ответ пользователю), решая задачи шаг за шагом. Всегда отвечай на русском языке (или на языке запроса пользователя)."
      },
      {
        "key": "llm.prediction.temperature",
        "value": 0.6
      },
      {
        "key": "llm.prediction.topP",
        "value": 0.95
      },
      {
        "key": "llm.prediction.repeatPenalty",
        "value": 1.15
      },
      {
        "key": "llm.prediction.llama.cpuThreads",
        "value": 6
      },
      {
        "key": "llm.prediction.reasoning.enableThinking",
        "value": true
      },
      {
        "key": "llm.prediction.reasoning.parsing",
        "value": {
          "enabled": true,
          "startString": "<think>",
          "endString": "</think>"
        }
      },
      {
        "key": "llm.prediction.reasoningParsing",
        "value": {
          "type": "tag",
          "startTag": "<think>",
          "endTag": "</think>"
        }
      },
      {
        "key": "llm.prediction.stopStrings",
        "value": [
          "</s>",
          "[INST]",
          "[/INST]"
        ]
      }
    ]
  },
  "load": {
    "fields": [
      {
        "key": "llm.load.contextLength",
        "value": 8192
      },
      {
        "key": "llm.load.llama.gpuOffload",
        "value": {
          "type": "max"
        }
      },
      {
        "key": "llm.load.llama.flashAttention",
        "value": true
      }
    ]
  }
}