| FROM ./sj-0.5.6simf.gguf | |
| TEMPLATE """{{- range .Messages }}{{- if eq .Role "user" }}<|user|>{{ .Content }}<|assistant|>{{- else }}{{ .Content }}<|endoftext|>{{- end }}{{- end }}""" | |
| PARAMETER stop "<|endoftext|>" | |
| PARAMETER temperature 0.7 | |
| PARAMETER top_k 50 | |
| PARAMETER repeat_penalty 1.2 | |
| PARAMETER num_ctx 1024 | |