URajinda/ShweYon-V2-Base

🚀 ShweYon-GPT2-Burmese-v1 (ကိုရွှေယုန်)

ShweYon သည် မြန်မာဘာသာစကားအတွက် သီးသန့်ရည်ရွယ်၍ အခြေခံမှစတင်ကာ (From Scratch) တည်ဆောက်ထားသော Decoder-only Transformer မော်ဒယ်ဖြစ်သည်။ GPT-2 Architecture ကို အခြေခံထားပြီး မြန်မာစာလုံးပေါင်း ၁ သိန်းကျော်ပါဝင်သော သန့်စင်ပြီးသား Golden Corpus ဖြင့် လေ့ကျင့်ပေးထားပါသည်။

📌 Model Description

• Developed by: [ဦးရာဇိန္ဒာနန္ဒ,URajinda]
• Model type: Causal Language Model
• Architecture: GPT-2 based (Customized for Myanmar)
• Language(s): Burmese (မြန်မာဘာသာ)
• Tokenizer: Custom Byte-Pair Encoding (BPE) optimized for Myanmar script.

🎯 Intended Use

ဤမော်ဒယ်ကို အောက်ပါလုပ်ငန်းများတွင် အသုံးပြုနိုင်သည်-

• မြန်မာစာသားများ အလိုအလျောက် ရေးသားခြင်း (Text Generation)
• စာကြောင်းများ အဆုံးသတ်ပေးခြင်း (Sentence Completion)
• Chatbot နှင့် Assistant များအတွက် အခြေခံအဖြစ် အသုံးပြုခြင်း (Fine-tuning base)

📊 Training Details

• Steps: 8,255 steps
• Epochs: 5.0
• Final Loss: [ 3.1]
• Hardware: NVIDIA T4 GPU (Google Colab)

⚠️ Limitations

ဤမော်ဒယ်သည် Base Model ဖြစ်သောကြောင့် အချက်အလက်အမှားများ (Hallucinations) ပါဝင်နိုင်ပါသည်။ စကားပြောဆိုမှု ပိုမိုကောင်းမွန်လာစေရန် Chat-based Fine-tuning ထပ်မံပြုလုပ်ရန် လိုအပ်ပါသည်။

👨‍💻 How to use

from transformers import pipeline

generator = pipeline('text-generation', model='your-username/ShweYon-GPT2-Burmese-v1')
print(generator("မြန်မာနိုင်ငံသည်", max_length=50))