ပွင်ႈၵႂၢမ်းၼႆႉၶတ်းၸႂ်ၶႂ်ႈႁႂ်ႈမၼ်းဢၢၼ်ႇငၢႆႈၼႆလႄႈ လႆႈႁုပ်ႈတတ်းႁူဝ်ယွႆႈ technical term လိုၵ်ႉလိုၵ်ႉဝႆႉတၢင်းၼမ် သင်ၶႂ်ႈလူလွင်ႈ technical ထႅင်ႈၼႆ serch ႁႃ keyword ၸိူဝ်းၼႆႉၶႃႈ
> - Language Model
> - n-gram model
> - Markov chain
> - Chain Rule Derivative
> - Continuous-space

မိူဝ်ႈဢၼ်ႁဝ်းဢၢၼ်ႇထႅဝ်လိၵ်ႈၼႆႉယူႇၼၼ်ႉ ၸၢမ်းဝူၼ်ႉတူၺ်းလူ ဝႃႈဢွၵ်းဢေႃႁဝ်းႁဵတ်းႁိုဝ်သေပွင်ႇၵႂၢမ်း ၶဝ်ႈၸႂ်ဝႃႈ ၶႃႈတိုၵ်ႉတႅမ်ႈလွင်ႈသင်ယူႇ။
မၢင်ၵေႃႉတေဝႃႈ ၵွပ်ႈႁဝ်းလႆႈႁဵၼ်းသွၼ် "လိၵ်ႈတႆး" မႃးၼၼ်ႉၼႃႇ ႁဝ်းၸင်ႇမေႃလူဢၢၼ်ပွင်ႈၵႂၢမ်းၼႆႉ။
ပေႃးၼၼ်ႉ ပေႃးၶႃႈတႅမ်ႈဝႃႈ

"မိူဝ်ႈၼႆႉသူၵိၼ်ၶဝ်ႈၵပ်း ... "

တီႈလွၵ်းပဝ်ႇၼၼ်ႉ ဝူၼ်ႉဝႃႈတေပဵၼ်ၵႂၢမ်းၶေႃႈလႂ်ဢၼ်တေမႃးၵပ်းထုၵ်ႇလႆႈ "မႅဝ်း" ? "ၼူ" ?။
ၶေႃႈၵႂၢမ်း "မိူဝ်ႈၼႆႉသူၵိၼ်ၶဝ်ႈၵပ်း ... " ၼႂ်းလွၵ်းပဝ်ႇၼၼ်ႉၸၢင်ႈပဵၼ်လႆႈမိူၼ်ၼင်ႇ

ထႅမ် 1 ၶေႃႈ -> ["ၽၵ်း", "မူ", "ၼိူဝ်ႉ", "ထူဝ်ႇ", "သင်", "ၽႂ်"]
သင်ဝႃႈ လူဝ်ႇ 1 ၶေႃႈၵူၺ်းၼႆၸိုင် ၶေႃႈ "သင်" ၼၼ်ႉ တေထုၵ်ႇမႅၼ်ႈသုတ်း

"မိူဝ်ႈၼႆႉသူၵိၼ်ၶဝ်ႈၵပ်း သင်"

မၢင်ပိုၼ်ႉတီႈ "မိူဝ်ႈၼႆႉသူၵိၼ်ၶဝ်ႈၵပ်း ၽႂ်" ၼႆၵေႃႉတေပွင်ႇၽွင်ႈယူႇ ဢိင်ၼိူဝ် "တၢင်းယၢမ်ႈ" ဢၼ်ၸဝ်ႈၵဝ်ႇမီးၼၼ်ႉ

ထႅမ် 2 ၶေႃႈ -> ["ၽၵ်းၵၢတ်ႇ", "ၽၵ်ႉႁီႉ", "ၽၵ်းၼွႆး", "ၼိူဝ်ႉမူ", "ၼိူဝ်ႉၵႆႉ", "ဢီႈသင်"]
ပေႃးဝႃႈလူဝ်ႈထႅမ် 2 ၶေႃႈၼႆၸိုင် ၶေႃႈ "ဢီႈသင်" ၼၼ်ႉၵေႃႈတေထုၵ်ႇမႅၼ်ႈသုတ်း။

ပေႃးဝႃႈလူဝ်ႈထႅမ် 3 ၶေႃႈၼႆ ႁဝ်းသႂ်ႁႂ်ႈပဵၼ်ၶေႃႈထၢမ်လႆႈ
-> ["ၽၵ်းၵၢတ်ႇႁႃႉ", "ၽၵ်ႉႁီႉႁႃႉ", "ၽၵ်းၼွႆးႁႃႉ", "ၼိူဝ်ႉမူႁႃႉ", "ၼိူဝ်ႉၵႆႉႁႃႉ", "ဢီႈသင်ႁႃႉ"]

ပေႃးၸိူင်ႉၼၼ်ၼႆ ၸႂ်ႉလႆႈၵူႈၶေႃႈလိူဝ်သေၶေႃႈ "ဢီႈသင်ႁႃႉ" ၼႆၼၼ်ႉတေဢမ်ႇပွင်ႇ။

တေႁၼ်ဝႃႈတႃႇတေလၢမ်းၶၢတ်ႈထႅမ်ၶေႃႈၵႂၢမ်းၵႂႃႇထႅင်ႈၼၼ်ႉ ႁဝ်းတေလႆႈဢိင်ၼိူဝ် 2 လွင်ႈ

1. ၶေႃႈ/ထွႆႈ ၵႂၢမ်းတၢင်းယၢမ်ႈလႄႈပိုၼ်ႉတီႈ ဢမ်ႇၼၼ် ၶေႃႈမုၼ်းဢၼ်ႁဝ်းယၢမ်ႈလၢတ်ႈယၢမ်ႈယိၼ်းမႃး
2. ၶေႃႈၵႂၢမ်းတၢင်းၼႃႈပဵၼ်သင် ပေႃးဝႃႈႁဝ်းဢဝ်ၶေႃႈလၢမ်းၶၢတ်ႈႁဝ်းၵႂႃႇသႂ်တၢင်ႇထႅဝ်လိၵ်ႈ မိူၼ်ၼင်ႇ -> "ႁဝ်းႁၵ်ႉသူႉၵေႃႉ -" လႄႈသႂ်ႇဝႃႈ ၽၵ်ႉၵၢတ်ႇ ၼႆၵေႃႈ ႁႁႁ။

ၼႂ်းၾူၼ်း လႄႈ Computer ႁဝ်းတေယၢမ်ႈႁၼ်

လွၵ်းမိုဝ်းပၢင်လူင်

ပေႃးႁဝ်းပေႃႉလိၵ်ႈဝႃႈ "ပၢင်" ၼႆၸိုင်မၼ်းတေၽုတ်းဢွၵ်ႇမႃးပၼ်ဝႃႈ "ပၢင် လူင်"။
ၶိူင်ႈၸၢၵ်ႉ Computer လႄႈ ၾူၼ်းႁဵတ်းၸိူင်ႉႁိုဝ်ႁူႉၶႃႈလႃႇ?

Language Modeling

Language Modeling ပဵၼ်ပိုၼ်ႉထၢၼ်တႃႇတေႁဵတ်းႁႂ်ႈၶွမ်ႇၽိဝ်ႇတိူဝ်ႇပွင်ႇၸႂ်ၵႂၢမ်းၵူၼ်းၼႂ်းၶၵ်ႉၵၢၼ် NLP (Natural Language Processing) လွင်ႈထတ်းသၢင်ႈၽႃႇသႃႇသၽႃႇဝ လွၵ်းလၢႆးတႃႇႁႂ်ႈၶွမ်ႇၽိဝ်ႇတိူဝ်ႇႁူႉၸၵ်ႉၽႃႇသႃႇၵူၼ်း။
ပိူင်တႅၵ်ႈမိူၼ် ChatGPT ၼၼ်ႉယူႇၼိူဝ်ယွတ်ႈသုတ်းၼႂ်းၶၵ်းၵၢၼ် NLP မၼ်းမေႃလၢတ်ႈတေႃႇႁဝ်းလႆႈမိူၼ်ၵူၼ်းလီလီၼၼ်ႉယဝ်ႉ။
တႃႇတေႁဵတ်းႁႂ်ႈၶွမ်ႇၽိဝ်ႇတိူဝ်ႇပွင်ႇၸႂ်ၽႃႇသႃႇႁဝ်းၼၼ်ႉမီးၶၵ်ႉတွၼ်ႈႁူဝ်ယွႆႈတၢင်းၼမ်

တႄႇတီႈ

• ၾွၼ်ႉ (Fonts), ၶျီးပွတ်ႇ (Keyboard), တႃႇထႅမ်သႂ်ႇၶေႃႈမုၼ်းၽႃႇသႃႇ
• ၵၢၼ်တတ်းၶေႃႈၵႂၢမ်း၊ ထွႆႈၵႂၢမ်း ၼႂ်းထႅဝ်လိၵ်ႈ (syllable, word Tokenization)

ၽႃႇသႃႇၵႂၢမ်းလၢတ်ႈ -> | ၽႃႇ | သႃႇ | ၵႂၢမ်း | လၢတ်ႈ | -> syllable
ၽႃႇသႃႇၵႂၢမ်းလၢတ်ႈ -> | ၽႃႇသႃႇ | ၵႂၢမ်း | လၢတ်ႈ | -> word

• Language Model တႃႇႁႂ်ႈႁူႉဝႃႈၶေႃႈၵႂၢမ်း၊ ထွႆႈၵႂၢမ်း ၵပ်းၵၼ်ၸိူင်ႉႁိုဝ်
• ... လႄႈသိုပ်ႇထႅင်ႈတင်းၼမ် ၼႂ်းပွင်ႈၵႂၢမ်းၼႆႉတေလၢတ်ႈလွင်ႈ Language Model ...

Count-based method - Chain rule

ၼင်ႇလၢတ်ႈမႃးပႃႈၼိူဝ်ၼၼ်ႉ ၶေႃႈၵႂၢမ်းတႃႇတေထႅမ်လွၵ်းပဝ်ႇၼၼ်ႉတေလႆႈဢိင်ၼိူဝ်ၶေႃႈမုၼ်းတၢင်းယၢမ်ႈဢၼ်ႁဝ်းမီးလႄႈ ၼႂ်းထႅဝ်လိၵ်ႈၼၼ်ႉၶေႃႈၵႂၢမ်းသင်မႃးဢွၼ်တၢင်း။
ၼႂ်းၶွမ်ႇၽိဝ်ႇတိူဝ်ႈၵေႃႈမိူၼ်ၵၼ် တေလႆႈမီးၶေႃႈမုၼ်းပၼ်မၼ်းသေ ၼႂ်းထႅဝ်လိၵ်ႈၼၼ်ႉမၼ်းတေလႆႈလၢမ်းၶၢတ်ႈဝႃႈ ထုၵ်ႇလီထႅမ်လွၵ်းပဝ်ႇသင် မၼ်းတေလႆႈတူၺ်းၶေႃႈၵႂၢမ်းတၢင်းၼႃႈၵွၼ်ႇ လူၺ်ႈၵၢၼ်ၸႂ်ႉတၢင်းႁူႉလွင်ႈပၢႆးၼမ်ႉ Probabilistic math ပၢႆးၼပ်ႉၵၢၼ်လၢမ်းၶၢတ်ႈ

Chain rule

"ၽႃႇသႃႇၵႂၢမ်းလၢတ်ႈ"

Chain rule

ၶေႃႈၵႂၢမ်းဢၼ်တေမႃးၵပ်းၼၼ်ႉ တေသိုပ်ႇမႃးတီႈတူဝ်တၢင်းၼႃႈတင်းသဵင်ႈ။

ၼႆႉပဵၼ်ၵႂၢမ်း 4 ၶေႃႈၵူၺ်း ပေႃးမီးထႅဝ်လိၵ်ႈ ဢမ်ႇၼၼ်ပွင်ႈၵႂၢမ်းမႃးၼႆၸိုင် term တၢင်းလင်တေယိုတ်ႈယၢဝ်းလႄႈသုၵ်ႉယုင်ႈၵႂႃႇတိၵ်းတိၵ်း။

Markov assumption

Markov assumption approach ယိုၼ်ႈၼႄဝႃႈ ႁႂ်ႈတူၺ်း n-gram ဢမ်ႇၼၼ် n ၶေႃႈတၢင်းလင်ၵူၺ်း။

n-1 တေတူၺ်းတူဝ်တၢင်းလင် 1 တူဝ်ၵူၺ်းသေလၢမ်းၶၢတ်ႈထႅင်ႈတူဝ်တၢင်းၼႃႈ

လိူဝ်သေၼၼ်ႉတေမီးထႅင်ႈ unigram (n-1), bigram (n-2), trigram (n-3) လႄႈ n-gram ဢိင်ၼိူဝ်ၶေႃႈမုၼ်း လႄႈထႅဝ်လိၵ်ႈဢၼ်ႁဝ်းပၼ်ၼၼ်ႉ ဢၼ်လႂ်လၢမ်းၶၢတ်ႈလႆႈလီသုတ်းၵေႃႈတေၸႂ်ႉဢၼ်ၼၼ်ႉ။

n-gram markov assumption

ပေႃးၶွမ်ႇၽိဝ်ႇတိူဝ်ႇၸၢင်ႈလၢမ်းၶၢတ်ႈလႆႈၸိူင်ႉၼႆၸိုင်ၸၢင်ႈဢဝ်ၵႂႃႇၸႂ်ႉလႆႈလၢႆတီႈလၢႆတၢင်းမိူၼ်ၼင်ႇ

• Smart suggestion -> လၢမ်းၶၢတ်ႈပၼ်ၶေႃႈဢၼ်ႁဝ်းတေပေႃႉလိၵ်ႈ
• Machine Translation -> ပိၼ်ႇၽႃႇသႃႇ
• Text to Speech -> ပိၼ်ထႅဝ်လိၵ်ႈပဵၼ်သဵင်လၢတ်ႈ
• News summarize -> ႁုပ်ႈႁူဝ်ၶၢဝ်ႇ
• Story telling -> တႅမ်ႈထႅဝ်လိၵ်ႈ

Example

ဢိင်ၶေႃႈမုၼ်းၶၢဝ်ႇ Shannews "ၸုမ်းၶၢဝ်ႇၽူႈတွႆႇႁွၵ်ႈ" 4000+ ႁူဝ် ပွင်ႈၵႂၢမ်းၶၢဝ်ႇ သေ ၸၢမ်းႁႂ်ႈၶွမ်ႇၽိဝ်ႇတိူဝ်ႇလၢမ်းၶၢတ်ႈၶေႃႈၵႂၢမ်း ဢိင်ၼိူဝ်ၶေႃႈၵႂၢမ်းဢၼ်ႁဝ်းပေႃႉသႂ်ႇ

markov bigram n-2

ဝၢႆးသေသွၼ်ပၼ်ၶေႃႈမုၼ်းမၼ်းယဝ်ႉသေၸၢမ်းပေႃႉတူၺ်းဝႃႈ "ၶိူင်ႈ မိၼ်" ၼႆမၼ်းလၢမ်းၶၢတ်ႈၶေႃႈၵႂၢမ်းဢၼ်ၸၢင်ႈၵပ်းလႆႈဝႃႈ

• "မႃး ယိုဝ်း"
• "ယိုဝ်းၸွႆႈ"
• "ယိုဝ်း ႁၢဝ်ႈ"
• "သိုၵ်း မၢၼ်ႈ"

markov bigram n-2

ၸၢမ်းပေႃႉတူၺ်းဝႃႈ "ၸုမ်း ၶၢဝ်ႇ" ၼႆမၼ်းလၢမ်းၶၢတ်ႈမႃးပၼ်ထႅဝ်လိၵ်ႈၸူဝ်းၼႆႉ။
ၵွပ်ႈပိူဝ်ႈဝႃႈၶေႃႈမုၼ်းဢၼ်ၸႂ်ႉသွၼ်ၼၼ်ႉလုၵ်ႉတီႈ "ၸုမ်းၶၢဝ်ႇၽူႈတွႆႇႁွၵ်ႈ" မႃးၼႆလႄႈ ၶေႃႈၵႂၢမ်းဢၼ်မၼ်းတေလၢမ်းၶၢတ်ႈမႃးပၼ်ၵေႃႈတေၺိၼ်ႁၼ်ပဵၼ်ၶေႃႈၵႂၢမ်းဢၼ်ၵဵဝ်ႇၶွင်ႈၸွမ်း ၶၢဝ်ႇ ၵၢၼ်မိူင်း ၵၢၼ်သိုၵ်း လႄႈၸုမ်းၶၢဝ်ႇၼမ်သေပိူၼ်ႈၼၼ်ႉယဝ်ႉ

Limitation

ၶေႃႈယူပ်ႈယွမ်းၼႂ်းလွၵ်းလၢႆး markov-chain ၸိူင်ႉၼႆမၼ်းဢိင်ၼိူဝ်ဝႃႈႁဝ်းမီးၶေႃႈမုၼ်းတႃႇသွၼ်ပၼ်ၶွမ်ႊၼမ်ၵႃႈႁိုဝ် ၸေးၵႃႈႁိုဝ်ၼၼ်ႉယဝ်ႉ ပေႃးဝႃႈၶေႃႈမုၼ်းဢမ်ႇမီးၼမ်ၼႆၸၢင်ႈမီးပၼ်ႁႃ OOV (out of vocabulary) ဢမ်ယၢမ်ႈႁၼ်ၶေႃႈၵႂၢမ်းၼၼ်ႉ ၵေႃႈတေဢမ်ႇၸၢင်ႈလၢမ်းၶၢတ်ႈပၼ်ၼႆယဝ်ႉ။