zeroth-normalizer

zeroth korean text normalizer


Keywords
natural, language, processor, normalizer, zeroth, korean, text
License
MIT
Install
pip install zeroth-normalizer==0.1.0

Documentation

zeroth-normalizer

Project: Zerothμ—μ„œ ν•œκ΅­μ–΄λ₯Ό μ²˜λ¦¬ν•  λ•Œ μ‚¬μš©λœ normalizerμ½”λ“œλ₯Ό λ‹€λ₯Έ μž‘μ—…μ— μ μš©ν•  수 μžˆλ„λ‘ μ™ΈλΆ€ λͺ¨λ“ˆλ‘œ λΆ„λ¦¬ν•˜μ˜€μŠ΅λ‹ˆλ‹€.

  • ν•¨μˆ˜ νƒ€μž… 적용 및 전체 μ½”λ“œ 클래슀둜 뢄리
  • 클래슀 μ„ μ–Έμ—μ„œλŠ” openai/whisper의 BasicTextNormalizerλ₯Ό μ°Έκ³ ν–ˆμŠ΅λ‹ˆλ‹€.

Installation

python3 -m pip install zeroth-normalizer

Usage

See also test.py

from zeroth_normalizer import ZerothKoreanNormalizer
normalizer = ZerothKoreanNormalizer()
normalizer('여기에 ν•œκ΅­μ–΄ ν…μŠ€νŠΈ μž…λ ₯', steps=4)

Examples

원문:    λŒ€μ™• λŒ€λΉ„κ°€ λŒ€ν–‰μ™•μ΄ 예(睿)둜써 μ‹œν˜Έλ₯Ό 삼도둝 λ§ν–ˆμ—ˆλ‹€κ³  μ•Œλ¦¬λ‹€
step1:   λŒ€μ™• λŒ€λΉ„κ°€ λŒ€ν–‰μ™•μ΄ 예둜써 μ‹œν˜Έλ₯Ό 삼도둝 λ§ν–ˆμ—ˆλ‹€κ³  μ•Œλ¦¬λ‹€
step2:   λŒ€μ™• λŒ€λΉ„κ°€ λŒ€ν–‰μ™•μ΄ 예둜써 μ‹œν˜Έλ₯Ό 삼도둝 λ§ν–ˆμ—ˆλ‹€κ³  μ•Œλ¦¬λ‹€
step3:   λŒ€μ™• λŒ€λΉ„κ°€ λŒ€ν–‰μ™•μ΄ 예둜써 μ‹œν˜Έλ₯Ό 삼도둝 λ§ν–ˆμ—ˆλ‹€κ³  μ•Œλ¦¬λ‹€
step4:   λŒ€μ™• λŒ€λΉ„κ°€ λŒ€ν–‰μ™•μ΄ 예둜써 μ‹œν˜Έλ₯Ό 삼도둝 λ§ν–ˆμ—ˆλ‹€κ³  μ•Œλ¦¬λ‹€

원문:    ν•œκ΅­μ–΄ μœ„ν‚€λ°±κ³Ό(μ˜μ–΄: Korean Wikipedia)λŠ” ν•œκ΅­μ–΄λ‘œ μš΄μ˜λ˜λŠ” μœ„ν‚€λ°±κ³Όμ˜ λ‹€μ–Έμ–΄νŒ κ°€μš΄λ° ν•˜λ‚˜λ‘œμ„œ, 2002λ…„ 10μ›” 11일에 μ‹œμž‘λ˜μ—ˆλ‹€.
step1:   ν•œκ΅­μ–΄ μœ„ν‚€λ°±κ³ΌλŠ” ν•œκ΅­μ–΄λ‘œ μš΄μ˜λ˜λŠ” μœ„ν‚€λ°±κ³Όμ˜ λ‹€μ–Έμ–΄νŒ κ°€μš΄λ° ν•˜λ‚˜λ‘œμ„œ , 2002 λ…„ 10 μ›” 11 일에 μ‹œμž‘λ˜μ—ˆλ‹€.
step2:   ν•œκ΅­μ–΄ μœ„ν‚€λ°±κ³ΌλŠ” ν•œκ΅­μ–΄λ‘œ μš΄μ˜λ˜λŠ” μœ„ν‚€λ°±κ³Όμ˜ λ‹€μ–Έμ–΄νŒ κ°€μš΄λ° ν•˜λ‚˜λ‘œμ„œ, 2002 λ…„ 10 μ›” 11 일에 μ‹œμž‘λ˜μ—ˆλ‹€.
step3:   ν•œκ΅­μ–΄ μœ„ν‚€λ°±κ³ΌλŠ” ν•œκ΅­μ–΄λ‘œ μš΄μ˜λ˜λŠ” μœ„ν‚€λ°±κ³Όμ˜ λ‹€μ–Έμ–΄νŒ κ°€μš΄λ° ν•˜λ‚˜λ‘œμ„œ, 2002 λ…„ 10 μ›” 11 일에 μ‹œμž‘λ˜μ—ˆλ‹€.
step4:   ν•œκ΅­μ–΄ μœ„ν‚€λ°±κ³ΌλŠ” ν•œκ΅­μ–΄λ‘œ μš΄μ˜λ˜λŠ” μœ„ν‚€λ°±κ³Όμ˜ λ‹€μ–Έμ–΄νŒ κ°€μš΄λ° ν•˜λ‚˜λ‘œμ„œ 이천 이 λ…„ 10 μ›” 11 일에 μ‹œμž‘λ˜μ—ˆλ‹€

원문:    곡식 λ¬Έμ„œμ—λŠ” 'Corea' λ˜λŠ” 'Korea'κ°€ ν˜Όμš©λ˜μ–΄ μ‚¬μš©λ˜μ—ˆκ³ , 1900λ…„λŒ€ μ΄ˆκΈ°λΆ€ν„° μ˜μ–΄κΆŒμ—μ„œλŠ” 'Korea'의 μ‚¬μš© λΉˆλ„κ°€ λ†’μ•˜λ‹€.
step1:   곡식 λ¬Έμ„œμ—λŠ” Corea λ˜λŠ” Korea κ°€ ν˜Όμš©λ˜μ–΄ μ‚¬μš©λ˜μ—ˆκ³  , 1900 λ…„λŒ€ μ΄ˆκΈ°λΆ€ν„° μ˜μ–΄κΆŒμ—μ„œλŠ” Korea 의 μ‚¬μš© λΉˆλ„κ°€ λ†’μ•˜λ‹€.
step2:   곡식 λ¬Έμ„œμ—λŠ” Corea λ˜λŠ” Korea κ°€ ν˜Όμš©λ˜μ–΄ μ‚¬μš©λ˜μ—ˆκ³ , 1900 λ…„λŒ€ μ΄ˆκΈ°λΆ€ν„° μ˜μ–΄κΆŒμ—μ„œλŠ” Korea 의 μ‚¬μš© λΉˆλ„κ°€ λ†’μ•˜λ‹€.
step3:   곡식 λ¬Έμ„œμ—λŠ” Corea λ˜λŠ” Korea κ°€ ν˜Όμš©λ˜μ–΄ μ‚¬μš©λ˜μ—ˆκ³ , 1900 λ…„λŒ€ μ΄ˆκΈ°λΆ€ν„° μ˜μ–΄κΆŒμ—μ„œλŠ” Korea 의 μ‚¬μš© λΉˆλ„κ°€ λ†’μ•˜λ‹€.
step4:   곡식 λ¬Έμ„œμ—λŠ” Corea λ˜λŠ” Korea κ°€ ν˜Όμš©λ˜μ–΄ μ‚¬μš©λ˜μ—ˆκ³  천 ꡬ백 λ…„λŒ€ μ΄ˆκΈ°λΆ€ν„° μ˜μ–΄κΆŒμ—μ„œλŠ” Korea 의 μ‚¬μš© λΉˆλ„κ°€ λ†’μ•˜λ‹€

원문:      λΆμœ„ 33도~38도, 동경 126~132도에 걸쳐 μžˆμ–΄ λƒ‰λŒ€ 동계 μ†Œμš° 기후와 μ˜¨λŒ€ ν•˜μš° κΈ°ν›„, μ˜¨λ‚œ 슡윀 κΈ°ν›„κ°€ λ‚˜νƒ€λ‚œλ‹€.
step1:   λΆμœ„ 33 도 ~ 38 도 , 동경 126 ~ 132 도에 걸쳐 μžˆμ–΄ λƒ‰λŒ€ 동계 μ†Œμš° 기후와 μ˜¨λŒ€ ν•˜μš° κΈ°ν›„ , μ˜¨λ‚œ 슡윀 κΈ°ν›„κ°€ λ‚˜νƒ€λ‚œλ‹€.
step2:   λΆμœ„ 33 도 ~ 38 도 , 동경 126 ~ 132 도에 걸쳐 μžˆμ–΄ λƒ‰λŒ€ 동계 μ†Œμš° 기후와 μ˜¨λŒ€ ν•˜μš° κΈ°ν›„ , μ˜¨λ‚œ 슡윀 κΈ°ν›„κ°€ λ‚˜νƒ€λ‚œλ‹€.
step3:   λΆμœ„ 33 도 ~ 38 도 , 동경 126 ~ 132 도에 걸쳐 μžˆμ–΄ λƒ‰λŒ€ 동계 μ†Œμš° 기후와 μ˜¨λŒ€ ν•˜μš° κΈ°ν›„ , μ˜¨λ‚œ 슡윀 κΈ°ν›„κ°€ λ‚˜νƒ€λ‚œλ‹€.
step4:   λΆμœ„ 33 도 ~ 38 도 동경 λ°± 이십 윑 ~ λ°± μ‚Όμ‹­ 이 도에 걸쳐 μžˆμ–΄ λƒ‰λŒ€ 동계 μ†Œμš° 기후와 μ˜¨λŒ€ ν•˜μš° κΈ°ν›„ μ˜¨λ‚œ 슡윀 κΈ°ν›„κ°€ λ‚˜νƒ€λ‚œλ‹€

원문:    3.1μš΄λ™
step1:   3.1 μš΄λ™
step2:   3.1 μš΄λ™
step3:   3.1 μš΄λ™
step4:   μ‚Ό 쩜 일 μš΄λ™

원문:    평균 κΈ°μ˜¨μ€ 10 ~ 16℃이며, κ°€μž₯ λ¬΄λ”μš΄ 달인 8월은 23 ~ 36℃, 5월은 16 ~ 19℃, 10월은 11 ~ 19℃, κ°€μž₯ μΆ”μš΄ 달인 1월은 -6 ~ 3℃이닀.
step1:   평균 κΈ°μ˜¨μ€ 10 ~ 16 이며 , κ°€μž₯ λ¬΄λ”μš΄ 달인 8 월은 23 ~ 36 , 5 월은 16 ~ 19 , 10 월은 11 ~ 19 , κ°€μž₯ μΆ”μš΄ 달인 1 월은 - 6 ~ 3 이닀.
step2:   평균 κΈ°μ˜¨μ€ 10 ~ 16 이며 , κ°€μž₯ λ¬΄λ”μš΄ 달인 8 월은 23 ~ 36 , 5 월은 16 ~ 19 , 10 월은 11 ~ 19 , κ°€μž₯ μΆ”μš΄ 달인 1 월은 - 6 ~ 3 이닀.
step3:   평균 κΈ°μ˜¨μ€ 10 ~ 16 이며 , κ°€μž₯ λ¬΄λ”μš΄ 달인 8 월은 23 ~ 36 , 5 월은 16 ~ 19 , 10 월은 11 ~ 19 , κ°€μž₯ μΆ”μš΄ 달인 1 월은 - 6 ~ 3 이닀.
step4:   평균 κΈ°μ˜¨μ€ 10 ~ 16 이며 κ°€μž₯ λ¬΄λ”μš΄ 달인 8 월은 23 ~ 36 5 월은 16 ~ 19 10 월은 11 ~ 19 κ°€μž₯ μΆ”μš΄ 달인 1 월은 - 6 ~ 3 이닀

원문:    μ˜ˆμ‹œλ‘œμ„œ, λ§Œμ•½ 크기 n의 λͺ¨λ“  μž…λ ₯에 λŒ€ν•œ μ•Œκ³ λ¦¬μ¦˜μ— ν•„μš”ν•œ μ‹œκ°„μ΄ μ΅œλŒ€ (μ–΄λ–€ n0보닀 크지 μ•Šμ€ λͺ¨λ“  n에 λŒ€ν•˜μ—¬) 5n^3 + 3n의 식을 가진닀면, 이 μ•Œκ³ λ¦¬μ¦˜μ˜ 점 근적 μ‹œκ°„ λ³΅μž‘λ„λŠ” O(n3)이라고 ν•  수 μžˆλ‹€.
step1:   μ˜ˆμ‹œλ‘œμ„œ , λ§Œμ•½ 크기 n 의 λͺ¨λ“  μž…λ ₯에 λŒ€ν•œ μ•Œκ³ λ¦¬μ¦˜μ— ν•„μš”ν•œ μ‹œκ°„μ΄ μ΅œλŒ€ 5 n 3 + 3 n 의 식을 가진닀면 , 이 μ•Œκ³ λ¦¬μ¦˜μ˜ 점근적 μ‹œκ°„ λ³΅μž‘λ„λŠ” O 이라고 ν•  수  μžˆλ‹€.
step2:   μ˜ˆμ‹œλ‘œμ„œ , λ§Œμ•½ 크기 n 의 λͺ¨λ“  μž…λ ₯에 λŒ€ν•œ μ•Œκ³ λ¦¬μ¦˜μ— ν•„μš”ν•œ μ‹œκ°„μ΄ μ΅œλŒ€ 5 n 3 + 3 n 의 식을 가진닀면 , 이 μ•Œκ³ λ¦¬μ¦˜μ˜ 점근적 μ‹œκ°„ λ³΅μž‘λ„λŠ” O 이라고 ν•  수  μžˆλ‹€.
step3:   μ˜ˆμ‹œλ‘œμ„œ , λ§Œμ•½ 크기 n 의 λͺ¨λ“  μž…λ ₯에 λŒ€ν•œ μ•Œκ³ λ¦¬μ¦˜μ— ν•„μš”ν•œ μ‹œκ°„μ΄ μ΅œλŒ€ 5 n 3 + 3 n 의 식을 가진닀면 , 이 μ•Œκ³ λ¦¬μ¦˜μ˜ 점근적 μ‹œκ°„ λ³΅μž‘λ„λŠ” O 이라고 ν•  수  μžˆλ‹€.
step4:   μ˜ˆμ‹œλ‘œμ„œ λ§Œμ•½ 크기 n 의 λͺ¨λ“  μž…λ ₯에 λŒ€ν•œ μ•Œκ³ λ¦¬μ¦˜μ— ν•„μš”ν•œ μ‹œκ°„μ΄ μ΅œλŒ€ 5 n 3 + 3 n 의 식을 가진닀면 이 μ•Œκ³ λ¦¬μ¦˜μ˜ 점근적 μ‹œκ°„ λ³΅μž‘λ„λŠ” O 이라고 ν•  수 μžˆλ‹€