zeroth-normalizer
Project: Zerothμμ νκ΅μ΄λ₯Ό μ²λ¦¬ν λ μ¬μ©λ normalizerμ½λλ₯Ό λ€λ₯Έ μμ μ μ μ©ν μ μλλ‘ μΈλΆ λͺ¨λλ‘ λΆλ¦¬νμμ΅λλ€.
- ν¨μ νμ μ μ© λ° μ 체 μ½λ ν΄λμ€λ‘ λΆλ¦¬
- ν΄λμ€ μ μΈμμλ openai/whisperμ
BasicTextNormalizer
λ₯Ό μ°Έκ³ νμ΅λλ€.
Installation
python3 -m pip install zeroth-normalizer
Usage
See also test.py
from zeroth_normalizer import ZerothKoreanNormalizer
normalizer = ZerothKoreanNormalizer()
normalizer('μ¬κΈ°μ νκ΅μ΄ ν
μ€νΈ μ
λ ₯', steps=4)
Examples
μλ¬Έ: λμ λλΉκ° λνμμ΄ μ(ηΏ)λ‘μ¨ μνΈλ₯Ό μΌλλ‘ λ§νμλ€κ³ μ리λ€
step1: λμ λλΉκ° λνμμ΄ μλ‘μ¨ μνΈλ₯Ό μΌλλ‘ λ§νμλ€κ³ μ리λ€
step2: λμ λλΉκ° λνμμ΄ μλ‘μ¨ μνΈλ₯Ό μΌλλ‘ λ§νμλ€κ³ μ리λ€
step3: λμ λλΉκ° λνμμ΄ μλ‘μ¨ μνΈλ₯Ό μΌλλ‘ λ§νμλ€κ³ μ리λ€
step4: λμ λλΉκ° λνμμ΄ μλ‘μ¨ μνΈλ₯Ό μΌλλ‘ λ§νμλ€κ³ μ리λ€
μλ¬Έ: νκ΅μ΄ μν€λ°±κ³Ό(μμ΄: Korean Wikipedia)λ νκ΅μ΄λ‘ μ΄μλλ μν€λ°±κ³Όμ λ€μΈμ΄ν κ°μ΄λ° νλλ‘μ, 2002λ
10μ 11μΌμ μμλμλ€.
step1: νκ΅μ΄ μν€λ°±κ³Όλ νκ΅μ΄λ‘ μ΄μλλ μν€λ°±κ³Όμ λ€μΈμ΄ν κ°μ΄λ° νλλ‘μ , 2002 λ
10 μ 11 μΌμ μμλμλ€.
step2: νκ΅μ΄ μν€λ°±κ³Όλ νκ΅μ΄λ‘ μ΄μλλ μν€λ°±κ³Όμ λ€μΈμ΄ν κ°μ΄λ° νλλ‘μ, 2002 λ
10 μ 11 μΌμ μμλμλ€.
step3: νκ΅μ΄ μν€λ°±κ³Όλ νκ΅μ΄λ‘ μ΄μλλ μν€λ°±κ³Όμ λ€μΈμ΄ν κ°μ΄λ° νλλ‘μ, 2002 λ
10 μ 11 μΌμ μμλμλ€.
step4: νκ΅μ΄ μν€λ°±κ³Όλ νκ΅μ΄λ‘ μ΄μλλ μν€λ°±κ³Όμ λ€μΈμ΄ν κ°μ΄λ° νλλ‘μ μ΄μ² μ΄ λ
10 μ 11 μΌμ μμλμλ€
μλ¬Έ: 곡μ λ¬Έμμλ 'Corea' λλ 'Korea'κ° νΌμ©λμ΄ μ¬μ©λμκ³ , 1900λ
λ μ΄κΈ°λΆν° μμ΄κΆμμλ 'Korea'μ μ¬μ© λΉλκ° λμλ€.
step1: 곡μ λ¬Έμμλ Corea λλ Korea κ° νΌμ©λμ΄ μ¬μ©λμκ³ , 1900 λ
λ μ΄κΈ°λΆν° μμ΄κΆμμλ Korea μ μ¬μ© λΉλκ° λμλ€.
step2: 곡μ λ¬Έμμλ Corea λλ Korea κ° νΌμ©λμ΄ μ¬μ©λμκ³ , 1900 λ
λ μ΄κΈ°λΆν° μμ΄κΆμμλ Korea μ μ¬μ© λΉλκ° λμλ€.
step3: 곡μ λ¬Έμμλ Corea λλ Korea κ° νΌμ©λμ΄ μ¬μ©λμκ³ , 1900 λ
λ μ΄κΈ°λΆν° μμ΄κΆμμλ Korea μ μ¬μ© λΉλκ° λμλ€.
step4: 곡μ λ¬Έμμλ Corea λλ Korea κ° νΌμ©λμ΄ μ¬μ©λμκ³ μ² κ΅¬λ°± λ
λ μ΄κΈ°λΆν° μμ΄κΆμμλ Korea μ μ¬μ© λΉλκ° λμλ€
μλ¬Έ: λΆμ 33λ~38λ, λκ²½ 126~132λμ κ±Έμ³ μμ΄ λλ λκ³ μμ° κΈ°νμ μ¨λ νμ° κΈ°ν, μ¨λ μ΅μ€ κΈ°νκ° λνλλ€.
step1: λΆμ 33 λ ~ 38 λ , λκ²½ 126 ~ 132 λμ κ±Έμ³ μμ΄ λλ λκ³ μμ° κΈ°νμ μ¨λ νμ° κΈ°ν , μ¨λ μ΅μ€ κΈ°νκ° λνλλ€.
step2: λΆμ 33 λ ~ 38 λ , λκ²½ 126 ~ 132 λμ κ±Έμ³ μμ΄ λλ λκ³ μμ° κΈ°νμ μ¨λ νμ° κΈ°ν , μ¨λ μ΅μ€ κΈ°νκ° λνλλ€.
step3: λΆμ 33 λ ~ 38 λ , λκ²½ 126 ~ 132 λμ κ±Έμ³ μμ΄ λλ λκ³ μμ° κΈ°νμ μ¨λ νμ° κΈ°ν , μ¨λ μ΅μ€ κΈ°νκ° λνλλ€.
step4: λΆμ 33 λ ~ 38 λ λκ²½ λ°± μ΄μ μ‘ ~ λ°± μΌμ μ΄ λμ κ±Έμ³ μμ΄ λλ λκ³ μμ° κΈ°νμ μ¨λ νμ° κΈ°ν μ¨λ μ΅μ€ κΈ°νκ° λνλλ€
μλ¬Έ: 3.1μ΄λ
step1: 3.1 μ΄λ
step2: 3.1 μ΄λ
step3: 3.1 μ΄λ
step4: μΌ μ© μΌ μ΄λ
μλ¬Έ: νκ· κΈ°μ¨μ 10 ~ 16βμ΄λ©°, κ°μ₯ 무λμ΄ λ¬μΈ 8μμ 23 ~ 36β, 5μμ 16 ~ 19β, 10μμ 11 ~ 19β, κ°μ₯ μΆμ΄ λ¬μΈ 1μμ -6 ~ 3βμ΄λ€.
step1: νκ· κΈ°μ¨μ 10 ~ 16 μ΄λ©° , κ°μ₯ 무λμ΄ λ¬μΈ 8 μμ 23 ~ 36 , 5 μμ 16 ~ 19 , 10 μμ 11 ~ 19 , κ°μ₯ μΆμ΄ λ¬μΈ 1 μμ - 6 ~ 3 μ΄λ€.
step2: νκ· κΈ°μ¨μ 10 ~ 16 μ΄λ©° , κ°μ₯ 무λμ΄ λ¬μΈ 8 μμ 23 ~ 36 , 5 μμ 16 ~ 19 , 10 μμ 11 ~ 19 , κ°μ₯ μΆμ΄ λ¬μΈ 1 μμ - 6 ~ 3 μ΄λ€.
step3: νκ· κΈ°μ¨μ 10 ~ 16 μ΄λ©° , κ°μ₯ 무λμ΄ λ¬μΈ 8 μμ 23 ~ 36 , 5 μμ 16 ~ 19 , 10 μμ 11 ~ 19 , κ°μ₯ μΆμ΄ λ¬μΈ 1 μμ - 6 ~ 3 μ΄λ€.
step4: νκ· κΈ°μ¨μ 10 ~ 16 μ΄λ©° κ°μ₯ 무λμ΄ λ¬μΈ 8 μμ 23 ~ 36 5 μμ 16 ~ 19 10 μμ 11 ~ 19 κ°μ₯ μΆμ΄ λ¬μΈ 1 μμ - 6 ~ 3 μ΄λ€
μλ¬Έ: μμλ‘μ, λ§μ½ ν¬κΈ° nμ λͺ¨λ μ
λ ₯μ λν μκ³ λ¦¬μ¦μ νμν μκ°μ΄ μ΅λ (μ΄λ€ n0λ³΄λ€ ν¬μ§ μμ λͺ¨λ nμ λνμ¬) 5n^3 + 3nμ μμ κ°μ§λ€λ©΄, μ΄ μκ³ λ¦¬μ¦μ μ κ·Όμ μκ° λ³΅μ‘λλ O(n3)μ΄λΌκ³ ν μ μλ€.
step1: μμλ‘μ , λ§μ½ ν¬κΈ° n μ λͺ¨λ μ
λ ₯μ λν μκ³ λ¦¬μ¦μ νμν μκ°μ΄ μ΅λ 5 n 3 + 3 n μ μμ κ°μ§λ€λ©΄ , μ΄ μκ³ λ¦¬μ¦μ μ κ·Όμ μκ° λ³΅μ‘λλ O μ΄λΌκ³ ν μ μλ€.
step2: μμλ‘μ , λ§μ½ ν¬κΈ° n μ λͺ¨λ μ
λ ₯μ λν μκ³ λ¦¬μ¦μ νμν μκ°μ΄ μ΅λ 5 n 3 + 3 n μ μμ κ°μ§λ€λ©΄ , μ΄ μκ³ λ¦¬μ¦μ μ κ·Όμ μκ° λ³΅μ‘λλ O μ΄λΌκ³ ν μ μλ€.
step3: μμλ‘μ , λ§μ½ ν¬κΈ° n μ λͺ¨λ μ
λ ₯μ λν μκ³ λ¦¬μ¦μ νμν μκ°μ΄ μ΅λ 5 n 3 + 3 n μ μμ κ°μ§λ€λ©΄ , μ΄ μκ³ λ¦¬μ¦μ μ κ·Όμ μκ° λ³΅μ‘λλ O μ΄λΌκ³ ν μ μλ€.
step4: μμλ‘μ λ§μ½ ν¬κΈ° n μ λͺ¨λ μ
λ ₯μ λν μκ³ λ¦¬μ¦μ νμν μκ°μ΄ μ΅λ 5 n 3 + 3 n μ μμ κ°μ§λ€λ©΄ μ΄ μκ³ λ¦¬μ¦μ μ κ·Όμ μκ° λ³΅μ‘λλ O μ΄λΌκ³ ν μ μλ€