์ด ํ๋ก์ ํธ๋ ํํ์ ๋ถ์, ์๋ง ์ทจํฉ ๋ฑ์ ์ํ ํ๋ก์ ํธ์ ๋๋ค.
* ์ถ๊ฐ ๋ผ์ด๋ธ๋ฌ๋ฆฌ ์ค์น ๋ฐฉ๋ฒ
1. spacy tokenizer ๋ฅผ ์ํ english ์ค์น
python -m spacy download en
python
import nltk
nltk.download()
2. ์นด์นด์ค ํํ์ ๋ถ์๊ธฐ ์ค์น
https://github.com/kakao/khaiii
https://github.com/kakao/khaiii/wiki/%EB%B9%8C%EB%93%9C-%EB%B0%8F-%EC%84%A4%EC%B9%98
