파이썬 12일차 - 머신러닝 개념정리 (텍스트분석-텍스트 전처리,BOW,희소행렬)

텍스트 전처리 정규화

 

- 문장 토큰화 : ' . '을 기준으로 문장을 나눈다.

- 단어 토큰화 : '  ' (띄어쓰기) 기준으로 단어를 나눈다.

- n-gram : uni-gram, bi-gram, tri-gram, n이 4 이상일 때는 gram 앞에 그대로 숫자를 붙여서 명명합니다.

- Stopwords 제거 : stopwords : 조사, 관사 등 텍스트 분석적으로 큰 의미가 없는 단어들

- Stemming과 Lemmatization 

● Stemming(어간 추출)
- working -> work

● Lemmatization(표제어 추출)
- am, are, is -> be동사 
- 어간 추출과는 달리 단어의 형태가 적절히 보존되는 양상을 보이는 특징이 있다.
- 품사를 활용하면 더 정확한 lemmatize를 뽑을 수 있다. (ex) 'v')

※ verb : 동사, 
   adjective : 형용사
   noun : 명사
   pronoun : 대명사
   conjunction : 접속사
   adverb : 부사
   ...

BOW 텍스트 피처 백터화

- 텍스트분석은 소문자로 하는 것이 기본이다

 

 

희소분석