자연언어처리

NLP = AI + linguistics

 

 

Context-free grammar

Chomsky Hierarchy

언어는 행동을 학습하는 것이 아닌, cognitive와 자극 반응에서 유도된 것이다

- regular expression

- context free grammar

- context sensitive grammar

- unrestricted grammar

 

Context Free Grammars

- token

- non-terminal symbol

- start symbol

- production = tree-building ruls (::=)

 

 

 

 

핵심

프로그래밍 언어, 자연언어, 게놈 언어의 세가지 예를

Context Free Grammar로 나타내보면서

컴퓨터가 언어를 다루는 방법론에 대해서 이해한다.

 

(parse tree 생성 방법 알기)

응용분야

1. 기계 번역

2. 정보 검색

3. 질의응답 시스템

   - 챗봇

4. 음성인식

5. 정보추출

6. 텍스트 분류

7. 정서분석

 

 

자연언어처리의 어려움

1. 조응어 처리 문제 : Anaphora Resolution

    - 대명사가 가리키는 대상이 누구인지

2. 삼단 논법의 문제 -  비단조적 증가 : non-monotonic

    - 새는 날 수 있는데 펭귄도 날 수 있다?

해결책

- Full parsing

- Shallow Parsing : 정보 추출은 full parsing하긴 어려워서 요거 씁니다.

 

- POS(Part of Speech) Tagging

    -  문장 내 단어들의 품사를 식별하여 태그를 붙여주는 것 : classifying and labeling words into their parts