NLP란?
자연어처리는 인간이 사용하는 언어를 컴퓨터에 응용해 분석하고 처리하는 기술이며,
자연어는 컴퓨터에서 사용하는 프로그래밍 언어(인공어)와 대비되는 개념입니다.
*NLP (Natural Language Processing; 자연어처리)
NLP 개념
자연어처리는 인공지능의 주요 분야 중 하나로, 컴퓨터와 인간의 상호 작용을 개선하고,
텍스트 데이터로부터 유용한 정보를 추출하며, 자연어로 된 문서를 이해하고 생성하는데 활용됩니다.
접근방법
-
- 언어학적 분석
- 규칙 또는 사전에 기반해 자연어 문장을 분석하는 방법
-
- 통계적 분석
- 기계학습을 통해 경험적/대규모 라벨링 데이터를 추출/분석하는 방법
활용분야
-
정보검색
-
질의응답
-
기계번역
-
자동통역
-
문서작성
-
문서요약
-
문서분류
-
문서검증
NLP Technology
자연어처리 기술에는 자연어분석-자연어이해-자연어생성 등의 기술이 사용됩니다. 최근에는 인공지능의 주요 분야인 심층기계학습(Deep learning) 기술이 기계 번역 및 자연어 생성 등에 적용되고 있습니다.
자연어분석 (Natural Language Analysis)
자연어처리의 첫번째 단계로 텍스트를 구문적, 의미론적, 형태론적 측면에서 분석하는 과정이며, 4가지 단계로 구분됩니다.
-
- 형태소분석
- Morphological Analysis
입력된 문자열을 분석해 형태소라는
최소 의미 단위로 분리하는 단계 -
- 구문분석
- Syntax Analysis
문장의 구조를 이해하고 단어 간의
문법적인 규칙 관계를 분석하는 단계 -
- 의미분석
- Semantic Analysis
구문 분석 결과 생성된 통사 구조에 의해 문장의 의미를 해석하는 단계
-
- 화용분석
- Pragmatic Analysis
문장의 맥락, 언어적 경험, 의미 추론 등을 통해 문장의 의도를 파악하는 단계
자연어이해 (Natural language Understanding)
자연어처리의 두번째 단계로 자연어로 주어진 입력(텍스트/음성)에 따라 컴퓨터가 동작하게 하는 기술입니다.
해당 언어의 어휘부(lexicon), 내부 표상으로 전환하기 위한 문법 규칙이나 구조 분석, 의미 파악을 위한 의미 이론 등으로 구성됩니다.
-
어휘부
-
문법 규칙
-
의미 이론
자연어생성 (Natural Language Generation)
자연어처리의 세번째 단계로 컴퓨터가 처리한 데이터를 자연어로 변환하는 과정입니다.
한 문장에 들어갈 내용과 구조 결정 등 정보들을 병합하고, 적절한 어휘 선택과 표현 생성 등이 이루어집니다.
-
구조 결정 -
정보 병합 -
어휘/표현 생성
응용산업
자연어처리는 대량의 비정형 텍스트를 포함하는 프로세스를 단순화·자동화를 통해 데이터를 보다 효과적으로 분석합니다. 특히 인공지능 분야에서 활발히 연구되고 있으며, 인간의 언어가 사용되는 모든 영역에서 활용될 수 있습니다.
-
보험 산업
-
금융 산업
-
의료 서비스
-
고객 서비스
-
법률 서비스
-
AI R&D