본문 바로가기

[NLP] 자연어 처리/[NLP] 전처리

[NLP] 자연어 처리/[NLP] 전처리 2021. 2. 1. [NLP] NLTK, NLTK data 설치 NLTK : Natural Language Tool Kit 자연어 처리 및 문서 분석을 제공해주는 파이썬 라이브러리입니다. NLTK의 주요 기능은 다음과 같습니다. 말뭉치(corpus) 토큰 생성(tokenizing) 형태소 분석(morphological analysis) 품사 태깅(POS tagging) Installing NLTK — NLTK 3.5 documentation Installing NLTK NLTK requires Python versions 3.5, 3.6, 3.7, or 3.8 For Windows users, it is strongly recommended that you go through this guide to install Python 3 successfully https:/..
[NLP] 자연어 처리/[NLP] 전처리 2021. 2. 1. [NLP] 정규 표현식 - 실습(python) 김기현의 자연어 처리 딥러닝 캠프 - 파이토치편 kh-kim.gitbook.io 자연어 처리 공부를 위해 해당 책을 선정하였으며, 책을 메인으로 공부하며 구글링과 함께 정리를 한 게시글입니다. sentence = "Hello Ki, I would like to introduce regular expression in this section.\n" + \ "~~\n" + \ "Thank you!\n" + \ "Sincerely,\n\n" + \ "Ki: +82-10-1234-5678" 데이터에 있는 전화번호와 이름을 없앨 예정입니다. 해당 데이터의 경우 마지막 줄을 삭제해도 되겠지만 전화번호와 이름을 무조건 마지막에 온다는 법은 없습니다. 데이터를 얼추 살펴보면 규칙은 다음과 같습니다. 이름이 전화번호 앞..
[NLP] 자연어 처리/[NLP] 전처리 2021. 1. 22. [NLP] 전처리 - 1 김기현의 자연어 처리 딥러닝 캠프 - 파이토치편 kh-kim.gitbook.io 자연어 처리 공부를 위해 해당 책을 선정하였으며, 책을 메인으로 공부하며 구글링과 함께 정리를 한 게시글입니다. 코퍼스란? '말뭉치'라고도 불리며 보통 여러 단어들로 이루어진 문장을 코퍼스(corpus)라고 합니다. 단일 언어 코퍼스(monolingual corpus) : 한 가지 언어로 구성된 코퍼스 이중 언어 코퍼스(bilingual corpus) : 두 가지 언어로 구성된 코퍼스 다중 언어 코퍼스(multilingual corpus) : 세 가지 이상의 언어로 구성된 코퍼스 병렬 코퍼스(parallel corpus) : 언어 간에 쌍으로 구성된 코퍼스 (언어 간의 번역, 대조 분석에 활용) NLP 모델을 학습을 하기 위..

티스토리툴바