[NLP 3일차-1] – SentenceBERT, Word2Vec, 감성분석

이번 글에서는 자연어처리에서 텍스트의 의미를 수치적으로 표현하고 비교하는 방법을 정리해보겠습니다.내용이 길기 때문에 먼저문장 유사도, 단어 임베딩(Word2Vec), 의미공간, 그리고 임베딩의 대표 활용인 감성분석까지를 다룹니다.단어 유사도 (Similarity)두 텍스트(단어, 문장, 문서)가 의미적으로 얼마나 비슷한지를 수치로 나타낸 값자연어처리에서는 텍스트를 벡터로 변환한 뒤, 벡터 간 거리나 각도를 통해 유사도를 계산합니다.대표적으로 많이 쓰는 방식이 **코사인 유사도(cosine similarity)**입니다.코사인 유사도는 벡터의 길이(크기)가 아니라 방향의 유사함에 초점을 맞춥니다. (같은 방향으로 갈수록 의미가 비슷하다~) 🍀 즉 두 문장이 “같은 말을 하고 있는지”를 컴퓨터가 판단하도록..

• format_list_bulleted [오즈코딩스쿨] AI 헬스케어/🔠 자연어 처리 (NLP)
• · 2025. 12. 17.

[NLP 1일차] 텍스트마이닝 기초 이론 정리 (TF, TF-IDF, N-gram, CONCOR)

본 강의에서는 텍스트 요약을 위한 자연어 처리(NLP) 기술의 활용법을 다루어보겠습니다.📚 텍스트마이닝 분석 흐름텍스트마이닝은 자연어처리 기술을 기반으로 텍스트 데이터를 정제·가공한 뒤, 목적에 맞는 유의미한 정보나 패턴을 추출·분석하는 방법입니다. 교안에서는 전형적인 흐름을 다음과 같이 제시합니다.데이터 수집 → 데이터 전처리 → 데이터 분석데이터 분석의 대표 기법: 단어빈도(TF), TF‑IDF, N‑gram, 동시출현(네트워크), 토픽 분석(CONCOR/LDA), 감성분석"텍스트를 바로 읽어서 결론 내는 게 아니라, 먼저 숫자로 바꾼 다음 규칙/구조를 찾는 과정"입니다. 인터뷰 녹취를 그냥 읽는 대신 핵심 단어를 뽑고(빈도/TF‑IDF), 자주 붙는 표현을 찾고(N‑gram), 관계도를 그려보고..

• format_list_bulleted [오즈코딩스쿨] AI 헬스케어/🔠 자연어 처리 (NLP)
• · 2025. 12. 15.