Skip to content
New issue

Have a question about this project? Sign up for a free GitHub account to open an issue and contact its maintainers and the community.

Sign up for GitHub

By clicking “Sign up for GitHub”, you agree to our terms of service and privacy statement. We’ll occasionally send you account related emails.

Already on GitHub? Sign in to your account

Jump to bottom

Fix: 형태소 분석할 때 형태소까지 같이 저장 #38

Open
edcrfv458 opened this issue Mar 12, 2024 · 0 comments
Open

Fix: 형태소 분석할 때 형태소까지 같이 저장 #38

edcrfv458 opened this issue Mar 12, 2024 · 0 comments

Comments

@edcrfv458
Copy link
Collaborator

기존 방식으로는 형태소 분석만 하고 형태소를 사용하지 않았는데 형태소를 사용하는 것이 정확도가 더 잘 나올 것이라고 생각해서 다시 형태소 분석 진행 필요
edcrfv458 added a commit that referenced this issue May 12, 2024
@edcrfv458
fix: 토큰화할때 품사도 같이 저장
fa559f0 
#38
edcrfv458 added a commit that referenced this issue May 12, 2024
@edcrfv458
fix: 품사까지 저장한 토큰 이용해 사전 생성
dfec7ad 
#38
edcrfv458 added a commit that referenced this issue May 12, 2024
@edcrfv458
fix: 데이터 필터링 진행
f17bbda 
#38 문장의 길이의 최대는 200을 넘어가고 평균은 20이라서 문장의 길이가 50이 넘어가는 문장들은 버리는 작업을 수행
edcrfv458 added a commit that referenced this issue May 12, 2024
@edcrfv458
fix: 패딩 진행
ec1df23 
#38 50 이상의 문장을 걸러낸 후 모든 문장을 50으로 패딩 진행
edcrfv458 added a commit that referenced this issue May 13, 2024
@edcrfv458
Update: Word2Vec 추가
204a5f0 
#38 토큰들 간의 유사도를 알아내기 위해 Word2Vec 과정 추가
edcrfv458 added a commit that referenced this issue May 13, 2024
@edcrfv458
fix: word2vec 수정
34fe0b5 
#38 토큰의 수가 50이 넘는 문장 제거하고 word2vec 재수행
Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment
Assignees
No one assigned
Labels
None yet
Projects
None yet
Milestone
No milestone
Development

No branches or pull requests
1 participant
@edcrfv458