21세기 세종계획

일단, 세종계획 말뭉치를 알게된 것은 논문 주제로 삼고있는 '한국어 문장경계 인식'에 대한 학습 말뭉치를 얻기 위함이었는데, 국내에는 한국어 문장경계에 관한 학위논문이 거의 전무한 상태였고, 학회지 논문에는 한 건이 있었다.
그 논문에서 언급된 ETRI 및 KAIST 말뭉치를 구하고 싶었으나, 이리저리 수소문 해보아도 구하기가 힘들었다.
해당 논문을 쓰셨던 분께도 연락을 드려보았으나, 논문을 쓸 당시의 프로그램 및 코퍼스는 찾기가 힘들다고 하시더라...
그러시면서 차라리 세종계획 말뭉치를 사용하는게 어떠냐는 말씀을 듣고, 이리저리 찾아본 결과 학문적인 용도로 사용한다는 것에만 동의한다면 누구나 CD를 구할 수 있다는 사실도 알게 되었다.

국립국어연구원에 전화를 통하여 문의하고 CD를 요청하였는데, 의외로 간단한 절차와 친절한 담당자분이 계셔서 빠른 시일 내에 구할 수 있었다.
그러나...

내가 필요로 하는 부분은 문장의 경계가 표현된 tagged corpus였는데, 받고 보니 실상은 정말 참담했다.
문제점을 요약해보면 다음과 같다.

1. 인코딩이 EUC-KR
   iconv로 변환하면 되지만, 이것도 일이다
   하지만 깨진 문서 및 문장이 많아서 skip하지 않으면 안된다
   
2. 형태소분석 및 태깅오류
   기본적인 특수문자 등도 한국어가 분석이 안되면 Unknown으로 분석
   분석결과의 마지막의 태그가 없는 문제점
   
3. 형태소오분석 및 깨진라인 문제점
   깨진문자 및 필요없는 특수문자 등이 존재
   중복된 분석결과가 존재
   시작인용 부호 및 종료 인용부호가 규칙없이 사용되거나, 잘못 사용됨
   시작인용부호는 있지만, 종료 인용부호가 없는 경우
   
4. 기본적인 Chunking 단위가 없음
   구두점 (. ! ? 등)으로 무조건 잘라서 형태소 분석을 수행
   마침표가 있으면 무조건 다음 sentence로 넘어가서 분석됨
   심지어 영문자의 약자에 사용되는 점이 있어도 잘라서 분석함

내가 하려고 하는 한국어 문장경계 학습을 위한 말뭉치로 써는 바로 사용하기는 불가능 이었으며, 수작업으로 하기에는 말뭉치의 크기가 너무 컸다. 그렇다고 지금와서 다른 말뭉치를 구하기도 힘들 뿐더러, 검증하기 힘든 웹문서나 신문기사 등을 사용하는 것도 무리가 있다. 지금와서 논문 주제를 바꾸기에도 너무 늦었다고 생각된다....

'진퇴양난'이라는 표현을 이런 때에 사용하는 것이 적절하지 싶다.

일단 해보자 라고 생각하고 덤벼들었는데, 정말 산너머 산이요, 강건너 강이더라... 처음에는 어느정도 규칙을 적용하여 변환 및 보정하여 사용하려고 했는데, 문장경계를 위한 가장 중요한 정보인 End of sentence를 구분할 만한 방법이 없었다.

그래서 인용부호의 오류를 수정하는 프로그램 및 각종 깨진 문자 등을 제거하기 위한 프로그램을 별도로 짜는데에만 거의 한 달 이상 작업을 진행중이다. 오늘도 날밤을 까면서, 이렇게 말뭉치 정재작업을 하고 있다. (계속 해야할지 자꾸 의문이 든다...)

혹시 현재는 위에서 나열한 잘못된 부분을 패치한 CD를 제공하고 있을지도 모른다. 하지만 그렇게 비싼 돈을 들여서 만든 초기 결과물이 이 정도 밖에 되지 않는다는 것에 분개할 뿐이다. 솔직히 문장경계에 대한 정보를 떠나서 형태소 분석을 위한 말뭉치로 활용하기에도 많이 부족하다.

추측하기로는 대략 분야별로 문서를 모으고, 형태소분석기를 돌려서 나온 결과물을 적당히 사람이 수작업으로 보정한 듯 한데... 너무한다 정말... 이번 작업을 하면서 얼마나 마음 고생이 심했는지... 연말에 회사일도 바쁘고, 마지막 학기지만 수업은 수업대로 듣고, 둘째 출산.. 게다가 논문까지 쓰려니 정말 눈물로 밤을 새운지 어언 몇 개월째...쿨럭

많은 분들이 이 프로젝트에 참여하였고, 고생도 하셨겠지만, 이왕 할거면 제대로 해서 많은 사람들이 유용하게 사용할 수 있었으면 좋으련만, 이렇게 다시 수작업을 하게할 거면, 왜 배포를 해서 고생을 하게 하는건지....

" 늦게 배포하더라도 제대로 된 것을 하거나 이르게 배포해야만 한다면,
  제대로 된 일부만 배포하게 하여 두 번 작업을 하는 것은 없어야 한다고 생각한다 "

솔직히 두 번 작업이 아니라 이 CD를 받으신 사람 수 만큼이나 작업을 거치는게 아닌가 하는 생각도 들었다.
설마 세종프로젝트가 이번 것으로 끝나는 것은 아니겠지?
이렇게 보면, 너무 안좋은 점들만 나열한 것 같아서, 좀 씁쓸하긴 하지만, 이러한 자료라도 없었더라면
" 한국어 언어처리 관련 일을 시작하기도 힘들었을 것이다. 그러한 점에서는 감사하고 있다. 단지 좀 더 낳은 결과물이 있었더라면 하는 아쉬움에 이런 글을 쓴다 "

This article written by springnote.