언젠가 부터 아래에 버튼들이 있어서 별로 신경 안쓰고 있었는데 미병님 포스팅을 보고 몇 번 꾹꾹 눌러봤다.
음... 눌러보다 보니 이거 어떻게 만들었나 궁금해져서리 흐흐흐


일단 현재까지 분석한 결과는 이렇습니다. 절대로 정확한 내용이 아닙니다. 단지 제 추측일 뿐임을 밝힙니다.
그리고 저는 중복문서 탐색과 정보검색에 조금 관심을 가지고 있을 뿐이고요...

1. 입력된 문자열의 제한은 단순히 입력된 글의 숫자입니다. 정확하게 100바이트 (공백포함)
   공백만 100개 넣고 테스트 하셔도 에러 안납니다. 결과는 없지만요 --+;
   
2. 앞의 100바이트 만을 색인 대상으로 하기 때문에 뒤에 중요한 글을 적으시는 분들의 포스팅은 탐색의 대상이 안될 수 있습니다. 색인량의 수준을 맞추기 위함이라 생각됩니다.
   단, 글 초반에 관련링크 및 연계된 정보등을 넣으시는 분들은 자신의 포스팅 보다 다른 포스팅으로 연결되는 왜곡된 결과를 받을 수도 있을 것 같습니다.
   
3. 대략 2006년 8월자 말경부터 색인을 잡기 시작한 모양입니다. 그 이전 포스팅은 검색이 안되는 군요.
   점점 색인의 범위를 늘리시는 것인지도 모르겠네요.. 오늘 테스트 한 결과는 그렇다는 것입니다.
   
4. 제공되는 RSS Feed XML과는 전혀 무관합니다. 어떻게 보면 당연하겠군요. 데이터베이스에 다 있는데 굳이 수집이 필요없겠네요. 예를들어 미병님 index.xml에는 "이글루스 추천글 베타" 포스트가 아직 없지만, 검색은 되더군요. 데이터베이스에 저장된 원본 문서를 이용하나 봅니다.
   
5. 색인시에 문자열 단위로 해시를 통한 기법을 사용하는 듯 합니다. 예를들어 'A C' 라는 문자열로 검색이되는데, 'A' 로는 안되고 'C'로도 안되고 새로운 단어 B가 들어가는 경우 'A B C'로도 안됩니다. 즉, 어떠한 키워드의 나열을 하나의 해시키로 잡아서 색인 후 탐색하는 방식 으로 접근 하는 것 같습니다.
    

이 논문은 제가 최근에 보았던 논문 중에 하나인데, 구현 방식이 흡사해서 잠시 정리해보았습니다.

이것 저것 다른 논문도 같이 보고 있는 중이라 약간 다를 수는 있습니다. ㅠㅠ;

Scalable Document Fingerprinting - Nevin Heintze

• 문서에서 대략 100바이트에 대한 정규화된 키워드들을 저장
• 해당 키워드들을 유니코드 순으로 정렬한 다음 Fingerprinting을 저장 (MD5, SHA 1 활용)
• 결과값인 해시 킷값과 문서번호를 색인 (B/B+Tree or Trie)
• 이용자가 작성하는 문자열을 유사한 방식으로 정규화 및 해시를 통하여 킷값을 생성
• 킷값을 통하여 우선순위에 따라서 검색결과 노출

비슷하지 않나요 ? 재밋네요 ^^

p.s) 이 글을 다 적고 추천글 열어보니 전혀 다른 포스팅이 검색됩니다.. 아무리 눈씻고 찾아봐도 모르겠네요.
       동일한 키워드는 '제한' 이라는 하나의 문자열인데... 그거 빼니까 검색안되는군요. 흘..
       아무래도 정규화 과정에서 너무 많은 키워드를 필터해버리면 그러 현상이 생길 수도 있겠네요 ^^