Tag Archives: NCSOFT

[WOC] 내가 참여하고 싶은 프로젝트 Coord+Lucene을 이용한 분산 색인/검색 시스템

NC소프트 산하 항상 새로운 웹서비스를 만드는 오픈마루 스튜디오에서 매년 하는 Winter of Code라는 행사가 있다.

항상 참여하고 싶지만 하는 시작해 놓은 일이 많아 참여하기엔 무리가 있어왔다. 아니나 다를까 올해도 지금 내 앞가림 하기도 힘든 상태라 참여하기엔 무리가 있어 보인다.

성격상 미친듯이 못할꺼 같으면 참여 자체가 남들에게 피해를 주는 것이라 생각되기에… 내년에는 꼭 참여해서 좋은 결과 내보도록 해야겠다!!

이번에 새롭게 추가된 프로젝트를 보니 학생을 위한 여러가지 프로젝트들이 많이 나왔다는 것을 알 수 있었다.

학교에서 쉽게 접할 수 없는 그런 내용 들이니 매우 유익하리라 생각한다. 근데 나의 눈길을 끄는 엄청난 프로젝트가 있었으니 그 이름하여.

오픈소스 Coord와 Lucene을 이용한 대용량 데이터를 위한 고성능 분산 색인/검색 시스템 개발-김우현

라고 한다. 김우현 님은 NHN에서 분산 시스템을 개발/운영 하시는 분이신거 같다.

언제 기회가 되면 꼭 찾아뵙고 인사를 드리고 싶다. 사실 예전부터 관심이 있던 분야라 혼자 루씬을 돌려보고 하긴 했었는데 보통 Lucene + Hadoop을 이야기를 많이 하는데 NHN에서 독자적으로 사용하는 Coord라니 무엇인지 관심도 가고 궁금하기도 하였다.

프로젝트의 내용은 다음과 같다.
사용자 삽입 이미지

분산 색인 시스템 및 검색 시스템을 개발하는 것도 모잘라 랭킹 알고리즘과 같은 실전에 쓰일법한 내용까지 다룬다고 한다.

괜히 나까지 긴장되는 순간이다. 저런것을 공짜로 배울 수 있다니 이 얼마나 아름다운 기회일까..

제약 및 요구사항에 특이한점이 있다. C++을 떡 주무르듯 다루는 학생?

C++을 떡주무르듯이 다룬다는건 어떤것을 말하는 것일까? 개발은 그래도 자신 있는 편이지만 C++로 떡을 주물러야 한다니~!

옵션으로 자바를 요구하는것을 보니, 아마도 Coord를 이용한 시스템은 C언어 기반으로 구축하고 그걸 끌어다 쓰는 응용 어플리케이션단은 JAVA(JSP)로 만들것인 모양이다.

이쯤 되면 이것을 한번쯤 실행해 보는 것이 예의이리라. 소스코드는 [이곳]에서 다운 받는다.

현재 0.1.2 소스버젼을 다운 받았다. 서버에 coord 폴더를 만들고 소스의 압축을 풀어놨다고 가정하고 시작해 보겠다.

gsoap을 설치해야 하는데 위키에 보면 최신 버젼을 다운받아 설치하는 과정이 나와있는데 실제로 압축을 풀어보니 이미 소스가 존재해 있었다. 바로 컴파일만 하자
[code]# cd xlib/gsoap/
# ./configure –prefix=`pwd`
# make
# make install[/code]

이렇게 되면 현재 디렉토리에 바로 설치가 되게 된다. 다음은 coord 설치를 진행하자.

etc/profile.mk 파일을 열어 WN항목을 coord 소스 압축을 풀어놓은 절대 경로로 넣어주자.
[code]# vi etc/profile.mk[/code]

설정을 하자. 대충 봐서 잘은 모르겠지만 컴파일에 필요한 각종 링크를 생성하는것 같다.
[code]# cd sbin/
# ./config.sh[/code]

이제 컴파일을 하자. libmagic이 필요하다고 한다. 컴파일이 잘 되는거 보니 있는 모양이다..-_-a
[code]# cd src/
# make[/code]

conf 디렉토리 안에 coord.conf, master.conf, worker.conf 세가지 설정 파일이 있다. 신경 쓰지 말고 실행해 보기로 했다.
[code]# ./bin/coord -c ./conf/master.conf
===================================================
coord v.1 : coord cluster master


# available services
cube.service.discovery
===================================================[/code]

마스터모드로 실행되었다. cube.service.discovery서비스가 사용가능하다는 것도 알았다.

혹여나 실행이 안된다면 LD_LIBRARY_PATH를 정해주자.
[code]# export LD_LIBRARY_PATH=<coord/lib경로>[/code]

example 안에 각종 예제가 들어있는데 실제로 보니 컴파일이 안되어있었다.

Makefile을 열어 include 항목의 경로를 수정해 주니 컴파일 되긴 한다. 개발자님 목적은 이게 아닐텐데…
[code]include ../etc/profile.mk[/code]
[code]# make
g++ -c client_server_test.cpp -I/home/eye/coord/include
g++ -o client_server_test client_server_test.o -L/home/eye/coord/lib -lcoord -lwooh -lpthread -lmagic -lz -ldl
g++ -c master_worker_test.cpp -I/home/eye/coord/include
g++ -o master_worker_test master_worker_test.o -L/home/eye/coord/lib -lcoord -lwooh -lpthread -lmagic -lz -ldl
g++ -c scatter_gather_test.cpp -I/home/eye/coord/include
g++ -o scatter_gather_test scatter_gather_test.o -L/home/eye/coord/lib -lcoord -lwooh -lpthread -lmagic -lz -ldl[/code]

컴파일은 되었지만 실제로는 실행이 되지 않았다. 그냥 쭉 컴파일 해서 실행하면 예제들은 왠지 실행될꺼 같았는데 그건 아닌 모양이다.

오늘은 일단 여기서 마치고 좀더 공부해본 뒤에 다음 포스팅에서 예제를 실행하는데 도전해 보도록 하겠다.

이런 매력적인 프로젝트를 잘 모르는 학생들에게 이끌어주시며 진행해 주실 김우현님께 미리 감사 드립니다.