Tag Archives: 자바

[JAVA] iBATIS + OSCache 를 이용하여 디스크 기반 클러스터링 하기

주의! 이글은 실무에 적용해본적이 없는 이론으로만 시도해본것을 적은 글입니다. 일단 개인적으로 부하테스트를 해본결과 별 문제가 없는 것으로 보이지만 이것을 적용한데서 비롯된 문제점은 책임질 수 없습니다ㅠㅠ


iBATIS와 OSCache를 연동하는 방법은 많이 볼 수 있습니다. 특히 다수의 서버가 캐시 데이터를 연동하는 클러스터링에 대해 알아보려면 [이곳]을 참고하면 JMS와 JavaGroups를 이용한 클러스터링을 소개하고 있는 것을 알 수 있습니다.

하지만 좀 다르게 저는 NFS + Persistence설정을 사용하여 클러스터링을 구현해 보도록 하겠습니다. 이경우 얻을 수 있는 이득으로는 캐시를 디스크에 하기 때문에 서버의 작동여부와 상관없이 장기간의 캐시데이터를 유지할 수 있습니다. 예를 들면 홈페이지 첫화면의 공지사항이 한달에 1~2번 올라오는 경우라면 이렇게 캐시를 구성하면 매일 서버를 껐다키더라도 공지사항의 캐시를 유지할 수 있습니다.

사용자 삽입 이미지
* 준비사항
우선 iBATIS 최신버젼과 OSCache 최신버젼을 받도록 합시다. 저의 경우에는 iBATIS이전 버젼으로 시도했을때 알 수 없는 Exception이 발생하는 문제가 있었습니다. 추가적으로 CGLIB, COMMONS-DBCP, COMMONS-LOGGING, LOG4J jar가 필요합니다.

iBATIS의 경우 약간의 소스 수정이 필요합니다. 우선 뒤쪽에서 언급할 소스수정 단계를 거쳤다고 생각하고 필요한 jar파일들을 프로젝트의 Lib디렉토리에 넣습니다. 추가로 OSCache의 etc폴더 안에 있는 oscache.properties 파일을 프로젝트의 classes디렉토리 루트에 넣으시면 됩니다. 꼭 여기만 되더군요. 이클립스를 사용하실 경우 마우스 오른쪽 클릭하시고 move를 이용하셔서 넣으시면 편합니다.

* OSCache 설정 변경
oscache.properties 파일의 내용을 다음과 같이 변경합니다. 아래에 언급되지 않은 설정의 경우 모두 디폴트(주석처리)로 설정함을 의미합니다.

[code]cache.memory=false
cache.persistence.class=
    com.opensymphony.oscache.plugins.diskpersistence.HashDiskPersistenceListener
cache.path=d:\\tmp\\cache
cache.algorithm=com.opensymphony.oscache.base.algorithm.UnlimitedCache
cache.unlimited.disk=true[/code]
위에서 cache.path의 경우 윈도우는 \\로 유닉스 계열에서는 /로 디렉토리 경로를 표시합니다.

* iBATIS 설정 변경
sql-map-config에 다음과 같은 캐시모델에 대한 설정을 합니다. 이외의 설정의 경우 기존에 사용하시던데로 사용하시면 됩니다.

[code]<settings
    useStatementNamespaces=”true”
    cacheModelsEnabled=”true”
    classInfoCacheEnabled=”true”
/>[/code]
* SQL MAP에 캐시 설정
캐시 모델이라는 개념을 사용하여 캐시를 하고 만들어진 캐시를 삭제하는 작업을 하게 됩니다.

[code]<cacheModel type=”OSCACHE” id=”cacheModel” readOnly=”true”>
 <flushInterval hours=”24″/>
 <flushOnExecute statement=”flushCache”/>
</cacheModel>


<resultMap class=”kr.pe.theeye.Cache” id=”CacheResult”>
 …
</resultMap>
 
<insert id=”flushCache” resultClass=”string”>
 INSERT …
</insert>


<select id=”makeCache” resultMap=”CacheResult” cacheModel=”cacheModel”>
 SELECT …
</select>[/code]
위의 예제에 대해 설명을 해보자면 CacheModel에서 각각의 캐시 설정을 하게 됩니다. type에는 OSCACHE를 넣어주시고 id에 식별자를 넣어줍니다. 그리고 ReadOnly설정을 하게 되면 수정을 하지 않는다는 것으로 약간의 퍼포먼스 향상을 꾀할 수 있습니다.

하위의 설정으로는 대표적으로 flushInterval설정이 있는데 시, 분, 초, 밀리초 단위의 설정을 할 수 있습니다. flushOnExecute의 경우에는 어떤 쿼리가 실행될 때 이 캐시를 삭제하면 되는지를 넣어주시면 됩니다. 다수의 설정이 가능합니다.

resultMap의 경우에는 잘 아시겠지만 추가적으로 알아두셔야 할 점이 여기에 사용되는 클래스는 꼭 Serializable 인터페이스를 구현하고 있어야합니다. 파일로 쓰기 때문에 중요합니다. 안해두시면 에러납니다.

다음의 insert 쿼리의 id가 아까 캐시모델의 flushOnExecute에 정의되어있는 식별자인것을 알 수 있습니다. 이 쿼리가 실행될때마다 만들어진 캐시를 삭제하게 됩니다. 보통 CRUD에서 CUD에 해당하는 작업을 모두 정의해 주시면 될 것 같습니다.

마지막으로 중요한 select문입니다. cacheModel이라는 설정에서 어떤 캐시모델을 사용할 것인지 식별자를 넣어주시면 됩니다. 이제 이 쿼리가 수행될때 마다 캐시가 존재하면 데이터베이스 서버를 거치지 않고 캐시된 결과를 반환하고 캐시가 없을 경우 데이터베이스에 쿼리를 날리고 결과를 반환함과 동시에 캐시하게 됩니다.

* iBATIS 소스 수정
여기까지 해보고 클러스터링을 테스트 해보게 되면 전혀 클러스터링이 되지 않음을 알 수 있습니다. 캐시를 저장할 때 사용하는 해시키값이 객체를 해시하는등의 복잡한 과정을 거치며 값이 머신마다 달라짐에 따라 다른 캐시로 인지하게 되는 문제입니다. 이것을 단순히 쿼리문과 그의 인자값만으로 캐시키로 사용하도록 바꾸어 보겠습니다.

1. 다운받은 iBATIS의 src폴더에 들어가면 ibatis-src.zip파일이 있는데 압축을 푼다.
2. src\ibatis-src\com\ibatis\sqlmap\engine\cache\CacheKey.java 파일을 iBATIS의 lib폴더로 옮긴다.
3. CacheKey.java 의 toString()메서드를 수정합니다.

[code]public String toString() {
/*   
  StringBuffer returnValue = new StringBuffer().append(hashcode).append(‘|’).append(checksum);
  for (int i=0; i < paramList.size(); i++) {
    returnValue.append(‘|’).append(paramList.get(i));
  }


  return returnValue.toString();
*/
  int index = paramList.size()-3;
  StringBuffer returnValue = new StringBuffer();


  returnValue.append(paramList.get(index));
  returnValue.append(paramList.get(–index));


  for (int i=index-2; i > -1; i–) {
    returnValue.append(‘|’).append(paramList.get(i));
  }


  return returnValue.toString();
}[/code]
4. lib폴더에 있는 ibaris-버젼.jar파일을 jar -xvf <파일명>으로 압축을 해제 합니다.
5. lib폴더 안에서 다음의 명령을 수행하여 CacheKey.java파일을 컴파일 합니다.

[code]javac -classpath . -d ./ CacheKey.java[/code]
6. 컴파일 된 CacheKey.class파일을 원래의 위치로 옮겨 옮깁니다.
7. jar -cvf ibatis.jar * 명령을 사용하여 다시 압축합니다.
8. 만들어진 jar 파일을 사용합니다.

* log4j 로그 확인
log4j.properties파일에 다음을 한줄 추가하면 로그를 확인할 수 있습니다.

[code]log4j.logger.com.opensymphony.oscache=DEBUG[/code]
* 결론
이제 모든 머신에서 동일하게 만들어질 키를 가지고 캐시를 식별하게 됩니다. 이것으로 모든 캐시를 영구적으로 보존할 수 있게 되었습니다. 관련되는 문제가 있을 것으로 생각되지만 간단한 테스트 결과 별 문제가 없지 않을까 생각됩니다. 보시고 예상되는 문제가 보이시면 적극 알려주시면 개선해보도록 하겠습니다.

뒤늦은 JCO 컨퍼런스 참여 후기

조금 늦었지만 코엑스에서 열린 제10회 JCO 컨퍼런스의 후기를 적어보겠습니다.

사실 전 행사에 참여하지 않았습니다. 엄청나게 기대를 하였던 컨퍼런스 였지만 왠지 우울한 비화가 있었습니다.

사전 접수가 시작한 당일 접수를 할려고 보니 아이디가 이메일 인증을 해야 한다고 나오더군요.

그러니깐 정확히 제가 이전에 가입을 한 상태였고, 로그인까지 가능하지만 이메일 인증이 안되어 참가 접수가 안되는 상태였습니다.

이메일 재발송을 하였지만 아무리 해도 메일이 오지 않더군요. 몇번의 시도끝에 일단 포기…

다음 날에 다시 시도하였습니다. 여전히 메일이 오지 않더군요. 이때까지만 해도 JCO의 인증서버가 일시적인 문제가 있는 것일것이라 생각했습니다.

다음날에 재도전 하였습니다. 여전히 안되더군요. 그때까지는 사전등록을 통해 듣고 싶은 세션을 선택하는 것이고 그것이 인원 제한이 있다는걸 모르고 있었습니다.

3일이 넘도록 안되니 이상하다는 생각에 제 상황을 화면을 캡춰하며 증거자료를 만들어 두고 게시판에 질문을 올리려고 했는데 마찬가지로 로그인만 되었지 글조차 쓸 수 없는 상태이더군요.

여차저차하다, 지푸라기라도 잡는 심정으로 계정을 하나 더 가입했습니다. 그리고 이메일 인증을 하니 제대로 오더군요.

원래 있던 계정의 이메일 주소가 잘못된것은 아닙니다. 하지만 기존의 계정을 메일이 오지 않더군요.

아무튼 새로운 계정을 정상적으로 인증을 거치고 신청 화면을 보고 그때 깨달았습니다. 대부분이 마감이더군요.

듣고 싶은 강좌는 이미 꽉차있고요. 일단은 선택의 여지가 없어서 선택이 가능한것만 쭉 선택해 놓았지만 JCO 컨퍼런스의 참여 열정이 조금은 꺾인 기분이었습니다.

당일이 되어, 정말 주최측에는 죄송하고 또 죄송한 일입니다만 그냥 가는것을 포기하게 되었습니다.

하지만 아침부터 SUN에서 썬테크블로거에게 선물 준다고;;;; 오라는 문자가 오길래 그냥 듣고 싶은 강좌는 못들어도 분위기라도 접해보고 오자는 생각에 가게 되었습니다.

도착해서 SUN 부스에 가서 연필꽃이(?)를 받고 MS의 팝콘 부스에 기웃거리다가, 돌아왔습니다.

나중에 알았지만 사람이 꽤 없었다고 하는군요. 그럴줄 알았으면 그냥 듣고 싶은 부스에 들어가서 들을껄 하는 생각이 듭니다.

왜 들여다 볼 생각까지 못했는지 모르겠네요.

확실히 이번에 줄을 선다거나 하는 문제점을 개선하시는데에 수많은 노력을 기울이신점 이해하고 노력에 격려를 보내고 싶습니다.

하지만 단지 정보력이 빠른사람에게 선점의 기회가 돌아간다는 단점이 있을것도 같군요.

그리고 참여 신청한 사람들이 참여하지 않을 경우에 그 세션 때문에 JCO전체의 참여를 포기하게 되는 사람들도 생길 수 있고요(사실 제 변명입니다;;;)

확실히 올해의 새로운 방식은 듣는 사람의 편의를 높이는 대신에 전체 참여율이 떨어지게 되는 방식이지 않을까 싶네요.

자기가 듣고 싶은 세션을 못듣게 된다는걸 미리 알고서 안오는 사람들 VS 듣고 싶은게 있어서 왔는데 못듣게 되었을경우에 다른 세션이라도 참여할 사람들

같은 상황이 생길꺼 같습니다. 앞으로도 좋은 행사 많이 마련해 주시고, 다음번에는 빠른 처리 능력으로 제대로 참여해 보도록 하겠습니다.