[NoSQL] Cassandra 스키마 불일치 문제 해결 하기

사용자 삽입 이미지
간혹 시스템을 운영하다 보면 클러스터의 특정 노드가 폭주한다거나 문제가 발생하는 경우가 자주 있습니다. 이때에 스키마를 변경하는 명령을 수행하게 되면 문제 있는 노드들이 스키마를 변경하지 못하고 다음과 같은 장애를 내뱉는 경우가 있습니다.
[code]SchemaDisagreementException()
java.lang.RuntimeException: SchemaDisagreementException()
        at org.apache.cassandra.cli.CliClient.executeCLIStatement(CliClient.java:308)
        at org.apache.cassandra.cli.CliMain.processStatement(CliMain.java:217)
        at org.apache.cassandra.cli.CliMain.main(CliMain.java:345)
Caused by: java.lang.RuntimeException: SchemaDisagreementException()
        at org.apache.cassandra.cli.CliClient.executeAddColumnFamily(CliClient.java:1039)
        at org.apache.cassandra.cli.CliClient.executeCLIStatement(CliClient.java:226)
        … 2 more
Caused by: SchemaDisagreementException()
        at org.apache.cassandra.thrift.Cassandra$system_add_column_family_result.read(Cassandra.java:26905)
        at org.apache.cassandra.thrift.Cassandra$Client.recv_system_add_column_family(Cassandra.java:1455)
        at org.apache.cassandra.thrift.Cassandra$Client.system_add_column_family(Cassandra.java:1430)
        at org.apache.cassandra.cli.CliClient.executeAddColumnFamily(CliClient.java:1028)
        … 3 more[/code]
Cassandra라는 기본적으로 스키마 설정에 대하여 임의의 버전값을 부여하여 노드들간에 통일성을 유지하도록 동작하고 있습니다. 하지만 저런 에러를 한번만 만나게 되면 클러스터간의 스키마 통일성이 깨지게 됩니다.

cassandra-cli를 실행한 후 다음과 같은 방법으로 스키마의 동기화 상태를 확인할 수 있습니다.
[code][default@unknown] describe cluster;
Cluster Information:
   Snitch: org.apache.cassandra.locator.SimpleSnitch
   Partitioner: org.apache.cassandra.dht.RandomPartitioner
   Schema versions:
75eece10-bf48-11e0-0000-4d205df954a7: [192.168.1.9, 192.168.1.25]
5a54ebd0-bd90-11e0-0000-9510c23fceff: [192.168.1.27][/code]
위와 같이 describe cluster명령을 치게 되면 Schema versions가 나오게 되는데 여기서 192.168.1.27 노드가 어긋나 버린것을 확인할 수 있습니다. 이것을 복구하여 스키마를 일치시켜주기 위해서는 다음과 같은 방법을 사용합니다.

1. 192.168.1.27 서버에 접속
2. cassandra 데몬을 죽임(sudo service cassandra stop / kill <pid>)
3. 카산드라 데이터 디렉토리 안의 system 디렉토리안에 있는 schema*, migration*을 모두 삭제
   (기본 설정일 경우 /var/lib/cassandra/data/system 에 위치)
4. 카산드라 재시작, 필요한 정보들이 없다며 에러들이 주르륵 뜬 후에 스키마 정보를 다른 클러스터들로부터 다시 가져와 동기화를 합니다.
[code][default@unknown] describe cluster;
Cluster Information:
   Snitch: org.apache.cassandra.locator.SimpleSnitch
   Partitioner: org.apache.cassandra.dht.RandomPartitioner
   Schema versions:
75eece10-bf48-11e0-0000-4d205df954a7: [192.168.1.9, 192.168.1.25, 192.168.1.27][/code]
이제 위와 같이 하나의 스키마로 통일이 되었습니다.

참고 : http://wiki.apache.org/cassandra/FAQ#schema_disagreement

[Cache] Spring 3 + Ehcache Annotation 기반 연동 초간단 예제

사용자 삽입 이미지
Ehcache는 가장 표준적인 캐시의 모습을 한 오픈소스 캐시 라이브러리입니다. 얼마전 JCO에 갔을때 보니 이번엔 정말 캐시가 화두인것 같더군요. 하지만 당시에 발표된 대부분의 캐시 시스템은 Memcached, Redis같은 클러스터 기반의 외부형 초대규모 캐시들이었습니다. 이번에 간단하게 쓸 수 있는 캐시 라이브러리가 없을까 검색하다 보니 발견한 ehcache-spring-annotation 라이브러리는 캐시사용을 정말 쉽고 간단하게 만들어 줍니다.

자주 바뀌지 않는 결과물인, 가령 공지사항이라던가 페이지의 첫화면(index)과 같은 경우에 적극적으로 활용할 수 있을것 같습니다. 이번에 쓰는 글은 메이븐 기반의 프로젝트 구성을 할 예정입니다. 지식이 부족하시다면 [관련글]을 좀 더 보시고 오시면 도움이 될것입니다. 스프링 프로젝트의 구성에는 충분히 이해도가 높은 분들이 보시는 글이라 생각하고 그런 부분은 종종 건너 뛰도록 하겠습니다.

Maven 프로젝트 구성

임시로 사용할 프로젝트이니 다음과 같은 정도만 등록해주시면 될것 같습니다. XML을 올릴까 싶었지만 글중에 스크린샷 하나쯤 등장하는게 아름다울것 같아 다음의 스크린샷으로 대신합니다.
사용자 삽입 이미지

스프링 프로젝트 컨텍스트 설정에 ehcache 설정 추가

스프링의 컨텍스트 설정 XML에 다음의 코드를 추가해 줍니다. 설정파일이 여러개로 분산되어있다면 어디에 들어가던지 순서는 상관없습니다.

<ehcache:annotation-driven />

<ehcache:config cache-manager="cacheManager">
  <ehcache:evict-expired-elements interval="300" />
</ehcache:config>

<bean id="cacheManager" 
  class="org.springframework.cache.ehcache.EhCacheManagerFactoryBean">
  <property name="configLocation" value="/WEB-INF/cache/ehcache.xml" />
</bean>

여기서 중요한점은 <beans> 네임스페이스 선언에 다음이 추가되어야 합니다.

xmlns:ehcache="http://ehcache-spring-annotations.googlecode.com/svn/schema/ehcache-spring"
xsi:schemaLocation="http://ehcache-spring-annotations.googlecode.com/svn/schema/ehcache-spring http://ehcache-spring-annotations.googlecode.com/svn/schema/ehcache-spring/ehcache-spring-1.1.xsd"

보기가 어렵지만 달리 방법이 없네요. 결과적으로 다음과 같은 모습이 됩니다.

<?xml version="1.0" encoding="UTF-8"?>
<beans xmlns="http://www.springframework.org/schema/beans"
xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
xmlns:context="http://www.springframework.org/schema/context"
xmlns:mvc="http://www.springframework.org/schema/mvc"
xmlns:ehcache="http://ehcache-spring-annotations.googlecode.com/svn/schema/ehcache-spring"
xsi:schemaLocation="http://www.springframework.org/schema/mvc http://www.springframework.org/schema/mvc/spring-mvc-3.0.xsd
http://www.springframework.org/schema/beans http://www.springframework.org/schema/beans/spring-beans-3.0.xsd
http://www.springframework.org/schema/context http://www.springframework.org/schema/context/spring-context-3.0.xsd
http://ehcache-spring-annotations.googlecode.com/svn/schema/ehcache-spring http://ehcache-spring-annotations.googlecode.com/svn/schema/ehcache-spring/ehcache-spring-1.1.xsd">

<ehcache:annotation-driven />

<ehcache:config cache-manager="cacheManager">
  <ehcache:evict-expired-elements interval="300" />
</ehcache:config>

<bean id="cacheManager" 
  class="org.springframework.cache.ehcache.EhCacheManagerFactoryBean">
  <property name="configLocation" value="/WEB-INF/cache/ehcache.xml" />
</bean>

</beans>

Ehcache 설정 파일 생성

이번엔 Ehcache의 설정 파일을 추가해주어야 합니다. 위에서 /WEB-INF/cache/ehcache.xml에 선언해 두었으므로 해당 위치에 추가해 주어야 합니다.

<?xml version="1.0" encoding="UTF-8"?>
<ehcache
  xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
  xsi:noNamespaceSchemaLocation="http://ehcache.org/ehcache.xsd"
  maxBytesLocalHeap="32M" maxBytesLocalOffHeap="128M"
  maxBytesLocalDisk="0M" updateCheck="false">

  <cache
    name="CacheExample" 
maxElementsInMemory="100" 
eternal="false" 
overflowToDisk="false" 
timeToLiveSeconds="30" />

</ehcache>

위의 설정을 대충 보자면 CacheExample이라는 이름의 캐시를 생성을 합니다. 한번에 최대 100개의 엘리먼트를 보관(maxElementsInMemory)할 수 있으며 영원히 저장하지 않고(eternal) 특정 상황에서 삭제 되어도 상관없다는 설정이 되어있습니다. 디스크까지 저장하면 캐시의 의미가 퇴색되므로 디스크는 절대로 사용하지 않을것이고(overflowToDisk) 한번 꺼내온 데이터는 30초동안만 유지하겠습니다(timeToLiveSeconds). 30초가 지나면 데이터를 파기합니다.

<ehcache> 선언부에 있는 설정들은 전체 캐시를 총괄하는 글로벌 설정입니다.

DAO 클래스에 캐시 추가하기

다음과 같이 크게 기억해둘 부분은 두가지 입니다. 설정된 캐시 정보대로 값을 캐시하며 실제 내부 로직이 실행될지 캐시가 반환 될지를 결정할 @Cacheable 어노테이션과 캐시 설정과 상관없이 당장 캐시를 삭제하는 @TriggersRemove 어노테이션을 잘 봐두시면 됩니다.

@Repository
public class CacheDao
{
  @TriggersRemove(cacheName="CacheExample", removeAll=true, when=When.AFTER_METHOD_INVOCATION)
  public void insertDummy()
  {
// 캐시 삭제 예시를 위해 존재하는 메소드
  }

  @Cacheable(cacheName="CacheExample")
  public String getDummy()
  {
    // 캐시가 존재할 경우 이 로직은 실행되지 않고 캐시가 바로 반환됩니다.
    return new Date().toString();
  }
}

테스트용 컨트롤러 제작하기

지금 보여드릴 코드는 순전히 테스트를 위한 코드입니다. 데이터를 가져오는 부분과 데이터를 날리는 부분이 있습니다.

@Controller
@RequestMapping("/example")
public class CacheController
{
  @Autowired private CacheService cacheService;

  @RequestMapping("/main")
  public String showIndex(Model model)
  {
    model.addAttribute("now", cacheService.getDummy());
    return "index";
  }

  @RequestMapping("/flush")
  public String flushCache()
  {
    cacheService.insertDummy();
    return "redirect:/example/main";
  }
}

showIndex가 실행이 되면 cacheService를 통해 cacheDao를 통해 값을 가져오게 됩니다. 아까 설정했던 캐시 규칙에 의거해 한번 캐시된 데이터는 100개의 데이터를 넘지 않는 이상 30초간 캐시 됩니다. 뷰에서는 꺼내온 데이터를 그대로 찍도록 만들어져 있습니다.

캐싱 테스트 해보기

사용자 삽입 이미지실행을 해보니깐 현재의 시간이 잘 출력이 됩니다. 하지만 다시한번 재 요청을 해보시면 시간이 변하지 않는것을 확인하실 수 있습니다. 계속 재 요청을 해도 같은 화면이 출력이 되며 30초 뒤에 캐시가 사라졌을법한 뒤에 다시 요청을 해 보시면 다시 DAO의 내부 로직이 실행되어 현재 시간이 출력됩니다.

여기서 flushCache를 실행하게 되면 곧바로 캐시가 삭제되어(실제로는 새로운 데이터가 입력되어 전체 데이터에 변동이 일어나 더이상 기존의 캐시가 유효하지 않게 되었으므로 삭제하는것이겠죠) 더이상 캐시가 유효하지 않게 되고 이후 원래 화면으로 리다이렉트 되면 다시 캐시없는 상태에서 데이터 가져오기가 실행되게 됩니다. 예시로 만들었던 소스를 올려 놓겠습니다.

[다운로드]

참고:
http://code.google.com/p/ehcache-spring-annotations/w/list
http://blog.goyello.com/2010/07/29/quick-start-with-ehcache-annotations-for-spring/