Category Archives: NoSQL

[NoSQL/Cassandra] Java용 클라이언트 Pelops 소개

Pelops

그리스 신화중에 승리의 왕 아가멤논 트로이의 몰락 이후에 카산드라를 잡아가게 되는데 카산드라는 Pelops, Teledamus 두명의 아들이 있었습니다. 이 Pelops 자바 라이브러리는 Cassandra 데이터베이스를 아름다운 방법의 코드(?)로 이용할수 있도록 해주기 때문에 카산드라의 아름다운 아들인 Pelops의 이름을 따 명명 되었습니다.

이 라이브러리의 코드는 이곳에서 다운받을 수 있습니다 : https://github.com/s7/scale7-pelops

목표

Pelops는 복잡한 상업 프로젝트들의 데이터베이스에 대한 광범위한 사용을 위해 사용되는 코드의 질적 향상을 위해 만들어졌습니다. 이 라이브러리의 주요한 목표는 다음과 같습니다.
– Cassandra의 API 심플하지만 아름다운 방법으로 누구에게나 충실하게 즉시 이해될 수 있도록 해야 한다.
– 데이터를 처리하는 코드로 부터 커넥션풀링과 같은 로우레벨에 대한 관심을 완전히 분리시켜야 한다.
– “드레싱 코드(dressing code?)”를 제거하여 의미있는 데이터 처리를 위해 명확하고 분명한 형태의 코드를 유지 하도록 해야 한다.
– 함수 오버로딩 또는 강력한 하이레벨의 메소드를 통해 개발 속도를 가속할 수 있어야 한다.
– 운영중인 노드의 숫자에 기초한 로드밸런싱 전략을 구현할 수 있어야 한다.
– 어플리케이션 레벨의 로직의 문제를 감추지 않는 강력한 에러 핸들링 및 복구 기능을 포함해야 한다.
– 변화에 의한 문제가 발생하는것을 유발하지 않고 카산드라의 새로운 릴리즈나 기능을 따라갈 수 있어야 한다.
– 이러한 클라이언트 코드에 대한 오래 지속될수 있는 패러다임을 정의할 수 있어야 한다.

5분만에 세팅하고 구동하기

Pelops와 Cassandra를 함께 구동하기 위해서 다음의 3가지를 알아야 합니다.

  1. 한번의 시작으로 어떻게 커넥션풀을 생성할 수 있는가.
  2. Mutator 클래스를 이용하여 어떻게 데이터를 쓸 수 있는가.
  3. Selector 클래스를 이용하여 어떻게 데이터를 읽을 수 있는가.

매우 쉽죠?

커넥션풀 생성하기

Cassandra 클러스터를 이용해 어떤 작업을 처리하기 위해 당신은 커넥션 풀을 정의할 필요가 있습니다. 일반적으로 당신의 어플리케이션의 시작부분에 한번만 정의되기만 하면 됩니다. 때때로 당신은 하나 이상의 커넥션풀을 정의해야 할 경우도 있을것입니다. 예를 들어 우리의 프로젝트에서 2개의 Cassandra 클러스터를 사용하였는데 하나는 Random Partitioning 데이터 저장소로 사용되고 다른 하나는 인덱스 사용을 위해 Order Preserving Partitioning을 사용하였습니다. 당신은 원하는 만큼의 커넥션풀을 생성하는것이 가능합니다.

풀을 생성하기 위해 알려진 노드들의 리스트를 정의하는 이름을 특정 지어야 합니다. 네트워크 포트와 커넥션풀을 컨트롤하기 위한 정책을 포함할 수 있습니다. 다음은 기본 정책을 사용하여 풀을 생성하는 예시입니다.
[code]Pelops.addPool(
    “Main”,
    new String[] { “cass1.db.com”, “cass2.db.com”, “cass3.db.com”},
    9160,
    new Policy());[/code]

Mutator 사용하기

Mutator클래스는 Keyspace가 돌연변이(?)를 일으키도록 하여줍니다(데이터에 어떤식으로든지 변화를 준다는 의미에서 시작하는것 같습니다). 당신은 Pelops에 새로운 Mutator를 요청할 수 있고 당신이 원하는 어떤 변화를 일으키도록 할 수 있습니다. 이러한 일련의 작업들은 하나의 배치 메소드인 execute 가 호출될 때 Cassandra로 전송됩니다.

Mutator를 생성하기 위해 미리 지정해둔 커넥션풀의 이름과 변화를 주고 싶은 Keyspace의 이름을 명시해주어야 합니다. 다음과 같은 방식으로 SupportTickets Keyspace를 수정할 수 있는 Mutator를 가져옵니다.
[code]Mutator mutator = Pelops.createMutator(“Main”, “SupportTickets”);[/code]
한번 Mutator를 생성하게 되면 이제부터 다양한 변화를 줄 수 있게 됩니다.
[code]/**
 * 다수의 서브컬럼 값을 슈퍼 컬럼에 다중 쓰기를 합니다.
 * @param rowKey                    수정을 원하는 로우의 키
 * @param colFamily                 작업을 수행하기 원하는 슈퍼컬럼 패밀리 이름
 * @param colName                   슈퍼컬럼의 이름
 * @param subColumns                값을 쓰기 원하는 서브 컬럼들의 이름
 */
mutator. writeSubColumns(
    userId,
    “L1Tickets”,
    UuidHelper.newTimeUuidBytes(), // 시간순 정렬
    mutator.newColumnList(
        mutator.newColumn(“category”, “videoPhone”),
        mutator.newColumn(“reportType”, “POOR_PICTURE”),
        mutator.newColumn(“createdDate”,
            NumberHelper.toBytes(System.currentTimeMillis())),
        mutator.newColumn(“capture”, jpegBytes),
        mutator.newColumn(“comment”) ));

/**
 * 컬럼의 리스트나 슈퍼 컬럼을 삭제합니다.
 * @param rowKey                    수정을 원하는 로우의 키
 * @param colFamily                 작업을 수행하기 원하는 컬럼 패밀리 이름
 * @param colNames                  삭제를 원하는 서브/슈퍼 컬럼 이름
 */
mutator.deleteColumns(
    userId,
    “L1Tickets”,
    resolvedList);[/code]
모든 변화에 대한 작업을 명시한 다음 단일 배치 명령인 execute를 호출하여 Cassandra로 전송합니다. 이 작업에는 Cassandra의 Consistency 레벨값을 파라미터로 사용합니다.
[code]mutator.execute(ConsistencyLevel.ONE);[/code]
여기서 알아두어야 하는 점은 당신이 원하는 어떤 후속작업을 시작하기 전에 execute가 실행되었다면 추가적인 작업이 함께 적용될 수 없습니다. Mutator를 execute가 실행된 이후에 재사용될 수 없으며 이런 경우가 생긴다면 두개 또는 그 이상의 Mutator를 생성하여야 하며 그들을 execute할때는 최소한 QURUM Consistency 레벨을 사용하여야 합니다.

사용가능한 오버로드된 메소드들의 리스트를 확인하기 위해 Mutator 클래스 [소스]를 확인하세요.

Using a Selector

Selector 클래스는 Keyspace로부터 데이터를 읽어들이는데에 사용됩니다. Pelops에게 새로운 Selector를 요청하고 Selector의 메소드를 사용하여 데이터를 읽어옵니다.
[code]Selector selector = Pelops.createSelector(“Main”, “SupportTickets”);[/code]
한번 Selector 인스턴스 생성을 하게 되면 다양한 오버로드 메소드를 통해 데이터를 읽어올 수 있게 됩니다.
[code]/**
 * 로우로 부터 슈퍼컬럼을 읽어오기
 * @param rowKey                로우의 키
 * @param columnFamily          슈퍼컬럼을 포함하고 있는 컬럼패밀리
 * @param superColName          데이터를 가져오고 싶은 슈퍼컬럼의 이름
 * @param cLevel                Consistency Level
 * @return                      요청된 슈퍼컬럼
 */
SuperColumn ticket = selector.getSuperColumnFromRow(
    userId,
    “L1Tickets”,
    ticketId,
    ConsistencyLevel.ONE);

assert ticketId.equals(ticket.name)

// 서브컬럼들 순환하며 데이터 읽기
for (Column data : ticket.columns) {
    String name = data.name;
    byte[] value = data.value;
}

/**
 * 로우로 부터 슈퍼컬럼 리스트 읽어오기
 * @param rowKey                로우의 키
 * @param columnFamily          슈퍼컬럼을 포함하고 있는 컬럼패밀리
 * @param colPredicate          슈퍼컬럼의 Selector 정의
 * @param cLevel                Consistency Level
 * @return                      매칭된 컬럼의 리스트
 */
List<SuperColumn> allTickets = selector.getSuperColumnsFromRow(
    userId,
    “L1Tickets”,
    Selector.newColumnsPredicateAll(true, 10000),
    ConsistencyLevel.ONE);

/**
 * 로우로부터 슈퍼컬럼 셋 읽어오기
 * @param rowKeys                로우의 키
 * @param columnFamily           슈퍼컬럼을 포함하고 있는 컬럼패밀리
 * @param colPredicate           슈퍼컬럼의 Selector 정의
 * @param cLevel                 Consistency Level
 * @return                       매칭된 슈퍼컬럼으로 이루어진 Map 객체
 */
Map<String, List<SuperColumn>> allTicketsForFriends = selector.getSuperColumnsFromRows(
    Arrays.asList(new String[] { “matt”, “james”, “dom” }, // 친구들
    “L1Tickets”,
    Selector.newColumnsPredicateAll(true, 10000),
    ConsistencyLevel.ONE);

/**
 * 순서로 저장된 슈퍼컬럼의 페이지 네비게이션 구현
 * @param rowKey                로우의 키
 * @param columnFamily          슈퍼컬럼을 포함하고 있는 컬럼패밀리
 * @param startBeyondName       읽어오고자 하는 정렬된 데이터의 시작 키 값
 * @param orderType             어떤 타입의 정렬을 사용하는가
 * @param reversed              오름차순, 내림차순 정의
 * @param count                 데이터를 가져올 최대 갯수
 * @param cLevel                Consistency Level
 * @return                      슈퍼컬럼들의 페이지단위 리스트
 */
List<SuperColumn> pageTickets = getPageOfSuperColumnsFromRow(
    userId,
    “L1Tickets”,
    lastIdOfPrevPage, // null이면 처음부터
    Selector.OrderType.TimeUUIDType, // 슈퍼컬럼 패밀리가 어떻게 정렬되어있는가
    true, // 블로그글과 같은 역순으로 데이터 읽음
    10, // 페이지당 데이터 갯수
    ConsistencyLevel.ONE);[/code]
매우 많은 데이터를 읽어오는 Selector메소드 사용시 많은 Cassandra에 많은 부하를 줄 수 있을것입니다. 하지만 이러한 페이징 기법을 사용하게 되면 단순하게 이 문제를 해결 할 수 있습니다. Selector 클래스의 [소스]를 확인해 보세요.

다른 기능들

Pelops를 사용하기 위한 핵심적인 기능들에 대해 알아보았습니다. 마지막으로 Pelops에서 지원하는 다른 유용한 기능들에 대해 설명하겠습니다.

– 로우 키 레벨의 삭제를 원할 경우 KeyDeletor 클래스를 사용하면 됩니다. (Pelops.createKeyDeletor)
– Cassandra 클러스터의 정보를 가져오기를 원할 경우 Metric 클래스를 사용하면 됩니다. (Pelops.createMetrics)
– 시간순으로 정렬되는 유니크한 ID값인 Time UUID를 사용하기 위해서는 UuidHelper 클래스를 사용하면 됩니다.
– 숫자를 이진값으로 저장하기 위해서는 NumberHelper 클래스를 사용하면 됩니다.
– 문자열을 이진값으로 저장하기 위해서는 StringHelper 클래스를 사용하면 됩니다.
– Pelops 라이브러리의 메소드와 Cassandra의 통신중에 발생하는 예외는 Cassandra에서 정의한 예외들을 사용합니다.

참고 :
http://ria101.wordpress.com/2010/06/11/pelops-the-beautiful-cassandra-database-client-for-java/ 

[NoSQL/Cassandra] Kundera에 대한 간략한 소개

Introduction

Kundera는 JPA 2.0을 준수하는 NoSQL데이터저장소용 객체-데이터저장소 매핑 라이브러리입니다. 현재를 기준으로 관계형 데이터베이스와 함께 Cassandra, HBase, MongoDB를 지원합니다. Kundera는 NoSQL 데이터베이스를 간단하고 재밌게 다룰수 있도록 만들어 줍니다. Kundera는 이미 존재하는 다른 클라이언트 라이브러리들을 또 만든것이 아닙니다. 오히려 기존의 라이브러리들을 사용하여 그것들에 좀 더 추가하고 API들을 래핑하여 개발자로 하여금 불필요한 코드를 제거하여 정리되고 깔끔한 코드가 되도록 하여주며 코드의 퀄리티를 높여줍니다. 이런 모든것들이 생산성을 높여줍니다.

Kundera는 교차-데이터저장소 퍼시스턴스(지속성?)를 제공합니다. 이것은 한번의 메소드 호출로 다른 데이터 저장소에 엔티티들을 저장하고 가져올수 있음을 뜻합니다.

Kundera는 현재 트랜젝션을 관리할 수 없습니다. 이런 이유로 개발자들은 반드시 그들이 개발중인 어플리케이션의 원자성에 대한 보장을 할 수 있도록 책임감을 가져야 합니다.

Kundera는 JPA 2.0에 호환됩니다. 이것은 엄격하게 JPA 어노테이션을 사용하여 객체를 데이터저장소의 테이블에 집어넣을 수 있습니다. (테이블이라고 말했지만 테이블이라는 용어는 RDB에서 사용되는 용어이며 NoSQL데이터베이스에서는 일반적으로 컬럼패밀리라는 용어를 사용합니다)

Basic Concepts

* Rules

– 엔티티 클래스는 반드시 @Entity 어노테이션을 사용해야 합니다.

– 엔티티 클래스는 반드시 테이블명 name과 스키마명 schema 속성을 포함한 @Table 어노테이션을 사용해야 합니다. (테이블과 스키마는 데이터저장소의 종류에 따라 다른 의미를 가지고 있습니다.)

– 엔티티를 NoSQL저장소에 저장하려면 스키마명은 [스키마 이름]@[퍼시스턴스 유닛(PU) 이름]의 형태를 지켜야 합니다.

– 엔티티 클래스는 반드시 인자가 하나도 없는 기본 생성자를 가져야 합니다.

– 각각의 엔티티는 @Id 어노테이션을 가진 필드(멤버변수)가 있어야 합니다. 이 필드는 로우Key로 사용됩니다.

@Id 필드는 반드시 String타입이어야 합니다.

@Id 필드는 반드시 엔티티당 한개만 존재해야 합니다.

– 모든 필드에는 @Embedded@ElementCollection을 포함할 수 있습니다. (Cassandra의 Super Column(s), MongoDB의 Nested Document(s))

@Embedded 또는 @ElementCollection 어노테이션이 붙은 필드의 클래스 정의에는 반드시 @Embeddable 어노테이션을 사용해야 합니다. (JPA방법임!)

– 관계형 엔티티는 다른 엔티티클래스와의 관계를 표현하는 @OneToOne, @OneToMany 어노테이션을 사용합니다. (위의 룰들을 적용한 상태에서) 이렇게 정의된 엔티티들은 각각의 다른 테이블에 저장될 것이며 외래키는 Kundera에 의해 관리됩니다.

Annotations

Kundera는 JPA 어노테이션셋에서 그 어떤 새로운 어노테이션도 추가하지 않았습니다. 좀 더 정확히 말하자면 이미 존재하고 있는것들에 새로운 의미를 부여하였습니다.

– 일반적인 JPA의 방법을 사용하기 때문에 Kundera를 시작하는것은 매우 적은 시간이 소요됩니다.

– 모든 데이터 저장소에 대해 일관적인 어노테이션을 사용합니다.

– 다음은 저장소에 따라 어노테이션의 용어 뜻이 어떻게 달라지는지 보여주는 예시입니다.

사용자 삽입 이미지

Getting Started in 5 minutes

지금부터 Cassandra에 데이터를 보관하는 예제를 수행해 보도록 하겠습니다. 하지만 당신이 좋아하는 다른 데이터 저장소(Kundera가 현재 지원하는 HBase, MongoDB, RDB)를 사용해도 상관없습니다.

카산드라 서버 세팅하기

우리는 이미 당신이 카산드라 서버를 가지고 있고 그것을 당신의 머신에서 적절히 구동중에 있다고 가정하고 이부분을 깊게 관여하지 않을 것입니다. 만약에 아니라면 [여기 좋은 링크]에서 도움이 될만한 정보를 찾으시기 바랍니다(하지만 지금 제 블로그에도 좋은 정보 많습니다. Cassandra로 검색해 보세욧!). 이 예제는 당신의 카산드라 서버가 0.8.x버전이라 가정하고 진행됩니다.

Kundera Jar 파일 다운로드 후 프로젝트에 포함시키기

당신은 [이곳]에서 Kundera-dependency.jar 파일은 다운로드 할 수 있습니다. 다운받아 프로젝트에 포함시키도록 합니다. 또는 아래의 코드를 당신의 maven 프로젝트 pom.xml에 추가하여 maven 저장소로 부터 다운받도록 할 수도 있습니다.
[code]<project xmlns=”http://maven.apache.org/POM/4.0.0″ xmlns:xsi=”http://www.w3.org/2001/XMLSchema-instance”
  xsi:schemaLocation=”http://maven.apache.org/POM/4.0.0 http://maven.apache.org/maven-v4_0_0.xsd”>
  <modelVersion>4.0.0</modelVersion>
  <groupId>com.impetus.poc</groupId>
  <artifactId>KunderaPOC</artifactId>
  <packaging>jar</packaging>
  <version>1.0-SNAPSHOT</version>
  <name>KunderaPOC</name>
  <url>http://maven.apache.org</url>
  <repositories>
    <repository>
      <id>kundera-missing</id>
      <name>Kundera Public Missing Resources Repository</name>
      <url>http://kundera.googlecode.com/svn/maven2/maven-missing-resources</url>
      <releases>
        <enabled>true</enabled>
      </releases>
      <snapshots>
        <enabled>true</enabled>
      </snapshots>
    </repository>
  </repositories>

  <dependencies>
    <dependency>
      <groupId>com.impetus.client</groupId>
      <artifactId>kundera-cassandra</artifactId>
      <version>2.0.4</version>
    </dependency>
  </dependencies>

  <build>
    <plugins>
      <plugin>
        <artifactId>maven-compiler-plugin</artifactId>
        <configuration>
          <source>1.6</source>
          <target>1.6</target>
        </configuration>
      </plugin>
    </plugins>
  </build>
</project>[/code]

persistence.xml 파일 작성하기

다음의 내용을 작성하여 당신의 classpath안의 META-INF 폴더 안에 넣어주도록 합니다. 아래 설정에는 eh-cache에 대한 설정이 있는데 실제 원본 문서안에는 존재하지 않는군요. 이상하긴 하네요;
[code]<persistence xmlns=”http://java.sun.com/xml/ns/persistence” xmlns:xsi=”http://www.w3.org/2001/XMLSchema-instance”
  xsi:schemaLocation=”http://java.sun.com/xml/ns/persistence
  http://java.sun.com/xml/ns/persistence/persistence_2_0.xsd”
  version=”2.0″>
  <persistence-unit name=”cassandra_pu”>
    <provider>com.impetus.kundera.KunderaPersistence</provider>    
    <properties>      
      <property name=”kundera.nodes” value=”localhost”/>
      <property name=”kundera.port” value=”9160″/>
      <property name=”kundera.keyspace” value=”KunderaExamples”/>
      <property name=”kundera.dialect” value=”cassandra”/>
      <property name=”kundera.client” value=”Pelops”/>
      <property name=”kundera.cache.provider.class” value=”com.impetus.kundera.cache.ehcache.EhCacheProvider”/>
            <property name=”kundera.cache.config.resource” value=”/ehcache-test.xml”/>        
    </properties>    
  </persistence-unit>
</persistence>[/code]

엔티티 클래스 작성하기

[code]import javax.persistence.Column;
import javax.persistence.Entity;
import javax.persistence.Id;
import javax.persistence.Table;

@Entity
@Table(name = “users”, schema = “KunderaExamples@cassandra_pu”)
public class User
{
    @Id
    private String userId;
   
    @Column(name=”first_name”)
    private String firstName;
   
    @Column(name=”last_name”)
    private String lastName;
   
    @Column(name=”city”)
    private String city;    

    public User()
    {
    }

    public String getUserId()
    {
        return userId;
    }
    public void setUserId(String userId)
    {
        this.userId = userId;
    }
    public String getFirstName()
    {
        return firstName;
    }
    public void setFirstName(String firstName)
    {
        this.firstName = firstName;
    }
    public String getLastName()
    {
        return lastName;
    }
    public void setLastName(String lastName)
    {
        this.lastName = lastName;
    }
    public String getCity()
    {
        return city;
    }
    public void setCity(String city)
    {
        this.city = city;
    }
}[/code]

결정적인 순간!

Cassandra에서 Keyspace와 Column Family를 생성합니다.
[code]amresh@impetus-ubuntu:/usr/local/apache-cassandra-0.8.2/bin$ ./cassandra-cli –host localhost –port 9160
Connected to: “Test Cluster” on localhost/9160
Welcome to the Cassandra CLI.
Type ‘help;’ or ‘?’ for help.
Type ‘quit;’ or ‘exit;’ to quit.
[default@unknown]create keyspace KunderaExamples;
[default@unknown]use KunderaExamples;
[default@KunderaExamples]create column family users
  with comparator=UTF8Type
  and default_validation_class=UTF8Type
  and key_validation_class=UTF8Type;

81852270-2374-11e1-0000-242d50cf1fdd
Waiting for schema agreement…
… schemas agree across the cluster[/code]

아래의 코드를 실행해 봅시다.

만약에 어떠한 에러가 발생한다면 트러블슈팅 섹션을 확인해 보도록 합니다.
[code]import javax.persistence.EntityManager;
import javax.persistence.EntityManagerFactory;
import javax.persistence.Persistence;

public class KunderaExample
{
    public static void main(String[] args)
    {
        User user = new User();
        user.setUserId(“0001”);
        user.setFirstName(“John”);
        user.setLastName(“Smith”);
        user.setCity(“London”);
       
        EntityManagerFactory emf =
          Persistence.createEntityManagerFactory(“cassandra_pu”);
        EntityManager em = emf.createEntityManager();
       
        em.persist(user);
        em.close();    
        emf.close();    
    }
}[/code]

cassandra-cli를 이용하여 저장된 데이터 확인하기

[code][default@unknown] use KunderaExamples;
Authenticated to keyspace: KunderaExamples
[default@KunderaExamples] list users;
Using default limit of 100
——————-
RowKey: 0001
=> (column=city, value=London, timestamp=1323551942371)
=> (column=first_name, value=John, timestamp=1323551942371)
=> (column=last_name, value=Smith, timestamp=1323551942371)

1 Row Returned.[/code]

Kundera 다운로드 받으러 가기

링크 : https://github.com/impetus-opensource/Kundera/wiki/Download-Kundera
참고 : https://github.com/impetus-opensource/Kundera/wiki/