Category Archives: 리눅스서버관리

Windows 2008R2 Hyper-V 가상화에서 돌아가는 리눅스 서버의 시간 교정하기 (ntpd)

최근에 개발서버들을 Windows Server 2008R2에 CentOS 5.x 를 게스트로 올려 사용중에 놀라운점을 경험하게 되었습니다. 게스트호스트인 CentOS 리눅스 서버들의 시간이 매우 빠르게 증가한다는것인데요. 결국에는 시간이 몇시간도 아닌 몇일씩 앞질러가 버리더군요.

사용자 삽입 이미지

위와 같이 가상화 설정에서 시간 동기화를 끄게 되면 조금은 완화되지만 여전히 해결되지 않는 모습을 보게 됩니다. 이 상태에서는 NTP를 사용하더라도 문제를 해결하지 못하게 됩니다. 이 문제를 해결하기 위해 다음과 같은 방법을 사용하였습니다.

부트로더 설정 변경

1. /boot/grub/grub.conf 를 수정하여 커널 부트 옵션을 수정하여 줍니다. 다음을 참고하셔서 적절한 위치에 문자열을 추가해 주시면 됩니다.

32비트OS : divider=10 clocksource=acpi_pm
64비트OS : notsc divider=10

# grub.conf generated by anaconda
#
# Note that you do not have to rerun grub after making changes to this file
# NOTICE:  You have a /boot partition.  This means that
#          all kernel and initrd paths are relative to /boot/, eg.
#          root (hd0,0)
#          kernel /vmlinuz-version ro root=/dev/VolGroup00/LogVol00
#          initrd /initrd-version.img
#boot=/dev/hda
default=0
timeout=5
splashimage=(hd0,0)/grub/splash.xpm.gz
hiddenmenu
title CentOS (2.6.18-164.6.1.el5)
root (hd0,0)
kernel /vmlinuz-2.6.18-164.6.1.el5 ro root=/dev/VolGroup00/LogVol00 hda=noprobe hdb=noprobe notsc divider=10
initrd /initrd-2.6.18-164.6.1.el5.img
title CentOS (2.6.18-164.el5)
root (hd0,0)
kernel /vmlinuz-2.6.18-164.el5 ro root=/dev/VolGroup00/LogVol00
initrd /initrd-2.6.18-164.el5.img

ntpd 설정 변경

1. 다음의 샘플 설정을 참고하여 /etc/ntp.conf 파일을 설정합니다. server 설정으로는 [이곳]을 가시면 다양한 ntp풀에 참여하는 서버들 리스트를 볼 수 있습니다. 하지만 일단 저의 경우에는 다음과 같은 서버들을 사용하겠습니다.

tinker panic 0
restrict 127.0.0.1
restrict default kod nomodify notrap
server time.bora.net
server ntp.ewha.net
server time.kriss.re.kr
server time.nuri.net
server ntp.postech.ac.kr
driftfile /var/lib/ntp/drift

이 설정에서 가장 중요한 부분은 tinker panic 0 지시자입니다. 이 지시자가 설정되면 큰 시간 점프가 일어날 경우 NTP실행을 포기하는 것을 막아줍니다. 이것은 시간이 점차적으로 빗겨나는 행위나 또는 가상서버의 서스펜드 상태로 들어갈때의 시간 점프시에 꼭 필요합니다. 이 설정은 ntp.conf파일의 최상단에 위치해야 합니다.

2.  그리고 설정한 서버 목록중에 2개 정도를 /etc/ntp/step-tickers 에 추가해주도록 합니다.

time.bora.net
ntp.ewha.net

3. (Optional) 이제 마지막으로 로컬의 시계를 참조하지 않도록 설정합니다. 이는 다량의 시간 변경 현상이 일어날 경우 원격지 서버의 시간을 참조하지 않고 로컬의 시간으로 돌아가는 문제가 있기 때문에 이것을 방지하기 위해 다음의 설정을 추가합니다. 위의 2번까지만으로 별 문제가 없으실 경우 다음은 안하셔도 됩니다.

server 127.127.1.0
fudge 127.127.1.0 stratum 10

시간 교정 및 동기화

1. 다음의 명령을 수행하여 수동으로 시간을 동기화하고 동기화된 시간을 하드웨어 시계에 적용하고 ntpd 데몬을 OS부팅시 자동 실행되도록 설정합니다.

ntpd -q
hwclock --systohc
chkconfig ntpd on

2. 시스템을 재부팅합니다.

참고 : http://hardanswers.net/correct-clock-drift-in-centos-hyper-v

[Linux] sar를 이용하여 서버의 현재 부하상태를 알아보기

사용자 삽입 이미지
서버가 부하가 가중되면 가장 먼저 알아내야 하는것이 원인을 파악하는 것일 겁니다. 하지만 그러기 어려운 상황이라면 가장 먼저 파악해야 하는것이 CPU에서 오는 부하인지 I/O에서 오는 부하인지를 알아내야 할 것입니다.

우선 기본적으로 부하상태(Load Average)를 알아내기 위해 top, w, uptime의 명령어를 활용할 수 있습니다.

top

top - 11:46:06 up 77 days,  1:16,  1 user,  load average: 0.06, 0.15, 0.11
Tasks:  87 total,   1 running,  86 sleeping,   0 stopped,   0 zombie
Cpu(s):  6.5%us,  0.5%sy,  0.0%ni, 92.7%id,  0.0%wa,  0.0%hi,  0.3%si,  0.0%st
Mem:   4033528k total,  1571260k used,  2462268k free,    26472k buffers
Swap:  3911816k total,      128k used,  3911688k free,   627956k cached

w

11:47:39 up 77 days,  1:17,  1 user,  load average: 0.08, 0.14, 0.11
USER     TTY      FROM              LOGIN@   IDLE   JCPU   PCPU WHAT
root     pts/0    121.133.79.177   11:13    0.00s  0.01s  0.00s w

uptime

11:47:56 up 77 days,  1:18,  1 user,  load average: 0.06, 0.13, 0.10

top > w > uptime 순으로 보여지는 정보의 양이 적어지는군요. top의 경우에는 실행중인 프로세스의 목록도 표시됩니다. 오늘 언급하려는것은 sar(System Activity Reporter)입니다. 매우 간단하게 부하를 분류하여 보여줍니다.

$ sar
Linux 2.6.18-238.19.1.el5 (Theeye)        09/29/11

16:20:10 CPU %user %nice %system %iowait %steal %idle
16:30:10 all 17.81 0.84  2.75    68.50   0.00   10.10
16:40:23 all 16.75 0.00  3.26    69.68   0.00   10.30
Average: all 17.28 0.41  3.01    69.10   0.00   10.20

위의 시스템은 IO대기가 차지하는 비율이 70%에 육박하는 상태입니다. IO문제가 분명하군요. 보통 DB 서버들이 부하가 걸릴때 위와 같은 모습을 보입니다. 이 경우 메모리를 증설하면 디스크에 읽고 써야 하는 데이터를 그만큼 메모리에 올릴 수 있어 디스크의 IO를 현저히 줄일 수 있습니다.

$ sar
Linux 2.6.18-238.19.1.el5 (Theeye)        09/29/11

14:30:01 CPU %user %nice %system %iowait %steal %idle
15:50:01 all 14.67 0.10  4.51    1.63    0.00   79.08
16:00:01 all 17.06 4.91  4.96    1.53    0.00   71.53
16:10:01 all 14.63 0.00  4.74    1.21    0.00   79.41
Average: all 13.04 2.18  3.98    8.36    0.00   72.45

메모리를 8G에서 16G로 증설한 후의 모습입니다. 정말 신기할 정도로 IO가 줄었네요. sar에서 자주 쓰이는 옵션으로는 다음과 같은 것이 있지 않을까 생각합니다.

-u : CPU 사용율 확인
-P : 특정 CPU의 사용율 확인 (sar -P 0)
-q : Load Average 확인
-r : 메모리 사용 현황 확인

sar는 sysstat 패키지에 포함되어있습니다. 다음과 같이 설치 가능합니다.

$ yum install sysstat