일 | 월 | 화 | 수 | 목 | 금 | 토 |
---|---|---|---|---|---|---|
1 | 2 | |||||
3 | 4 | 5 | 6 | 7 | 8 | 9 |
10 | 11 | 12 | 13 | 14 | 15 | 16 |
17 | 18 | 19 | 20 | 21 | 22 | 23 |
24 | 25 | 26 | 27 | 28 | 29 | 30 |
- 도커 설치
- sudoer
- uname
- 우분투 22.04 패스워드 초기화
- 패스워드초기화
- dmesg
- sysstat
- nvidia
- 모니터링
- TAIL
- grub
- python
- 도커
- 리눅스 기본명령어
- Ubuntu 22.04
- CUDA
- 우분투
- ifconfig
- NGC
- nvidia-docker
- 우분투패스워드초기화
- passwd
- ethtool
- V100
- A100
- TensorFlow
- netplan
- Cat
- 엔비디아 도커
- docker
- Today
- Total
또이리의 Server Engineer
다스, 나스, 샌 스토리지 본문
다스, 나스, 샌 스토리지
DAS, NAS, SAN storage
이번 스토리는 스토리지의 개념을 알아보겠습니다.
다스 스토리지 DAS(Direct Attached Storage)
서버와 전용 케이블로 직접 연결한 외장형 저장 장치입니다. 서버/클라이언트 환경에서의 부족한 저장 공간을 가장 쉽게 확보하는 방법입니다.
서버 자체에 물리적으로 외부 저장 장치를 직접 연결하는 것입니다. 네트워크에 연결된 각 서버에 외부 저장 장치를 직접 추가함으로써 필요한 데이터를 물리적으로 가까운 곳에서 접근할 수 있고 확장이 용이합니다.
하지만 데이터의 증가에 따른 외부 저장 장치의 추가는 서버의 효율성을 저하시키는 문제가 발생할 수 있습니다. 생각하는 것만으로도 복잡하고 덩치 큰일이 벌어지는 것을 상상할 수 있습니다.
또 다른 문제는 네트워크 상의 서버가 다운되는 경우에는 중지된 서버에 장착된 저장 장치도 사용할 수 없게 되어 중앙 집중식 시스템과 같은 취약점이 있습니다.
쉽게 말하면 PC 가 다운되면 PC의 HDD의 데이터를 사용할 수 없는 것과 동일합니다. 해당 PC에 연결된 외장 HDD를 사용할 수가 없는 것입니다.
장점-저렴한 초기 구축비용
단점-호스트가 다운되면, 스토리지도 사용이 불가합니다. 다른 서버와의 파일 공유 불가능
나스 스토리지 NAS(Network Attached Storage)
File Server는 파일공유와 파일 서비스라는 서버로서의 기능으로부터 시작된 솔루션입니다.
네트워크가 발달하지 못하고 데이터 양이 많지 않던 시절에는 회사의 부서별로 파일공유를 위해서 또는 파일에 대한 관리의 편의를 위해서 시작되었던 솔루션으로 파일공유 및 파일 서비스 기능을 위해서는 범용 OS (Unix 또는 Windows NT 등)에서 제공되는 일부분의 기능(NFS 또는 CIFS)을 이용하였습니다.
데이터 저장장치는 주로 서버에 내장된 디스크를 사용하였습니다. 위에서 설명드린 DAS를 말하는 것입니다.
그리고 서버/클라이언트 구조로 파일서버가 서버로서의 역할을 각 End-user의 단말(PC 또는 Workstation)이 클라이언트로서의 역할을 하도록 구현되었습니다.
그런데 세월이 흐르면서 사용자 환경이 변하였습니다. 파일공유 및 파일 서비스를 위한 데이터 용량이 폭발적으로 증가하였다는 점과, 파일공유 및 파일 서비스를 위한 I/O가 보다 높은 대역폭과 속도를 요구한다는 점입니다.
파일서버의 한계를 극복한 것이 NAS(Network Attached Storage)입니다. NAS는 저장장치의 기능을 강조한 것으로 저장장치 부분의 하드웨어적 성능/기능뿐만 아니라 소프트웨어적 기능이 예전의 파일서버와는 차별화되었습니다.
그리고 I/O측면에서도 범용 OS 대신에 파일 서비스에 특화된 전용의 OS를 사용함으로써 보다 높은 I/O 성능을 제공하고 있습니다.
그리고 역할에 있어서도 기존의 파일서버가 End-user 단말에 대한 파일 서비스를 제공하는 역할을 강조한 반면에 NAS는 End-user단말에 대한 기존 파일서버의 역할뿐만 아니라 애플리케이션 서버의 데이터를 네트워크(LAN)를 통해 저장하여 네트워크가 연결된 곳에서는 언제 어디서나 스토리지를 접속해 사용할 수 있는 애플리케이션 서버에 대한 저장장치로서의 역할도 하고 있습니다.
유비쿼터스 시대가 시작된 것입니다. NAS를 이름 그대로 해석해 보면 네트워크(LAN)에 접속된 스토리지입니다.
스토리지는 SCSI 프로토콜을 기반으로 통신을 하고 네트워크(LAN)는 TCP/IP 프로토콜을 기반으로 통신을 합니다. NAS의 장점은 파일공유입니다.
다수의 애플리케이션 서버들이 네트워크(LAN)를 통해서 NFS 또는 CIFS와 같은 파일 서비스 프로토콜로 전용 파일서버에 접속하여 파일에 대한 서비스를 요청하면, 단일 파일서버가 그 요청에 따라 파일 서비스를 하게 됨으로써 즉, NAS에 저장된 파일이 모두 전용 파일서버 한 곳에서 관리됨으로 파일들에 관한 정보들의 Consistency라든가 locking에 문제가 없이 파일을 여러 서버들이 공유할 수 있게 됩니다.
NAS의 단점은 성능과 DB에서 사용할 때의 문제점이 있습니다. 성능상의 단점은 Latency Time입니다. NAS는 애플리케이션 서버에서 전용 파일서버까지 네트워크(LAN)로 접속되고 전용 파일서버에서 스토리지 사이는 채널 케이블로 접속되어 채널로만 접속되는 DAS 또는 SAN에 비해 접속 단계가 늘어남으로써 Latency Time이 더 걸리게 됩니다.
물론 NAS가 LAN에서의 Latency time에서 단점을 Cache에서 그리고 저장장치 부문에서의 성능으로 보완하여 JBOD(Just Bunch of Disk: 저급의 디스크 스토리지를 의미)나 성능이 떨어지는 내장형 Disk보다 빠를 수 있습니다.
그러나 동급의 디스크 스토리지로 비교했을 때는 DAS나 SAN보다 성능이 조금 떨어지는 것이 보통입니다. 특히 I/O가 많은 대용량의 DB인 경우, 그리고 대규모 Batch Job을 수행해야 하는 경우에는 이와 같은 성능 차이가 문제가 됩니다.
또한 DB의 경우 전용 파일서버에서의 Caching기능 때문에 전용 파일서버에 장애가 일어난 경우 Data의 consistency가 문제가 될 수도 있습니다.
장점-네트워크에서 파일공유가 가능, 저렴한 비용으로 네트워크와 스토리지 구축 가능
단점-성능상의 한계(나스 서버는 비교적 저렴한 하드웨어를 사용) 장점이자 단점이 될 수 있는 네트워크 연결
샌 스토리지 SAN(Storage Area Network)
SAN의 경우 보통 특수 목적용 고속 네트워크로서, 대규모 네트워크 사용자들을 위하여 서로 다른 종류의 데이터 저장장치를 관련 데이터 서버와 함께 연결해 별도의 랜(LAN:근거리통신망)이나 네트워크를 구성해 저장 데이터를 관리합니다.
정보기술(IT)이 급속히 발전하면서 기업들의 가장 큰 고민 가운데 하나는 많은 데이터를 어떻게 효율적으로 저장할 수 있는가 하는 것이었습니다.
기존 저장 방법은 장비에 스토리지를 붙여서 쓰는 DAS(direct attached storage:직접 연결 스토리지)를 이용하였으나, 저장할 데이터와 늘어나는 데이터가 한 공간에 존재하므로 데이터의 전송 속도가 떨어지는 단점이 있습니다.
SAN은 이러한 단점을 극복하기 위한 목적으로 1990년대 말부터 개발되기 시작해 단기간에 새로운 데이터 저장기법으로 떠올랐습니다.
서로 다른 종류의 저장장치들이 함께 연결되어 있어 모든 사용자들이 공유할 수 있을 뿐 아니라, 백업, 복구, 보관, 검색 등이 가능하고, 한 저장장치에서 다른 저장장치로 데이터를 이동시킬 수 있다는 장점이 있습니다.
SAN 외에 별도로 네트워크(LAN)를 구성해 저장 데이터를 관리하는 방법으로 NAS(network attached storage:네트워크 연결 스토리지) 등이 있지만, 갈수록 대형화하면서 고성장세를 보이고 있습니다.
하지만 SAN을 구축하기 위해서는 NAS 스토리지에 비해서 많은 비용과 장비들의 투자가 필요하고, 기존 시스템들의 업그레이드가 필수적이므로 몇 가지 제약이 있습니다.
SAN을 이기종간의 여러 서버에서 하나의 스토리지를 공유하기 위해서는 SAN 매니지먼트 소프트웨어가 별도로 필요로 하고 , NAS 와는 달리 SAN 네트워크를 별도로 구축을 해야 한다는 단점이 있습니다.
SAN은 서버와 스토리지 사이의 채널 접속에 파이버 채널 스위치를 넣어 네트워크의 개념을 도입한 것입니다. 그렇다면 왜 SCSI Switch가 아닌 파이버 채널 스위치일까요? SCSI의 경우 Open System의 채널 인터페이스이긴 하지만 접속 거리가 최대 25m로 네트워크로 구성하기에는 거리 제약이 있으며 스위칭을 위한 고려가 전혀 되어있지 않는 인터페이스란 점 때문에 파이버 채널을 SAN의 표준으로 정하게 되었습니다.
파이버 채널 스위치를 중간에 넣음으로써 서버의 접속 포트 하나에서 여러 대의 스토리지를 접속할 수 있고, 또한 스토리지의 접속 포트 하나에 여러 서버가 접속할 수 있는 유연성이 생기게 됩니다.
그러나 여러 서버에서 파일 공유를 하려는 측면에서 생각해 보면 동일 파일 시스템에 대한 관리를 각각의 서버에서 해야 하기 때문에 Locking 문제와 Consistency 문제가 생기게 되고 그런 이유로 일반적으로 파일공유가 되지 않습니다.
장점-Fiber Channel을 통한 광통신 가능(매우 빠른 I/O 속도), 다중의 스토리지 관리 가능
단점-비싼 비용
Fiber Channel-파이버 채널(Fibre Channel, 줄여서 FC)은 주로 스토리지 네트워킹에 쓰이는 Gbps 기가비트 속도의 네트워크 기술입니다.
슈퍼컴퓨터 분야에 주로 사용되기 시작하였으나, 지금은 기업용 자료 보관을 위한 SAN의 표준 연결 형태가 되어가고 있습니다.
파이버 채널의 파이버는 "섬유"를 뜻하지만 실제로 파이버 채널의 통신은 연선 구리 케이블과 광학 섬유 케이블을 사용하고 있습니다.
'Linux Engineer' 카테고리의 다른 글
GeForce RTX 3080 vs RTX 3090 (0) | 2020.11.04 |
---|---|
리눅스 find 명령어 (0) | 2020.11.03 |
우분투 18.04 엔비디아 드라이버 설치 (0) | 2020.11.01 |
우분투 18.04 네트워크 설정 - netplan (1) | 2020.11.01 |
리눅스 종류와 역사 - Linux OS (0) | 2020.10.31 |