✅ Redshift AWS에서 완전 관리형으로 제공해주는 클라우드 데이터 웨어하우스이다. 데이터 웨어하우스란 ? 수집한 여러가지 데이터를 추출 및 변환(ETL) 과정을 거쳐 적재하는 관계형 데이터베이스 클러스터(노드 집합)를 생성하고 클러스터가 사용할 준비가 되면(프로비저닝 완료) 데이터 적재 및 분석이 가능하다. PostgreSQL을 기반으로 표준 SQL을 이용한 데이터 처리를 지원하고 BI도구로 분석할 수 있다. ✅ RedShift 구성 요소 클러스터 리더 노드와 하나 이상의 컴퓨팅 노드로 구성 리더 노드 SQL 연결 엔드포인트이다. 외부 어플리케이션은 리더 노드와 통신한다. 노드 간의 통신을 관리하는 노드로 메타데이터를 저장하고 클러스터의 모든 쿼리 수행을 관리한다. 컴퓨팅 노드 : 실제 작업을 수..

[root@localhost ~]# lsblk NAME MAJ:MIN RM SIZE RO TYPE MOUNTPOINT sda 8:0 0 60G 0 disk ├─sda1 8:1 0 4G 0 part [SWAP] └─sda2 8:2 0 56G 0 part / sdb 8:16 0 20G 0 disk ├─sdb1 8:17 0 4G 0 part ├─sdb2 8:18 0 4G 0 part ├─sdb3 8:19 0 6G 0 part └─sdb4 8:20 0 6G 0 part sr0 11:0 1 1024M 0 rom [root@localhost ~]# partprobe /dev/sdb [root@localhost ~]# pvcreate /dev/sdb[1-4] Physical volume "/dev/sdb1" succ..

✅ 들어가기 앞서 리눅스에서의 하드디스크 리눅스에서는 디스크를 효율적으로 관리하고 사용하는 방법으로 LVM과 RAID 기술을 사용하고 있다. 디스크의 파티션이란 ? 디스크는 파티션이라는 논리적인 크기로 분할/통합해서 사용한다. 하나의 디스크를 여러개로 분할하기도 하며 여러개의 디스크를 하나의 파티션으로 통합하기도 한다. 파티션은 고정적이고 물리적인 개념이 강해 한번 크기를 설정하면 변경, 추가가 어렵고 OS는 각 파티션을 별도의 디스크처럼 인식한다. 디스크의 볼륨이란 ? 정보를 저장하고 있는 디스크를 몇개로 분할해서 개별 디스크로 취급하는 것을 말한다. 쉬운 예로 파티션이 있다. 하나의 하드 디스크를 파티션으로 나누어 관리할 경우 디렉토리 관리가 쉬워지고 하나의 파티션에 바이러스가 감염되더라도 별도로 저..

✅ Swap Memory란 ? 물리적 디스크 공간을 메모리 공간처럼 사용하는 방식 메모리에 발생하는 부하를 줄여주는 방법이다. 시스템 RAM + 스왑 공간 => 가상 메모리 ✅ 원리 현재 메모리에 P1, P2, P3 사용 중이고 메모리는 모두 사용 중이며 새로운 P4를 메모리에 올려야 한다고 가정하자 기존 프로세스 중 가장 오래되고 가장 중요도가 적은 프로세스를 swap 영역으로 전환한다. 기존 메모리에 여유 공간이 생긴다. 남는 메모리 영역에 새로운 P4를 올려서 사용한다. 작업이 끝나고 메모리에 공간이 나게되면 스왑 영역에 있던 프로세스를 다시 M영역으로 올린다. ✅ 특징 swap은 디렉토리 구조로 접근하지 않기 때문에 마운트포인트를 swap으로 지정한다. 스왑 공간은 백업 및 파일 시스템 점검이 필..

✅ 리눅스 작업 스케줄링 명령어 단일성 예약 반복적 예약 특정 시기에 한번 작업을 수행 at, atd 서비스를 이용한다. 반복적인 작업을 수행 cron, crontab 서비스를 이용한다. at 서비스와 cron 서비스는 제어할 수 있는 터미널을 지정받지 못한다. 결과를 메일로 보내오거나 리다이렉션을 이용해 파일로 저장해야 한다. ✅ at 명령어 지정된 명령어를 지정된 시각에 1회 실행하도록 하는 명령어이다. 시간이 되면 수행된 후 목록에서 사라진다. atd 데몬을 관리하는 명령어이다. ✅ 관련 명령어 atq : 작업 예약 현황 atrm [작업 번호] : 작업 예약 삭제 batch : 시스템에 부하를 주지 않도록 실행 ✅ at 옵션 옵션 설명 -f 파일명 스크립트 파일 등을 실행해 줄때 사용한다 -m 작업..

우리가 디스크를 사용하기 위해서는 디스크에 파티션을 생성한 뒤 파티션을 file system으로 포맷한 후 그 영역에 디바이스를 mount 해야한다. ✅ 디스크 ✅ 디스크 구조 섹터 : 섹터는 자체적으로 주소를 가지고 있는 스토리지의 단위이다. 트랙 : 플래터 위의 동심원이다. 트랙은 숫자가 붙여져 있으며 플래터 바깥면부터 0으로 시작된다. 실린더 : 각 드라이브 플래터 표면에 동일한 트랙들의 집합으로, 헤드는 트랙번호가 아닌 실린더 번호를 참조한다. 플래터 : 하나 또는 다수의 평평한 디스크들을 플래터라고하며 데이터는 이곳에 바이너리 코드로 기록된다. 플래터의 양 표현에 데이터를 기록하거나 읽게되며 플래터의 수가 디스크 용량을 결정 짓는다. ✅ Hard Disk 종류 (타입) IDE (Integrate..