LLM과 RAG는 자연어 처리(NLP) 분야에서 사용되는 두가지 다른 접근 방식이다. 최근 LLM과 함께 RAG 기술이 각광 받고 있는데 LLM과 RAG가 무엇인지, 두 기술이 어떻게 결합되어 사용되는지 알아보겠다. RAG (Retrieval-Augmented Generation)RAG는 정보 검색(IR)과 생성 모델을 결합한 아키텍처로, 특정 쿼리에 대한 응답을 생성할 때 관련 정보를 검색하여 그 결과를 생성 과정에 통합한다.이 방법은 주어진 질문에 대한 답변을 생성하기 전에, 관련된 문서나 데이터를 검색하여 그 정보를 기반으로 답변을 생성하는 방식으로 작동한다.RAG는 생성 모델에게 검색된 정보를 추가적인 컨텍스트로 제공함으로써, 더 정확하고 상세한 답변을 생성할 수 있도록 한다.이 접근 방식은 특히..

자주 수행해야 하는 반복적인 작업이 있는 경우 자동화를 통해 공수를 줄이고 일관성을 유지할 수 있다. 17. 1. 자동화 목표 자동화를 할까요 말까요 ? 첫번째, 자동화를 통해 달성하려는 결과를 그려봐야 한다. 두번째, 조직 내에 자동화 과정을 수동의 프로세스와 비교하고 원하는 결과를 달성하는 데 자동화가 더 나은 방법인지 판단해야 한다. 17. 1. 1. 달성하고자 하는 결과 자동화를 통해 산출물을 만들어내는 과정도 중요하지만 산출물의 의미를 실질적으로 파악하는 것이 더 중요하다. 예를 들어 유휴 리소스에 대한 전략과 체계에 대해 다시 떠올렸을 때 클라우드 환경에서 유휴 리소스를 제공하는 것만이 목표라면 자동화만으로도 충분하다. 하지만 실제는 비용이 들기 때문에 비용을 줄이려는 목표를 가지고 유휴 리소..

메트릭 기반 비용 최적화(metric-driven cost optimization, MDCO)는 잠재적인 최적화 가능 수준을 파악한 다음 목표를 설정하여 운영 프로세스를 시작하게 만들어주는 최적화 방법이다. 메트릭 기반 비용 최적화의 기본 원칙은 아무것도 하지 않는 것이다. 즉 작업의 영향을 측정하는 메트릭을 확보할 때까지 아무것도 하지 않는다. 16. 1. 핵심 원칙 메트릭 기반 비용 최적화 방법을 정의하는 몇 가지 핵심 원칙이 있다. 자동화된 측정 사람이 아닌 컴퓨터가 측정을 수행한다. 목표 목표가 없는 메트릭은 단지 예쁜 그래프일 뿐이다. 달성 가능한 목표 현실적인 결과를 알아보려면 데이터를 제대로 이해해야 한다. 데이터 기반 작업과 행동이 데이터를 주도하는 것이 아니다. 데이터가 작업을 하도록 주..

중요한 몇 가지 질문들 얼마를 예약해야 하나요 ? 무엇을 예약해야 하나요 ? 언제 예약해야 하나요 ? 이 과정에 누가 참여해야 하나요 ? 예약 인스턴스와 약정 사용 할인이 충분히 활용되고 있는지 어떻게 알 수 있나요 ? 언제 재구매해야 하는지 어떻게 알 수 있나요 ? 누가 비용을 지불해야 하나요 ? 예약 기간에 비용과 절감액을 어떻게 할당하나요 ? 14. 1. 흔한 실수 예약 인스턴스 구매가 너무 오래 지연 너무 보수적인 구매 워터라인 대신 고유한 인스턴스 수를 기준으로 구매 구매 후 예약 인스턴스와 약정 사용 할인을 관리하지 않음 예약 인스턴스나 약정 사용 할인을 너무 많거나 적게 구입 잘못된 예약 인스턴스나 약정 사용 할인을 구매 하지만 괜찮다. 거의 모든 사람이 초기 전략의 일부를 잘못 알고 있다...

13. 1. 예약 소개 각 CSP는 서비스 작동 방식과 할인 방식에 대해 각자의 고유한 특정 규칙을 사용해 조금씩 다른 서비스를 제공한다. 각 조직에서는 필요사항에 따라 구현 모델과 전체 프로세스를 고려하고 조직 내에서 어떻게 활용할지 고민해야 한다. 예약 인스턴스에 대한 선결제는 비용 입장으로 볼 때 물리적 자산으로 감가상각되는 설비투자비용으로 보입니다. 그러나 예약 인스턴스는 사용 기간에 상각해야 하는 운영비용의 무형적인 선지급액입니다. 13. 2. 예약과 약정 사용량 특정 식당에서 선불 쿠폰을 구입하고 있다고 가정해보자. 쿠폰을 사용하면 해당 식사에서 식사를 제공한다. 이 쿠폰 모음에는 하루에 하나씩 쓸 수 있는 한달치 쿠폰이 들어있다. 지정된 식당에서 식사할 때 쿠폰으로 식사비를 내면 된다. 다른..

일반적으로 클라우드 서비스를 이용한 시스템 아키텍처를 보면 항상 등장하는 것이 Bastion Host이다. Bastion Host는 이름에서도 알 수 있듯이 시스템의 맨 앞단에서 "요새"의 역할을 수행한다. 그렇다면 왜 ? Bastion Host를 써야할까 ? 간단하게 생각나는 이유가 있지만 스스로 왜 그런가에 대해 자세히 설명해보려고 하면 설명할 수 없었다. 이번 기회에 Bastion Host의 사용 이유에 대해 정리해보려고 한다. 외부 노출 최소화Bastion Host는 일종의 "점프 서버"로 작동한다. 외부 네트워크(인터넷)와 내부 네트워크(사내 프라이빗 클라우드 or 기업 내부 네트워크)간의 단일 진입점을 제공한다. 이를 통해 모든 외부 트래픽은 먼저 Bastion Host를 거쳐야 한다. 이를 ..