![]()
In-context learning1️⃣ In-context learning 이란📌 BERT 방식BERT는 언어를 배우는 모델처음에는 아주 많은 텍스트 데이터를 학습하면서 "언어 자체를 이해하는 모델"로 훈련된다.이 과정에서 문장 속 일부 단어를 가려놓고 어떤 단어가 들어갈지 맞히는 방식(MLM)과 문장 관계를 예측하는 방식(NSP)을 사용한다.이때 BERT의 모든 파리미터(가중치)가 업데이트되면서, 문맥과 의미를 이해하는 능력을 갖추게 된다.서브테스크(Subtask)란?BERT는 기본적으로 언어를 이해하지만, 우리가 실제로 하고 싶은 일은 여러 가지이다.언어와 관련된 대표적인 서브테스크(세부 과제)에는 다음과 같은 것들이 있다.요약: 긴 문서를 짧게 정리하는 작업번역: 한 언어를 다른 언어로 변환하는..
![]()
토크나이징(Tokenizing)1️⃣ 토큰(Token) 이란자연어 처리(NLP) 분야에서 "토큰(Token)"은 핵심적인 개념 중 하나이다.정의: 토큰은 텍스트를 구성하는 개별 단위를 의미한다. 예를 들면, 문장 "나는 학교에 간다."를 단어 단위로 토큰화하면 "나는", "학교에", "간다" 등의 토큰으로 나눌 수 있다.토큰화(Tokenization): 토큰화는 주어진 텍스트를 개별 토큰들로 분리하는 과정을 의미한다. 토큰화의 기준은 주로 공백, 구두점, 특수 문자 등을 기준으로 하지만, 언어나 문맥에 따라 다를 수 있다. 예를 들어, 한국어에서는 형태소 분석을 통해 토큰화를 수행하기도 한다.토큰의 종류:토큰화의 기준에 따라 여러 종류의 토큰이 생성될 수 있다.단어 토큰: "I love apple" 에서..
1️⃣ OpenAI - ChatGPT - GPT만든기업OpenAI서비스명ChatGPT사용한 LLM 모델GPT-3.5, GPT-4(유료 사용자만 이용가능)월사용료무료 사용가능, GPT-4를 포함한 Plus 기능을 사용하고자 할 경우, 월 $20($22)접속 URLhttps://chatgpt.com/2️⃣ Google - Bard - PaLM2만든기업Google서비스명Bard사용한 LLM 모델LaMDA → PaLM2(5450억 개의 파라미터를 가지고 있다, GPT는 1750억개)월사용료무료 사용 가능접속 URLhttps://gemini.google.com/app?hl=ko3️⃣ Naver - Clova X만든기업Naver서비스명Clolva X사용한 LLM 모델HyperCLOVA X월사용료무료 사용 가능접속 ..
![]()
1️⃣ LLM(Large Language Model)이란LLM은 "Large Language Model"의 약자로, 대규모 데이터 세트에서 훈련된 인공지능 언어 모델을 의미한다. 이러한 모델은 자연어 처리(NLP, Natural Language Processing) 작업에 널리 사용되며, 텍스트 생성, 분류, 번역, 질문 응답, 감정 분석 등 다양한 작업을 수행할 수 있다.일반적으로 LLM은 수백만 개 이상의 매개변수(parameter)를 가지고 있으며, 이는 모델이 다양한 언어 패턴과 구조를 학습할 수 있게 해준다. 그 결과로, LLM은 상당히 정교하고 자연스러운 텍스트를 생성할 수 있다.GPT3는 1750억개, 타 모델들도 기본 몇 십억~몇 백억개의 파라미터를 가진다.예를 들어, GPT(Generat..
오늘날의 디지털 비즈니스 환경에서 데이터 손실과 시스템 중단은 기업의 신뢰도와 수익에 심각한 영향을 미칠 수 있습니다. DRaaS(Disaster Recovery as a Servcie)는 이러한 위험을 최소화하고 비즈니스 연속성을 보장하기 위한 솔루션으로, 클라우드 기반의 재해 복구 서비스를 제공합니다. 이번 포스팅에서는 DRaaS의 개념, 작동원리, 주요 기능, 이점, 그리고 활용 사례를 자세히 살펴보겠습니다.1. DRaaS란 무엇인가?∎ 정의DRaaS(Disaster Recovery as a Serivce)는 클라우드 서비스를 통해 데이터를 보호하고, 재해나 장애가 발생했을 때 IT 환경을 신속히 복구하여 비즈니스 운영을 지속할 수 있도록 지원하는 서비스입니다.핵심 기능: 데이터 백업, 시스템 복구..
스토리지(Storage)는 데이터를 안전하게 저장하고 빠르게 접근할 수 있도록 지원하는 시스템입니다. 하지만 하드웨어 장애, 소프트웨어 오류, 자연재해 같은 예기치 못한 상황은 데이터 손실과 서비스 중단을 초래할 수 있습니다. 이를 방지하기 위해 스토리지의 가용성(Storage Availability)을 높이는 기술과 전략이 필요합니다. 이번 포스팅에서는 스토리지 가용성을 높이는 주요 기술과 활용 방법을 이해하기 쉽게 설명하겠습니다.1. 스토리지 가용성이란?∎ 정의스토리지 가용성은 데이터에 지속적으로 접근 가능하도록 보장하는 능력을 의미합니다.장애나 문제가 발생하더라도 데이터 손실 없이 시스템이 정상적으로 작동해야 합니다. ∎ 왜 중요한가?데이터는 비즈니스의 핵심 자산이며, 데이터 손실은 서비스 중단 및..
네트워크 가용성(Network Availability)은 시스템이 얼마나 안정적이고 지속적으로 네트워크 연결을 유지할 수 있는지를 의미합니다. 가용성이 높을수록 네트워크 장애가 발생 하더라도 서비스 중단 없이 운영할 수 있습니다. 이번 포스팅에서는 네트워크 가용성을 높이는 주요 기술과 그 활용 방법을 이해하기 쉽게 설명하겠습니다.1. 네트워크 가용성이란?∎ 정의네트워크 가용성은 네트워크가 정상적으로 작동하여 데이터가 원활히 전송될 수 있는 시간의 비율을 말합니다.가용성 지표: 99.9%(Three Nines)에서 99.999%(Five Nines)까지, 가용성 수준에 따라 연간 다운타임이 달라집니다. ∎ 왜 중요한가?네트워크 장애는 서비스 중단으로 이어져 기업 신뢰도와 수익에 악영향을 미칩니다.금융, 의..
가용성(Availability)은 IT 서비스의 안정성과 신뢰성을 보장하기 위한 핵심 요소입니다. 특히, 클라우드와 데이터센터 환경에서 Compute(컴퓨팅 리소스)의 가용성을 높이는 것은 서비스 중단을 방지하고, 고객 만족도와 비즈니스 연속성을 보장하는 데 필수적입니다. 이번 포스팅에서는 컴퓨팅 리소스의 가용성을 높이는 주요 기술, 원리, 활용 사례를 이해하기 쉽게 설명하겠습니다.1. 가용성이란 무엇인가?∎ 정의 가용성은 시스템, 애플리케이션, 컴퓨팅 리소스가 장애나 중단 없이 동작할 수 있는 능력을 의미합니다.가용성의 지표: 시스템이 얼마나 자주 사용 가능 상태인지 퍼센트로 표현.99.9%: 세 아홉(Three Nines)99.99%: 네 아홉(Four Nines)99.999%: 다섯 아홉(Five ..
Single Point of Failure(SPOF)란 시스템에서 단일 구성 요소의 고장이나 장애가 전체 시스템의 작동 중단을 초래하는 약점을 의미합니다. SPOF는 IT인프라, 네트워크, 데이터센터, 소프트웨어 설계 등 다양한 환경에서 발생할 수 있으며, 시스템 안정성과 가용성을 저하시키는 주요 요인으로 작용합니다. 이번 포스팅에서는 SPOF의 개념, 발생 원인, 주요 사례, 해결 방법, 그리고 이를 방지하기 위한 설계 원칙을 자세히 알아보겠습니다.1. Single Point of Failure(SPOF)란?∎ 정의SPOF는 시스템에서 단일 장애 지점이 전체 시스템의 작동을 멈추게 할 수 있는 상황을 말합니다.단일 요소에 의존: 해당 요소가 실패하면 대체할 수 없어서 시스템이 중단됩니다.결과: 서비스 ..
클라우드 컴퓨팅은 현대 IT 인프라의 핵심 기술로, 데이터 저장, 애플리케이션 실행, 서버 운영 등을 물리적 장비 없이 네트워크를 통해 제공하는 방식입니다. 클라우드 컴퓨팅은 기업과 개인 모두에게 비용 절감, 유연성, 그리고 효율성을 제공하며, 디지털 전환의 중심에 있습니다. 이번 포스팅에서는 클라우드 컴퓨팅의 개념, 작동 원리, 유형, 장단점, 활용 사례를 이해하기 쉽게 설명하겠습니다.1. 클라우드 컴퓨팅이란?∎ 정의클라우드 컴퓨팅은 인터넷 기반의 컴퓨팅 서비스로, 사용자가 필요한 만큼의 컴퓨팅 자원을 제공 받을 수 있는 IT 서비스 모델입니다.데이터를 저장하거나 애플리케이션을 실행하기 위해 물리적인 장비나 소프트웨어를 직접 설치할 필요 없이, 클라우드 제공자의 인프라를 사용합니다.핵심 특징: On-D..
