![]()
In-context learning1️⃣ In-context learning 이란📌 BERT 방식BERT는 언어를 배우는 모델처음에는 아주 많은 텍스트 데이터를 학습하면서 "언어 자체를 이해하는 모델"로 훈련된다.이 과정에서 문장 속 일부 단어를 가려놓고 어떤 단어가 들어갈지 맞히는 방식(MLM)과 문장 관계를 예측하는 방식(NSP)을 사용한다.이때 BERT의 모든 파리미터(가중치)가 업데이트되면서, 문맥과 의미를 이해하는 능력을 갖추게 된다.서브테스크(Subtask)란?BERT는 기본적으로 언어를 이해하지만, 우리가 실제로 하고 싶은 일은 여러 가지이다.언어와 관련된 대표적인 서브테스크(세부 과제)에는 다음과 같은 것들이 있다.요약: 긴 문서를 짧게 정리하는 작업번역: 한 언어를 다른 언어로 변환하는..
![]()
토크나이징(Tokenizing)1️⃣ 토큰(Token) 이란자연어 처리(NLP) 분야에서 "토큰(Token)"은 핵심적인 개념 중 하나이다.정의: 토큰은 텍스트를 구성하는 개별 단위를 의미한다. 예를 들면, 문장 "나는 학교에 간다."를 단어 단위로 토큰화하면 "나는", "학교에", "간다" 등의 토큰으로 나눌 수 있다.토큰화(Tokenization): 토큰화는 주어진 텍스트를 개별 토큰들로 분리하는 과정을 의미한다. 토큰화의 기준은 주로 공백, 구두점, 특수 문자 등을 기준으로 하지만, 언어나 문맥에 따라 다를 수 있다. 예를 들어, 한국어에서는 형태소 분석을 통해 토큰화를 수행하기도 한다.토큰의 종류:토큰화의 기준에 따라 여러 종류의 토큰이 생성될 수 있다.단어 토큰: "I love apple" 에서..
1️⃣ OpenAI - ChatGPT - GPT만든기업OpenAI서비스명ChatGPT사용한 LLM 모델GPT-3.5, GPT-4(유료 사용자만 이용가능)월사용료무료 사용가능, GPT-4를 포함한 Plus 기능을 사용하고자 할 경우, 월 $20($22)접속 URLhttps://chatgpt.com/2️⃣ Google - Bard - PaLM2만든기업Google서비스명Bard사용한 LLM 모델LaMDA → PaLM2(5450억 개의 파라미터를 가지고 있다, GPT는 1750억개)월사용료무료 사용 가능접속 URLhttps://gemini.google.com/app?hl=ko3️⃣ Naver - Clova X만든기업Naver서비스명Clolva X사용한 LLM 모델HyperCLOVA X월사용료무료 사용 가능접속 ..
![]()
1️⃣ LLM(Large Language Model)이란LLM은 "Large Language Model"의 약자로, 대규모 데이터 세트에서 훈련된 인공지능 언어 모델을 의미한다. 이러한 모델은 자연어 처리(NLP, Natural Language Processing) 작업에 널리 사용되며, 텍스트 생성, 분류, 번역, 질문 응답, 감정 분석 등 다양한 작업을 수행할 수 있다.일반적으로 LLM은 수백만 개 이상의 매개변수(parameter)를 가지고 있으며, 이는 모델이 다양한 언어 패턴과 구조를 학습할 수 있게 해준다. 그 결과로, LLM은 상당히 정교하고 자연스러운 텍스트를 생성할 수 있다.GPT3는 1750억개, 타 모델들도 기본 몇 십억~몇 백억개의 파라미터를 가진다.예를 들어, GPT(Generat..
