AI & 딥러닝

1️⃣ 언어 모델(Language Modelling)에서 다음 토큰의 확률 예측언어 모델링(Language Modelling)에서 다음 토큰의 예측은 단어 집합(Vocabulary)에 존재하는 단어들에 대한 Softmax Regression 값이 된다.Softmax Regression: 언어 모델이 단어 집합(Vocabulary)에서 다음 단어를 선택할 때 확률을 계산하는 방식, 모델이 각 단어에 대한 점수를 계산한 후, Softmax를 적용해 확률이 가장 높은 단어를 예측함.이를 수식으로 나타내면 아래와 같다.온도(Temperature)는 Softmax Regression의 각 다음 토큰이 샘플링시에 뽑힐 확률을 뾰족하게 만들어 주거나 평평하게 만들어준다.온도(Temperature) 값이 작을 경우 →..

창발 능력(Emergent Abilites)1️⃣ Emergent Abilities Paper Emergent Abilities of Large Language Models (2022) 2️⃣ OverviewEmergent abilities of large language models의 핵심 idea큰 LLM 모델 학습 과정에서 특정 임계치를 넘으면 기존의 작은 LLM 모델에서 발생하지 않았던 새로운 능력이 발현됨. 3️⃣ Abstract언어 모델의 확장은 다양한 하위 작업에서의 성능과 샘플 효율성을 예측 가능하게 향상시키는 것으로 나타났다.그러나 이 논문에서는 큰 언어 모델(large language models)의 창발 능력(emergent abilities)라는 예측 불가능한 현상(unpredict..

In-context learning1️⃣ In-context learning 이란📌 BERT 방식BERT는 언어를 배우는 모델처음에는 아주 많은 텍스트 데이터를 학습하면서 "언어 자체를 이해하는 모델"로 훈련된다.이 과정에서 문장 속 일부 단어를 가려놓고 어떤 단어가 들어갈지 맞히는 방식(MLM)과 문장 관계를 예측하는 방식(NSP)을 사용한다.이때 BERT의 모든 파리미터(가중치)가 업데이트되면서, 문맥과 의미를 이해하는 능력을 갖추게 된다.서브테스크(Subtask)란?BERT는 기본적으로 언어를 이해하지만, 우리가 실제로 하고 싶은 일은 여러 가지이다.언어와 관련된 대표적인 서브테스크(세부 과제)에는 다음과 같은 것들이 있다.요약: 긴 문서를 짧게 정리하는 작업번역: 한 언어를 다른 언어로 변환하는..

토크나이징(Tokenizing)1️⃣ 토큰(Token) 이란자연어 처리(NLP) 분야에서 "토큰(Token)"은 핵심적인 개념 중 하나이다.정의: 토큰은 텍스트를 구성하는 개별 단위를 의미한다. 예를 들면, 문장 "나는 학교에 간다."를 단어 단위로 토큰화하면 "나는", "학교에", "간다" 등의 토큰으로 나눌 수 있다.토큰화(Tokenization): 토큰화는 주어진 텍스트를 개별 토큰들로 분리하는 과정을 의미한다. 토큰화의 기준은 주로 공백, 구두점, 특수 문자 등을 기준으로 하지만, 언어나 문맥에 따라 다를 수 있다. 예를 들어, 한국어에서는 형태소 분석을 통해 토큰화를 수행하기도 한다.토큰의 종류:토큰화의 기준에 따라 여러 종류의 토큰이 생성될 수 있다.단어 토큰: "I love apple" 에서..

1️⃣ OpenAI - ChatGPT - GPT만든기업OpenAI서비스명ChatGPT사용한 LLM 모델GPT-3.5, GPT-4(유료 사용자만 이용가능)월사용료무료 사용가능, GPT-4를 포함한 Plus 기능을 사용하고자 할 경우, 월 $20($22)접속 URLhttps://chatgpt.com/2️⃣ Google - Bard - PaLM2만든기업Google서비스명Bard사용한 LLM 모델LaMDA → PaLM2(5450억 개의 파라미터를 가지고 있다, GPT는 1750억개)월사용료무료 사용 가능접속 URLhttps://gemini.google.com/app?hl=ko3️⃣ Naver - Clova X만든기업Naver서비스명Clolva X사용한 LLM 모델HyperCLOVA X월사용료무료 사용 가능접속 ..

1️⃣ LLM(Large Language Model)이란LLM은 "Large Language Model"의 약자로, 대규모 데이터 세트에서 훈련된 인공지능 언어 모델을 의미한다. 이러한 모델은 자연어 처리(NLP, Natural Language Processing) 작업에 널리 사용되며, 텍스트 생성, 분류, 번역, 질문 응답, 감정 분석 등 다양한 작업을 수행할 수 있다.일반적으로 LLM은 수백만 개 이상의 매개변수(parameter)를 가지고 있으며, 이는 모델이 다양한 언어 패턴과 구조를 학습할 수 있게 해준다. 그 결과로, LLM은 상당히 정교하고 자연스러운 텍스트를 생성할 수 있다.GPT3는 1750억개, 타 모델들도 기본 몇 십억~몇 백억개의 파라미터를 가진다.예를 들어, GPT(Generat..

1. 소개1) 인공지능 분야의 중요성과 성장- 기업부터 정부, 의료, 교육 등 인공지능은 현대 사회에서 다양한 분야에 중요한 역할을 합니다.- 기계 학습, 딥러닝, 자연어 처리 등의 기술이 발전함에 따라 인공지능은 문제 해결과 의사 결정을 위한 강력한 도구입니다.- 이에 따라 인공지능 기술을 활용한 혁신적인 서비스 및 솔루션이 급속히 증가하였고, 이는 인공지능 관련 개발자들에게 더 많은 기회를 제공합니다.2) 인공지능 관련 개발자가 필요한 이유- 인공지능 기술의 발전은 수많은 기업과 기관에게 새로운 가능성을 제시합니다.- 이러한 발전을 이끌어 나갈 수 있는 전문가라 할 수 있는 인공지능 관련 개발자들의 수요는 크게 증가하고 있습니다.- 이로운 기술을 개발할 수 있는 능력 및 적절한 알고리즘 기술을 통해 ..

1. 소개 1) 인공지능의 정의와 현재까지의 발전- 인공지능은 기계가 지능적인 작업을 수행하도록 하는 기술- 현재까지 기계 학습, 딥러닝, 자연어 처리 등의 발전으로 다양한 분야에서 인공지능을 사용- 하지만, 이러한 발전에도 불구하고 여전히 인공지능은 특정 분야에서 한계가 있음.2) 인공지능의 도전 과제- 인공지능은 데이터의 한계, 복잡한 추론의 한계, 윤리적 문제, 인간과의 상호 작용의 어려움 등 다양한 어려움이 있음.ex) 데이터 부족 및 품질 문제, 인과 관계 이해의 어려움, 강화 학습의 한계, 자연스러운 언어 이해의 어려움 등     → 이러한 어려움을 이해하고 극복하기 위한 노력 필요2. 인공지능의 한계1) 데이터 부족과 품질 문제 - 인공지능은 대규모의 고품질 데이터가 필요하지만 일부 분야는 ..

1. 소개1) 음성 인식 기술의 정의와 발전 과정- 음성 인식 기술은 기계가 사용자의 음성을 이해하고 해석하여 텍스트나 명령으로 변환하는 기술이다.- 초기 음성 인식 시스템: 단순한 명령어를 이해하는데 사용- 이후: 기술의 발전화 함께 자연어 처리 기술을 통해 더 복잡한 대화와 질문도 처리- 음성 인식은 음성 신호를 기반으로 컴퓨터가 음성 명령을 이해하고 응답할 수 있도록 하는 기술 진화의 일부2) 음성 인식 기술이 중요한 이유- 음성은 인간의 주요 소통 수단 중 하나이며, 이를 기술적으로 활용하는 것은 사용자 경험을 혁신하고 생활을 편리하게 만들 수 있음- 음성 인식 기술은 키보드 입력이나 터치 없이 기기를 조작할 수 있는 새로운 방법 제공- 시각 및 신체적 제약이 있는 사용자들에게 접근성의 향상에 기..

1. 소개1) 인공지능과 윤리의 관계- 인공지능(AI)로 인해 우리의 삶과 사회에 혁신적인 변화 발생- 하지만, 이러한 변화에는 윤리적인 고려 필요- 인공지능이 개발되고 활용됨에 따라, 기술의 윤리적인 측면을 고려하는 것이 중요- 의사결정, 자동화, 데이터 처리 등 상당한 영역에서 사용되기 때문에, 그 윤리적인 측면을 이해하는 것이 필수적2) 개인정보 보호의 중요성- 인공지능은 대량의 데이터가 기반이 됨.- 대량의 데이터에는 사용자의 개인정보를 포함하고 사용자들의 개인정보를 보호하는 것은 매우 중요- 개인정보 보호는 사용자 신뢰를 유지하고 불법적인 정보 노출을 방지하기 위해 필수적이 원칙 중 하나- 이를 통해 사용자는 자신의 정보가 안전하게 다뤄지고 있다고 믿을 수 있게 됨2. 인공지능 윤리의 기본 원칙..