[LLM] LLM 서빙과 최적화 - 2.7. Transformer: 출력층과 샘플링, 아키텍처 마무리
마지막 토큰의 벡터가 로짓이 되고, temperature·top-k·top-p를 거쳐 다음 토큰이 되기까지 — 출력층과 샘플링을 보고 트랜스포머 아키텍처 여정을 닫는다.
AI
[LLM] LLM 서빙과 최적화 - 2.6. Transformer: MLP와 트랜스포머 블록 마무리
어텐션이 모아 온 정보를 토큰별로 비선형 가공하는 MLP 서브레이어에 대해 알아 보자.
[LLM] LLM 서빙과 최적화 - 2.5. Transformer: 셀프 어텐션 계산 해부
Q·K·V 생성부터 멀티헤드 분할, 스케일링·마스킹·softmax, V 가중합과 출력 사영까지 — 셀프 어텐션의 실제 계산을 수식과 shape 변화로 하나씩 뜯어 보자.
[LLM] LLM 서빙과 최적화 - 2.4. Transformer: 트랜스포머 블록과 셀프 어텐션 레이어
트랜스포머 블록의 첫 서브레이어인 멀티헤드 셀프 어텐션에 대해 알아 보자.
[LLM] LLM 서빙과 최적화 - 2.3. Transformer: 임베딩
트랜스포머의 입구인 임베딩이 텍스트를 벡터로 바꾸는 과정을 줌인해 보자.
[LLM] LLM 서빙과 최적화 - 2.2. Transformer: Transformer Explainer
Transformer Explainer를 이용해 브라우저에서 GPT-2를 이용해 트랜스포머 내부를 들여다 보자.
[LLM] LLM 서빙과 최적화 - 2.1. LLM과 트랜스포머 개요
LLM 서빙을 이해하기 위한 언어 모델의 발전, 트랜스포머 아키텍처 개요에 대해 알아 보자.
[LLM] LLM 서빙과 최적화 - 1. AI 개요: 가중치, 행렬, 그리고 학습과 GPU
가중치는 어떻게 학습되며, 그 숫자들이 모델의 판단 능력을 어떻게 결정하는지 알아보자.
[Continual Learning] 하나의 모델, 여러 개의 태스크: 산업 AI는 어떻게 새로운 지식을 계속 배우는가
Superb AI 세미나에서 들은 연속 학습 방법론을 정리하고, MLOps 플랫폼 엔지니어가 배워야 할 점에 대해 생각해 보자.
[AI] SlowFast Demo 실행
«Video Understanding» 사전 훈련된 SlowFast 모델을 돌려 보자.
[AI] DL GPU 개발환경 구축: WSL
WSL에서 GPU 개발 환경을 구축해 보자.
[AI] BERT4REC: Sequential Recommendation with Bidirectional Encoder Representations from Transformer 리뷰
«Sequential Recommendation» Sequential Recommendation에 BERT를 적용해 보자.
[AI] Training Deep AutoEncoders for Collaborative Filtering 리뷰
«Collabortaive Filtering» 협업 필터링을 위한 깊은 오토인코더 네트워크를 구성해 보자.
[AI] Matrix Factorization Techniques for Recommender Systems 리뷰
«Matrix Factorization» Netflix Prize 우승 팀에게 MF 기법을 배워 보자.
[DL] DARNN_1. 논문 리뷰
«Neural Network» 시계열 예측에 attention을 적용해 보자.
[DL] Deep Reinforcement Learning for Asset Allocation in US Equities 리뷰
«Asset Allocation» 자산배분에 딥러닝 강화학습을 적용해 보자.
[AI] DL GPU 개발환경 구축: Windows
GPU를 사용하는 Tensorflow, PyTorch 개발환경을 구축해 보자.
[AI] Transformers 라이브러리 사용하기
이제 HuggingFace Transformers 라이브러리를 Keras Functional API처럼 사용할 수 있다!
[NLP] Transformer_4. 네트워크 구조
«Language Model» Transformer 모델의 인코더 및 디코더 모듈의 구성을 알아 보자.
[NLP] Transformer_3.Multi-head Attention_2
«Language Model» Transformer 모델에 사용된 Multi-head Attention을 알아 보자.
[NLP] Transformer_3.Multi-head Attention_1
«Language Model» Transformer 모델에 사용된 Multi-head Attention을 알아 보자.
[NLP] Transformer_2.Positional Encoding
«Language Model» Transformer 모델에 사용된 Positional Encoding을 알아 보자.
[NLP] Transformer_1.모델 구조
«Language Model» Transformer 모델의 전체적인 구조를 알아 보자.
[NLP] Seq2Seq_2.구현
«Chatbot» Seq2Seq 모델 기반의 챗봇을 만들어 보자.
[AI] KoNLPy 사용자 사전 추가
Google Colabaratory에서 사용자 사전을 추가해 보자.
[NLP] Kaggle IMDB_2.구현
«Sentiment Analysis» Kaggle IMDB 대회 우승자 아이디어를 코드로 구현해 보자.
[NLP] Kaggle IMDB_1.논문 분석
«Sentiment Analysis» Kaggle IMDB 대회 우승자 아이디어를 분석해 보자.
[NLP] DMN_2.구현
«Neural Network» 간단한 DMN 모델을 구현해 보자.
[NLP] DMN_1.개념
«Neural Network» DMN 모델의 개념에 대해 알아 보자.
[NLP] Hybrid_IMDB 감성분석
«Embedding» LSTM과 CNN 네트워크를 결합해 IMDB 감성 분석을 수행해 보자.
[NLP] Word Embedding
«Embedding» 지도학습 기반의 단어 임베딩 기법을 알아 보자.
[NLP] TF-IDF
«Vectorization» 빈도 기반의 단어 수치화 방법인 TF-IDF 모델을 알아 보자.
[DL] GAN_2.구현_정규분포 2
«Neural Network» GAN 모델을 Keras로 구현해 보자.
[DL] GAN_2.구현_정규분포 1
«Neural Network» GAN 모델을 Tensorflow로 구현해 보자.
[DL] GAN_1.개념
«Neural Network» GAN 모델에 대해 알아 보자.
[DL] AutoEncoder_2.구현_이상치 탐지
«Neural Network» 이상치를 탐지하는 오토인코더를 구현해 보자.
[DL] AutoEncoder_2.구현_잡음 제거
«Neural Network» MNIST 데이터를 활용해 잡음 제거 오토인코더를 구현해 보자.
[DL] AutoEncoder_2.구현_차원 축소 2
«Neural Network» 시계열 주식 데이터를 활용해 오토인코더를 구현해 보자.
[DL] AutoEncoder_2.구현_차원 축소 1
«Neural Network» MNIST 데이터를 활용해 FFN, CNN 오토인코더를 구현해 보자.
[DL] AutoEncoder_1.개념
«Neural Network» 오토 인코더의 개념을 알아 보자.
[DL] Hybrid_COVID 예측
«Neural Network» LSTM과 CNN 네트워크를 결합하여 시계열 예측 모형을 만들어 보자.
[DL] CNN_2.구현
«Neural Network» 시계열 데이터에 CNN 모델을 적용해 보자.
[DL] CNN_1.개념 (확장)
«Neural Network» CNN 모델 주요 개념을 이해해 보자.
[DL] LSTM_4.양방향 모델 아키텍쳐 및 구현
«Neural Network» 양방향 LSTM 모델에 대해 알아보자.
[DL] LSTM_3.단방향 모델 구현
«Neural Network» 단방향 LSTM 모델을 구현하여 Sine 함수를 시계열로 예측해 보자.
[DL] LSTM_2.단방향 모델 아키텍쳐
«Neural Network» 단방향 LSTM 모델 아키텍쳐를 이해해 보자.
[DL] LSTM_1.모델 구조
«Neural Network» LSTM 모델 구조를 이해해 보자.
[DL] RNN
«Neural Network» 순환신경망의 구조를 이해해 보자.
[DL] Competitive Learning_2.구현
«Clustering» Tensorflow로 Competitive Learning 구현하기
[Pyhton] 손실함수, 규제함수 만들기
Keras 기능을 이용해 Loss Function, Regularizer Function 커스텀하기
[ML] KMeans_2.구현
«Clustering» Scikit-learn, Tensorflow로 K-Means 구현하기
[ML] KMeans_1.개념
«Clustering» KMeans 알고리즘의 개념
[ML] KNN_2.구현
«Classification» Tensorflow로 KNN 알고리즘을 구현해보자.
[ML] KNN_1.개념
«Classification» KNN 알고리즘의 개념
[ML/DL] 분류 문제의 구분
«Classification» 분류 문제의 종류를 알아 보자.
[ML/DL] 정보이론 기초
«Information Theory» 머신러닝, 딥러닝에 필요한 정보이론 기초를 알아 보자.
[DL] CNN_3.앙상블 구현
«Neural Network» CNN 모델에 앙상블을 적용해 보자. (feat.클래스…)
[DL] CNN_2.모델 구현
«Neural Network» CNN을 활용해 MNIST 문제를 풀어보자.
[DL] CNN_1.모델 구조
«Neural Network» CNN 모델 구조를 이해해 보자.
[DL] MNIST_3.Deep Learning 정확도 향상
«Neural Network» 딥러닝에서 더 정확도를 높여 MNIST 문제를 풀어보자.
[DL] MNIST_2.Deep Learning 구현
«Neural Network» MNIST 분류 문제를 Tensorflow Deep Learning으로 구현해 보자.
[ML] MNIST_1.Tensorflow 구현
«Classification» Multinomial Classification을 Tensorflow로 구현해 보자.
[ML/DL] Sigmoid 함수
«Activation Function» 로지스틱 회귀 문제의 활성화 함수를 도출해 보자.