Techspaces: 알아두면 좋은 경제 IT 이야기

  • 홈
  • 태그
  • 방명록

2025/11/10 1

트랜스포머(Transformer) 모델 구조: 어텐션·멀티헤드·포지셔널 인코딩·FFN·정규화·마스킹까지

트랜스포머 모델은 현대 LLM(대규모 언어 모델)의 표준 설계입니다. 많은 글이 개념을 짧게 훑고 지나가 이해가 어려웠다면, 여기서는 수식·숫자 예시·행렬 차원까지 내려가 트랜스포머 모델의 핵심 구성요소를 차근차근 해설합니다.핵심 키워드: 트랜스포머 모델, 어텐션, 멀티헤드 어텐션, 포지셔널 인코딩, FFN, 레이어 정규화, 마스킹, 크로스 어텐션한눈에 보는 전체 구조이미지(500×500) 제안: 좌측 N층 인코더 스택, 우측 N층 디코더 스택. 각 층에 [Multi-Head Self-Attention] → [Feed-Forward] 블록, 잔차 연결(Residual)+LayerNorm 표기. 디코더에는 [Masked Self-Attention] → [Cross-Attention] → [Feed-Forw..

AI·기술/AI 개발·엔지니어링 2025.11.10
이전
1
다음
더보기
프로필사진

Techspaces: 알아두면 좋은 경제 IT 이야기

경제와 IT를 쉽게 풀어 기록하는 블로그. 복잡한 용어 대신 누구나 이해할 수 있는 이야기를 전합니다.

  • 분류 전체보기 (33)
    • 투자 개념 (15)
      • 금융 기초 (3)
      • 주식 (7)
      • ETF (3)
      • 배당·수익형 투자 (2)
    • 시장 분석 (6)
      • 한국 시장 (3)
      • 미국 시장 (3)
    • 자산 관리 (7)
      • 월급 관리 (4)
      • 계좌 활용 (3)
      • 자산 배분 (0)
      • 소비 & 저축 습관 (0)
    • AI·기술 (5)
      • AI 뉴스·트렌드 (2)
      • AI 개발·엔지니어링 (3)
      • 툴·활용 (0)

Tag

월급관리, 나스닥, ISA, 한국거래소, 절세계좌, 생활비관리, 투자습관, 재테크기초, 주가지수, 복리투자, 중개형isa, 예산관리, ETF 투자, 저축습관, 주식기초, ETF투자, 어텐션, 투자전략, 코스피, 세금혜택, 시가총액, 투자기초, ETF, 자동이체, LLM, 금리, 배당투자, 트랜스포머, 장기투자, 현금흐름,

최근글과 인기글

  • 최근글
  • 인기글

최근댓글

공지사항

페이스북 트위터 플러그인

  • Facebook
  • Twitter

Archives

Calendar

«   2025/11   »
일 월 화 수 목 금 토
1
2 3 4 5 6 7 8
9 10 11 12 13 14 15
16 17 18 19 20 21 22
23 24 25 26 27 28 29
30

방문자수Total

  • Today :
  • Yesterday :

Copyright © AXZ Corp. All rights reserved.

티스토리툴바