ML/LLM 핵심 개념을 "왜?" 에 답할 수 있는 깊이로 정리하는 학습 저장소
ML 관련 내용을 수학적 원리 이해와 구현으로 깊이 있게 정리하고 것이 이 프로젝트의 목표입니다.
- 핵심 개념의 직관적 이해 + 수학적 유도
- NumPy/PyTorch Scratch 구현
- 예상 Q&A 포함
- LLM을 충분히 활용하여, 질의 응답 및 내용 정리 진행
| Topic | Status | Document |
|---|---|---|
| Transformer & Self-Attention |  |
Notebook |
| Fine-tuning (LoRA, QLoRA) |  |
- |
| RAG Architecture | |
- |
| Tokenizer (BPE, SentencePiece) | |
- |
| Decoding Strategies | |
08_mini_gpt |
| Topic | Status | Document |
|---|---|---|
| Gradient Descent & Optimizers | |
01_gradient_descent |
| Backpropagation | |
03_backpropagation |
| Activation Functions | |
02_activation_functions |
| Regularization (L1/L2/Dropout) | |
04_regularization |
| Batch/Layer Normalization | |
05_batch_norm |
| PCA | |
06_pca |
I_AM_ML_Engineer/
├── experiments/ # 실습 노트북 (직접 구현)
│ ├── basics/ # ML/DL 기초 (Optimizer, Backprop 등)
│ └── transformer/ # Transformer 구현 (Attention → GPT)
├── deep_learning/ # Transformer, CNN, RNN 등
├── classical_ml/ # 전통 ML 알고리즘
├── fundamentals/ # 수학적 기초
├── llm_trends/ # LLM 최신 트렌드
├── practical_tips/ # 실무 경험 및 팁
└── readings/ # 읽은 글 정리
직접 구현하며 배우는 학습 노트북입니다. 각 노트북은 Pre-Quiz → TODO 구현 → 테스트 → 시각화 → Post-Quiz → 정답 구조로 되어 있습니다.
| # | Topic | Key Concepts |
|---|---|---|
| 01 | Gradient Descent | Vanilla SGD, Momentum, RMSprop, Adam |
| 02 | Activation Functions | Sigmoid, ReLU, GELU, XOR 문제 |
| 03 | Backpropagation | Chain Rule, Computational Graph, MLP |
| 04 | Regularization | L1/L2, Dropout, Early Stopping |
| 05 | Batch Normalization | BatchNorm vs LayerNorm |
| 06 | PCA | 공분산, 고유값 분해, 차원 축소 |
| # | Topic | Key Concepts |
|---|---|---|
| 01 | Self-Attention | Scaled Dot-Product, √d_k 스케일링 |
| 02 | Multi-Head Attention | Head 분리/병합, Concat |
| 03 | Feed Forward | Position-wise FFN, GELU |
| 04 | Layer Normalization | Pre-LN vs Post-LN |
| 05 | Positional Encoding | Sinusoidal PE, 위치 정보 |
| 06 | Encoder Block | Residual Connection, 전체 조립 |
| 07 | Decoder Block | Causal Mask, GPT 스타일 |
| 08 | Mini GPT | 전체 모델, Text Generation |
최근 읽고 정리한 기술 글들입니다.
| 날짜 | 제목 | 출처 | 태그 |
|---|---|---|---|
| 2026-01-04 | JSON vs TOON 토큰효율 | 네이버클라우드 | #TOON #JSON #토큰효율 #LLM |
| 2025-12-31 | AI 테스트 에이전트 구축 | Medium | #TDD #AIAgent #ClaudeCode #SubAgent |
| 2025-12-30 | Context Engineering 핵심역량 | SK devocean | #ContextEngineering #LLM #ContextWindow |
| 2025-12-30 | OMS Claude AI 워크플로우 | 컬리 기술블로그 | #ClaudeAI #MSA #팀생산성 |
| 2025-12-29 | Visa Intelligent Commerce + AgentCore | AWS ML Blog | #AgenticAI #Bedrock #MCP #MultiAgent |
| 2025-12-27 | AI 진화: 계산기부터 LLM까지 | 네이버 CLOVA | #AI역사 #딥러닝 #옴니모달 |
| 2025-12-27 | Logistic Regression 통계 vs ML | Velog | #LogisticRegression #MLE #SGD |
| 2025-12-25 | Claude Code 스타일 스킬 시스템 | AWS Samples | #LLM #Agent #Skill-System |
| 2025-12-24 | Table Agent 테이블 데이터 처리 | 채널톡 | #RAG #Text-to-SQL #Agent |
| 2025-12-24 | ML 모델 벤치마크 필요성 | 채널톡 | #RAG #벤치마크 #하이브리드검색 |
| 2025-12-23 | 머신러닝 테스트 코드 구현 | velog | #MLOps #Testing #pytest |
| 2025-12-22 | Subagents Supervisor 패턴 | LangChain | #MultiAgent #Supervisor |
| 2025-12-19 | LLM 서빙 성능최적화 | 네이버 CLOVA | #LLM #KVCache #Goodput |
| 2025-12-19 | Speculative Decoding 적용기 | 네이버 CLOVA | #LLM #SpeculativeDecoding |
| 2025-12-19 | Tensor Parallelism 심층분석 | liyuan24 블로그 | #LLM #TensorParallel |
| 2025-12-18 | 토스 대규모 데이터 서빙 아키텍처 | 토스 기술블로그 | #DataEngineering #StarRocks |
| 2025-12-18 | MCP vs Claude Skills 비교 | 요즘IT | #MCP #ClaudeSkills |
| 2025-12-18 | LLM 버그 트리아지 자동화 | 채널톡 | #LLM #자동화 |
각 주제는 다음 구조로 정리됩니다:
- 한 줄 정의 - 간단히 설명 가능한 정의
- 직관적 이해 - 수식 없이 개념 설명
- 수학적 원리 - 핵심 수식 유도
- Scratch 구현 - NumPy/PyTorch 기반 구현
- Q&A - 예상 질문과 답변
학습 내용에 대한 피드백이나 토론은 언제든 환영합니다! Issues에 의견을 남겨주세요.
MIT License