Trouvaillle log.
Categories
ai
2
backend
9
blockchain
2
career
1
data-engineering
3
database
5
frontend
1
life
3
software-engineering
1
study/ai-engineering
8
study/kuar
3
tip
15
App
Counter
Apr 1, 2022
Random Number Generator
Jun 17, 2022
Spider!
Jun 26, 2022
Cashwalk Answer
Aug 11, 2022
Sketch Pad
Aug 15, 2022
Tetris
Oct 28, 2022
Clock
Oct 3, 2023
Minesweeper
Sep 23, 2024
Supaplex
Oct 18, 2024
Trouvaillle log.
❮
Categories
ai
2
backend
9
blockchain
2
career
1
data-engineering
3
database
5
frontend
1
life
3
software-engineering
1
study/ai-engineering
8
study/kuar
3
tip
15
ai ·
2
Positional Encoding
ai · Aug 14, 2024 · 0 min
Positional Encoding 중 Attention is all you need에 사용된 sinusoid 함수는 특별하다. 핵심은 모든 position에서 같은 positional encoding을 보이는 패턴은 없다는 것이다. 위 함수는 아래처럼 엑셀에서 시각화해볼 수 있다. 경향성을 보기위해 상수 10000은 300으로 대체했다. 각...
LLM cheatsheet
ai · Aug 8, 2024 · 0 min
Reference chat-ui: https://github.com/huggingface/chat-ui