ai · 2

Aug 14, 2024 · 0 min

Positional Encoding
Positional Encoding 중 Attention is all you need에 사용된 sinusoid 함수는 특별하다. 핵심은 모든 position에서 같은 positional encoding을 보이는 패턴은 없다는 것이다. 위 함수는 아래처럼 엑셀에서 시각화해볼 수 있다. 경향성을 보기위해 상수 10000은 300으로 대체했다. 각...
Aug 8, 2024 · 0 min

LLM cheatsheet
Reference chat-ui: https://github.com/huggingface/chat-ui