Zzong's Notes

Floating Data Types

1 min read

함께 보면 좋은 글

mixed precision

Mixed Precision mixed precision 은 모델 학습시 FP16, FP32 부동 소수점 유형을 상황에 따라 유연하게 사용하여 학습을 더 빠르게 실행하고 메모리를 적게 사용하는 방법이다.

Kernel Fusion

Kernel Fusion GPU 는 Kernel 단위로 연산이 이루어 지게 됩니다. 예를 들어 우리가 두개의 텐서를 서로 MatMul 후에 Add 하는 연산을 수행할 때, Matmul Kernel, Add Kernel 이렇게 두개의 커널을 실행하게 됩니다.

GPU Programming

CUDA같은 공부 하고싶으면 보는 사이트 WebGPU Puzzles .

Hash

Hash Hash 는 임의 길이의 입력을 고정된 크기의 값으로 매핑하는 함수 또는 그 결과값을 말한다. 자료구조에서는 key 를 빠르게 찾기 위해 hash function 을 사용하고, security 문맥에서는 password 저장이나 무결성 확인에 사용한다.

data type of C++

Data Type of C++ size t: 해당 시스템에서 어떤 객체나 값이 포함할 수 있는 최대 크기의 데이터를 표현하는 타입 즉, x86 은 32 비트, x64 는 64 비트 변수가 됨 반드시 unsigned 형 long (long int): a signed integer type with 32 bits...

Fully Sharded Data Parallel

Fully Sharded Data Parallel B) Error Handling UserWarning: FSDP is switching to use NO SHARD instead of ShardingStrategy.FULL SHARD since the world size is 1.

overloading

Overloading 함수의 이름은 같으나 함수의 매개변수 숫자, 타입등을 달리해서 다르게 사용하는것을 의미 B) Related C) References.

FP8 Quantization

한줄 요약 FP8 Quantization은 LLM의 weight, activation tensor, 때로는 KV cache를 8-bit floating point로 낮춰 inference 비용을 줄이는 방법이다.

lua

Lua lua 를 빠르게 배우는 방법 Learn Lua in Y Minutes 2. Vim From init.vim to init.lua - a crash course 3. Related 4. References.

CUDA

CUDA에서 Blocks와 Threads의 결합 Blocks와 Threads의 개념 CUDA에서 병렬 처리를 효율적으로 수행하기 위해서는 Blocks와 Threads를 적절히 결합하는 것이 중요합니다.