Opensource

가중치를 {-1,0,1}로 줄이면? BitNet(microsoft/BitNet)·bitnet.cpp의 1.58비트·I2_S/TL1/TL2 커널·CPU/GPU 추론 심층 해부

GitHub 별 40,715개의 microsoft/BitNet(MIT, C++)은 1비트·삼진(ternary) LLM을 위한 공식 추론 스택 bitnet.cpp다. BitNet b1.58의 {-1,0,1} 가중치, I2_S·TL1·TL2 CPU 커널, W2A8 GPU…

Opensource

70B를 4GB GPU에서? AirLLM(lyogavin/airllm)의 레이어 스트리밍·전문가 단위 로딩·스트리밍 LoRA 심층 해부

GitHub Trending 전체 일간 7위·Jupyter Notebook 1위에 오른 lyogavin/airllm(Apache-2.0, v4.0.0)을 실무 관점에서 해부한다. transformers 모델을 meta 장치에 만들고 훅으로 한 층씩 디스크에서 흘려 넣는…

Opensource

FP8·FP4 MoE 커널을 한 저장소에: DeepGEMM 9월 릴리스 아키텍처·도입 심층 해부

GitHub Trending에 다시 오른 deepseek-ai/DeepGEMM을 실무 관점에서 해부한다. NT 레이아웃과 스케일링 팩터 규약, 그룹 GEMM 세 가지, 통신까지 겹치는 Mega MoE, DeepJIT 런타임 컴파일, 9월 30일 릴리스의 locality…