Opensource

파이썬 없이 Zig 바이너리 하나로 LLM을 서빙한다: ashhart/TensorFold 1.2.7 해부 — 정확 디코딩 규칙·프롬프트 캐시 계층·커널 계약과 GPU 없는 박스 실측

Metal·CUDA·HIP 커널을 Zig 단일 프로세스에서 직접 구동하는 TensorFold 1.2.7의 저장소 구조, 정확 디코딩 규칙, 프롬프트 캐시·Recall 계층, 커널 계약 5게이트, 서버 플래그와 한계를 실무자 관점에서 해부하고, GPU 없는 박스에서 서명…

Opensource

가중치를 {-1,0,1}로 줄이면? BitNet(microsoft/BitNet)·bitnet.cpp의 1.58비트·I2_S/TL1/TL2 커널·CPU/GPU 추론 심층 해부

GitHub 별 40,715개의 microsoft/BitNet(MIT, C++)은 1비트·삼진(ternary) LLM을 위한 공식 추론 스택 bitnet.cpp다. BitNet b1.58의 {-1,0,1} 가중치, I2_S·TL1·TL2 CPU 커널, W2A8 GPU…

Opensource

FP8·FP4 MoE 커널을 한 저장소에: DeepGEMM 9월 릴리스 아키텍처·도입 심층 해부

GitHub Trending에 다시 오른 deepseek-ai/DeepGEMM을 실무 관점에서 해부한다. NT 레이아웃과 스케일링 팩터 규약, 그룹 GEMM 세 가지, 통신까지 겹치는 Mega MoE, DeepJIT 런타임 컴파일, 9월 30일 릴리스의 locality…