
디스크를 메모리처럼 쓰는 MoE 추론: JustVugg/colibri v2.1.0의 전문가 스트리밍·학습형 캐시·GGUF 직접 실행 심층 해부와 OLMoE 캐시 슬롯 실측
11/03 GitHub Trending 전체 10위(+675★, 46,794★) JustVugg/colibri v2.1.0(Apache-2.0)을 심층 분석합니다. MoE의 dense 부분만 RAM에 두고 라우팅 전문가는 디스크에서 스트리밍하는 순수 C 엔진의 5단계…

11/03 GitHub Trending 전체 10위(+675★, 46,794★) JustVugg/colibri v2.1.0(Apache-2.0)을 심층 분석합니다. MoE의 dense 부분만 RAM에 두고 라우팅 전문가는 디스크에서 스트리밍하는 순수 C 엔진의 5단계…

GitHub 별 40,715개의 microsoft/BitNet(MIT, C++)은 1비트·삼진(ternary) LLM을 위한 공식 추론 스택 bitnet.cpp다. BitNet b1.58의 {-1,0,1} 가중치, I2_S·TL1·TL2 CPU 커널, W2A8 GPU…

GitHub Trending 전체 일간 7위·Jupyter Notebook 1위에 오른 lyogavin/airllm(Apache-2.0, v4.0.0)을 실무 관점에서 해부한다. transformers 모델을 meta 장치에 만들고 훅으로 한 층씩 디스크에서 흘려 넣는…

GitHub Trending에 다시 오른 deepseek-ai/DeepGEMM을 실무 관점에서 해부한다. NT 레이아웃과 스케일링 팩터 규약, 그룹 GEMM 세 가지, 통신까지 겹치는 Mega MoE, DeepJIT 런타임 컴파일, 9월 30일 릴리스의 locality…