
디스크를 메모리처럼 쓰는 MoE 추론: JustVugg/colibri v2.1.0의 전문가 스트리밍·학습형 캐시·GGUF 직접 실행 심층 해부와 OLMoE 캐시 슬롯 실측
11/03 GitHub Trending 전체 10위(+675★, 46,794★) JustVugg/colibri v2.1.0(Apache-2.0)을 심층 분석합니다. MoE의 dense 부분만 RAM에 두고 라우팅 전문가는 디스크에서 스트리밍하는 순수 C 엔진의 5단계…

11/03 GitHub Trending 전체 10위(+675★, 46,794★) JustVugg/colibri v2.1.0(Apache-2.0)을 심층 분석합니다. MoE의 dense 부분만 RAM에 두고 라우팅 전문가는 디스크에서 스트리밍하는 순수 C 엔진의 5단계…

FlashML-org/FreeToken v0.2.1(Apache-2.0, 15.4k★, 11/02 Trending 전체 16위)을 심층 분석합니다. 호스트 RAM 전문가 풀과 GPU 공유 LRU 캐시, q*=m·B_P/B_H 미스 분할, 전체 레이어 이중 버퍼 프리필,…

Mesh-LLM/mesh-llm(Apache-2.0, v0.78.1, 스타 약 3.7k)은 여러 컴퓨터의 GPU·메모리를 묶어 하나의 OpenAI 호환 /v1으로 서빙하는 Rust 분산 추론 시스템입니다. Mesh(발견·QUIC 전송·가십·라우팅)와 Skippy(패치된…

0xShug0/audio.cpp(Apache-2.0, v0.9.3, 스타 약 3.9k)는 TTS·클로닝·ASR·VAD·화자분리·음원분리·음악 생성까지 130여 오디오 모델 패밀리를 ggml 위 C++ 런타임 하나로 돌립니다. 레이어 구조와 저장소 구성, GGUF 내장…

magnitudedev/magnitude(Apache-2.0, 0.2.15, 스타 약 7.6k, Trending Rust 10위)는 모델을 받을 때 내 칩에서 최대 60초 동안 커널 구성을 측정해 고르는 Rust 추론 엔진입니다. ICN/ACN 구조, Seismic 후…

GitHub 별 40,715개의 microsoft/BitNet(MIT, C++)은 1비트·삼진(ternary) LLM을 위한 공식 추론 스택 bitnet.cpp다. BitNet b1.58의 {-1,0,1} 가중치, I2_S·TL1·TL2 CPU 커널, W2A8 GPU…

GitHub Trending에 오른 antirez/ds4(프로젝트명 DwarfStar)는 “아무 GGUF나 돌리는 범용 러너”가 아니다. DeepSeek V4/V4.1 Flash·PRO, GLM 5.2/5.3(Flash 포함), Qwen3.8 Flash Next처럼 고…