Opensource

책 한 권을 한 번에 베껴 쓰는 OCR: baidu/Unlimited-OCR의 R-SWA 링 버퍼 KV 캐시·DeepEncoder 16배 압축·3B MoE 디코더 심층 해부와 박스 CPU 실측

baidu/Unlimited-OCR를 해부한다. DeepSeek-OCR 디코더의 모든 어텐션을 R-SWA로 바꿔 이미지는 전부, 출력은 최근 128토큰만 보게 했다. 박스 CPU에서 6.67GB 가중치를 직접 돌려 KV 캐시가 프리필+128에서 멈추는지, 8쪽 연속 전…

General

AI를 인터넷 없이 내 컴퓨터에서? 메타 ‘뮤즈 스파크 오픈’과 580만 원 ‘RTX 스파크’ 노트북으로 보는 로컬 AI를 초보도 쉽게

10월 16일, 메타가 816B 매개변수 공개 가중치 모델 ‘뮤즈 스파크 오픈’을 내놓으며 맥 스튜디오 2대로 돌릴 수 있다고 밝혔고, 엔비디아는 128GB 메모리의 ‘RTX 스파크’ 노트북 판매를 시작했어요(국내 579만 9,000원부터). 로컬 AI가 뭔지, MoE…

Opensource

70B를 4GB GPU에서? AirLLM(lyogavin/airllm)의 레이어 스트리밍·전문가 단위 로딩·스트리밍 LoRA 심층 해부

GitHub Trending 전체 일간 7위·Jupyter Notebook 1위에 오른 lyogavin/airllm(Apache-2.0, v4.0.0)을 실무 관점에서 해부한다. transformers 모델을 meta 장치에 만들고 훅으로 한 층씩 디스크에서 흘려 넣는…