[태그:] safetensors

70B를 4GB GPU에서? AirLLM(lyogavin/airllm)의 레이어 스트리밍·전문가 단위 로딩·스트리밍 LoRA 심층 해부

GitHub Trending 전체 일간 7위·Jupyter Notebook 1위에 오른 lyogavin/airllm(Apache-2.0, v4.0.0)을 실무 관점에서 해부한다. transformers 모델을 meta 장치에 만들고 훅으로 한 층씩 디스크에서 흘려 넣는…