Программы для оффлайновой работы с большими языковыми моделями
Программы для оффлайновой работы с большими языковыми моделями
Степень завершённости урока: 50%
Для оффлайновой работы с большими языковыми моделями и обработки естественного языка можно использовать бесплатное программное обеспечение:
- Jan
https://github.com/janhq/jan
- LM Studio https://lmstudio.ai
По состоянию на 5 января 2025 года Jan позволяет скачать и установить для оффлайновой работы следующие модели:
- Llama 3.2 1B Instruct Q8
- Llama 3.2 3B Instruct Q8
- Qwen2.5 7B Instruct Q4
- Qwen2.5 Coder 7B Instruct Q4
- Llama 3.1 8B Instruct Q4
- Qwen2.5 Coder 14B Instruct Q4
- Qwen2.5 14B Instruct Q4
- Codestral 22B Q4
- Qwen2.5 Coder 32B Instruct Q4
- Deepseek Coder 1.3B Instruct Q8
- TinyLlama Chat 1.1B Q4
- LlamaCorn 1.1B Q8
- Gemma 1.1 2B Q4
- Gemma 2 2B Q4
- Phi-3 Mini Instruct Q4
- Stable Zephyr 3B Q8
- Llama 2 Chat 7B Q4
- CodeNinja 7B Q4
- LlaVa 7B
- Mistral 7B Instruct Q4
- Noromaid 7B Q4
- Openchat-3.5 7B Q4
- Stealth 7B Q4
- Trinity-v1.2 7B Q4
- Vistral 7B Q4
- Qwen 2 7B Instruct Q4
- Qwen Chat 7B Q4
- Llama 3 8B Instruct Q4
- Hermes Pro Llama 3 8B Q4
- Aya 23 8B Q4
- Gemma 1.1 7B Q4
- BakLlava 1
- Gemma 2 9B Q4
- LlaVa 13B Q4
- Wizard Coder Python 13B Q4
- Phi-3 Medium Instruct Q4
- Gemma 2 27B Q4
- Qwen2.5 32B Instruct Q4
- Deepseek Coder 33B Instruct Q4
- Phind 34B Q4
- Yi 34B Q4
- Command-R v01 34B Q4
- Aya 23 35B Q4
- Mixtral 8x7B Instruct Q4
- Llama 3.1 70B Instruct Q4
- Llama 2 Chat 70B Q4
- Qwen2.5 72B Instruct Q4
По состоянию на 5 января 2025 года LM Studio позволяет скачать и установить для оффлайновой работы следующие модели:
- Granite 3.1 8B
- Hermes 3 Llama 3.2 3B (https://model.lmstudio.ai/download/NousResearch/Hermes-3-Llama-3.2-3B-GGUF)
- Llama 3.3 70B Instruct
- Qwen2.5 Coder 14B
- Qwen2.5 Coder 32B
- Qwen2.5 Coder 3B
- Llama 3.2 1B
- Llama 3.2 3B
- Qwen2.5 Coder 7B
- Qwen2.5 14B
- Yi Coder 9B
- Hermes 3 Llama 3.1 8B
- InternLM 2.5 20B
- LLaVA v1.5
- Meta Llama 3.1 8B
- Mistral Nemo 2407
- Gemma 2 2B
- Mathstral 7B
- Gemma 2 9B
- SmolLM 360M v0.2
- Gemma 2 27B
- Codestral 22B
- Phi 3.1 Mini 128k
- DeepSeek Coder V2 Lite
- Qwen2 Math 1.5B
- Qwen 2 0.5B
- Aya 23 8B
- Mistral 7B v0.3
- StableCode
- Command-R
- StarCoder2 7B
- DeepSeek Math 7B
Страница обновлена 23 марта 2025 года.