Etiqueta: llama.cpp

Un MoE de 40B a 120k de contexto en un portátil con 6 GB de VRAM

Cómo hice correr un modelo MoE de 40B (2.5B activos) con 120k de contexto en un portátil con una RTX 3050 de 6 GB, qué ajustes importaron y qué no funcionó.

• llm
• llama.cpp
• linux