# 硬件

共 2 篇文章 · 全部标签

Strata 实测:125B MoE 跑在 62 GB 内存的游戏本上(附调参前后对比)

给本地大模型玩家的实测记录。在一台 RTX 5090 Laptop(24G 显存)+ 62 GB 内存的机器上跑 125B 稀疏 MoE,记录五次改动前后的速度变化:专家包整块常驻内存带来 4.3 倍、引擎升级带来 39%、去掉常驻预算参数带来 13%、提示分块放大带来 15% 的 prefill 提升;并附一轮 10 个参数的单变量扫描,指出其中 5 个只是测量噪声。含三档量化的质量-速度取舍、256K 长上下文(实测 14.6 万 token 提示)与可直接抄用的最终参数。

香橙派设备选型指南:352 TOPS 昇腾算力卡,与跑 AI Agent 的省电小板

面向要在本地跑模型或搭 AI Agent 的人。本文把香橙派分成两条路线:一是昇腾算力卡(AI Studio Pro,2×310P、352TOPS、96/192GB,但带宽仅 408GB/s,属于“装得下、跑不快”);二是跑 AI Agent 的省电小板(Agent 本体不吃算力,门槛是内存 2–8GB;实测待机 1–2W,一年电费 7–58 元)。含两条路线的选型档位表、功耗与电费对照、NPU+云 API 混合玩法与踩坑。