Mac Studio M3 Ultra 实测:omlx 上跑 DeepSeek V4 Flash 与 Qwen3.8 Flash 的真实数据
256GB 统一内存的 M3 Ultra 上常驻一个 omlx 推理服务,两个模型的 TTFT、解码速度、长上下文预填充、并发与内存占用,全部是实测数字。
本地推理Mac StudioMLX性能实测2026-09-29· 7 分钟
响应速度是怎么抠出来的:ASR → LLM → TTS 全链路拆解
用户觉得"反应快",其实取决于唤醒、断句、识别、生成、合成、播放六段里最慢的一段。
语音链路延迟优化2026-09-28· 5 分钟
端侧还是云端:语音数据隐私与部署方式的取舍
纯云端、端云协同、纯端侧三条路,在延迟、成本、隐私、能力四个维度上各有代价。
架构隐私2026-09-28· 5 分钟
让语音助手"有记忆、能干活":会话记忆与工具调用的工程实践
纯对话模型记不住、算不准、干不了活。三层结构:短期上下文、长期记忆、工具调用,缺一份都不好用。
Agent工具调用记忆2026-09-28· 6 分钟
一句话控制设备:语音与 IoT 联动的链路设计与可靠性
"我说了它没动"是语音联动最常见的问题。指令下发只是开始,状态回传和断线重连才决定体验。
IoTMQTT联动2026-09-28· 5 分钟