热点主题

大模型

基础模型能力、训练范式、推理优化与评测。

5 条内容

77 平均重要性

OpenAI 内部备忘录显示，2026 下半年将把 70% 以上推理算力转向多步 Agent 任务，企业需求驱动算力合约重谈与自研推理芯片加速。

Ben Thompson：模型能力同质化、API 逼近边际成本后，竞争回到"分发"——默认入口、工作流嵌入与数据飞轮成为护城河，价值向应用层与渠道平台转移。

vLLM 0.9 为 Agent 工作负载优化批调度（会话级 KV 复用、状态保持、优先级抢占），典型 Agent 负载吞吐 +35%、尾延迟 -40%，呼应推理从对话转向 Agent。

桌面机械臂演示具身智能端到端流程（视觉→VLA→闭环控制），当前 VLA 泛化仍脆弱、受真机数据与 sim2real 鸿沟制约，但作者看好数据规模化带来的进步。

nanovllm 用约 300 行实现带 PagedAttention 与连续批处理的极简推理引擎，主打可读性，被类比为推理优化版的 nanoGPT。