这份算力整机与配件选购指南写给准备自建训练或推理机器的团队负责人与个人开发者：你已经决定买机器，但不确定显存、卡数、CPU 通道数、内存和存储按什么标准配。读完你能拿到一张三档预算配置对照表、一段三年 TCO 计算示例和一份 12 项下单验收 checklist，10 秒内判断自己属于哪一档、哪些配件不能省。
本文要点
- 三档一句话结论：5 万级只够单卡推理，15 万级能上 2 卡做 14B 级微调，50 万级才谈得上 4–8 卡的多卡训练或高并发推理，完整对照表见「三档预算配置对照表」一节（以下为编辑判断）。
- 最容易被忽略的两个瓶颈是 CPU 提供的 PCIe 通道总数与整机供电上限——卡插满了但通道不够，卡间通信和主机喂数据都会排队。
- 自建还是租只看三条边界：利用率长期饱和、数据不能出本地、已有可用的机位与供电；短期验证与突发峰值优先租。
- 二手件只建议买 GPU 和内存条，主板、电源、硬盘、散热器不碰；二手卡必须过序列号核对、显存校验与不少于 30 分钟的压力测试。
- 下单前必查清单在「下单前 12 项验收 checklist」一节，可直接打印勾选。
先定需求再定配件：跑什么模型、跑多久、放哪里
结论：配件清单是需求的函数，先写清「模型规模 + 推理还是训练 + 机器放哪里」，再谈买什么。
三类典型场景的配件差异很大。7B–14B 推理以单卡 24GB 级显存起步，重点在并发与吞吐，CPU、内存、网络都不必堆；70B 级微调必须多卡切分权重，显存总量、卡间互联与主机内存同时吃紧；多卡小集群（6–8 卡起）里网络、供电、机位变成主要约束，配件选错往往不是跑不动，而是放不下、供不上电。
自建与租用的分界线只有三条：利用率是否长期饱和、数据能否出本地、是否已有可用的机位与供电。公开的混合部署实践里，选择「本地优先、云上兜底」的动因集中在延迟敏感、数据本地化与合规、成本以及已有 GPU 投资利旧，而不是单纯的单价高低。短期验证、峰值突发、只跑几周的实验，先租更省心——租赁侧的 GPU 服务器已支持按小时与按月计费，并按预配置、定制、GPU VPS 分层，算力包也常区分「长期生产」与「短期测试」两档。算力供给方的计费口径也在往细处走，行业讨论的关键指标正从 GPU 数量、机柜数转向每分每秒产出多少 Token、每百万 Token 成本，这反过来提醒自建者：机器闲置就是净损耗。
放置位置决定硬约束。放办公室要看噪音、单相供电、承重和散热；放 IDC 托管则要看 U 高、双路供电与空调条件。托管服务商通常按服务器类型分层给出定制与预配置方案，有的还提供在线配置器，让你先拼出整机再报价，这恰好可以当自建前的配置草稿。把这三行需求先写成一页纸，后面所有配件判断都只是它的推论。
整机、品牌工作站还是自己攒：三条路线怎么选
结论：没有运维人手、也不打算折腾兼容性，就别自组；自组的前提是「你有人、能接受一次点亮前的反复调试」。
三条路线的差别不在硬件本身，而在交付与责任边界。下表是同一需求下的取舍对照。
自组的隐藏成本比想象的集中：插满卡后每张卡可能只跑到 x8 甚至 x4；机箱风道与卡间距不足会导致降频；电源 12V 供电与冗余要提前算；最麻烦的是驱动与内核、容器运行时、K8s 版本的组合兼容——不匹配时最常见的表现是卡识别不到或训练进程随机挂掉，这类问题有专门的排查口径可参考 自定义 NVIDIA GPU 驱动版本的兼容性说明。
什么人别自组：没有第二台机器做对照、没有能 7×24 接电话的人、期望装机后三年不再动手——这三条占一条，就优先整机。品牌整机多花的钱，本质是买「出问题时谁负责」。
GPU 怎么选：显存、卡数、互联与二手卡的取舍
结论：先定显存，再定卡数，最后才谈互联方式；顺序反了，就会买到插得满、跑不动的机器。
显存的第一性问题是「权重 + KV cache + 激活 + 框架开销」装不装得下。下面的映射表用于定档位，不是性能承诺：上下文越长、并发越高、精度越高，实际占用都会显著上浮。
互联方式常被排到最后，却决定多卡效率。单机 4 卡以上时，卡间通信走 NVLink 还是 PCIe 直接决定张量并行是否可跑；而主板与 CPU 平台给出的通道总数，又决定每张卡能拿到多宽的链路。这就是「4 卡机被 CPU 拖住」的技术根因。
二手卡只建议买 GPU 和内存条（编辑判断）。可买的理由是成本，必须验的动作是：序列号与来源核对、逐卡显存校验、不少于 30 分钟压力测试、ECC 错误计数、功耗与温度曲线。风险集中在三件事——无原厂保修、驱动代际淘汰后无法跟上新框架、退役或矿卡的高负载历史不可知。折价节奏随新代际发布而变，不要按「保值率」做预算，把残值按三年摊进 TCO 更稳（编辑判断，文中不给具体折价数字）。
CPU、内存、存储与网络：别让配件拖住 GPU
结论：CPU 核数与 PCIe 通道、内存容量、数据盘带宽这三项里任何一项掉队，GPU 都会空转。
CPU 先看通道、再看核数。「4 卡机被拖住」通常不是核不够，而是通道不够：插满卡后每张卡只跑到 x8/x4，卡间通信与从主机内存喂数据都要排队。如果训练还要在 CPU 上做解码、增强和批处理，核数不足会让 dataloader 先撞墙。
内存按每张 GPU 配 64–128GB 是常见做法（编辑判断），显存越大、并发越高越应往上取。明显吃内存的场景有四类：大 batch、多进程 dataloader、数据集常驻缓存、容器与监控组件叠加。购买时注意插满通道、不混插降频，并预留后期加条空间。
存储的选择标准是「谁在等谁」。系统盘用小容量高耐久 NVMe，数据盘优先 NVMe——数据集由大量小文件组成、随机读多的时候，SATA 盘的加载延迟会直接变成 GPU 等待时间。容量按「数据集大小 ×（1 + 缓存与中间产物系数）」留余量，别按「装得下」买。
网络在单机自建阶段可以先不投入：板载或万兆够用，只有当你要做多机并行、或频繁从远端存储拉数据时才考虑 25/100G 甚至 IB/RoCE。判断瓶颈在哪一环，最实用的方法是看 GPU 利用率的长期曲线：若利用率忽高忽低、显存却没吃满，瓶颈通常在数据加载或 CPU。这套观测口径在 跨 Kubernetes 集群实时查看 GPU 使用情况 与 GPU 利用率与瓶颈的监控最佳实践 里有可直接复用的方法。排序逻辑只有一句：瓶颈在哪一环就先补哪一环，不要平均加钱。
三档预算配置对照表：入门推理 / 中小训练 / 多卡集群
结论：三档的差别不在「快多少」，而在能不能插满卡、供得上电、放得下机器。
下表把模型规模、卡数、CPU/内存、存储网络与托管方式放在同一行对齐，可直接当成采购需求单使用。表中预算区间与配置口径均为编辑判断。
预算区间为编辑判断（截至 2026 年上半年），不含任何具体报价，硬件价格随行就市，下单前必须重新询价。钱优先花在哪的排序是：显存与卡数 > 数据盘与内存 > 网络 > 外观与静音。
两个调整示例。预算 15 万但只做推理：砍卡数，把预算压到单卡更大显存 + 高主频 CPU，不必为训练才需要的卡间互联付费。预算 50 万但只跑微调：先上 4 卡 + 大内存 + NVMe 阵列，把 100G/IB 网络留到第二期。
三年 TCO 计算示例（编辑判断）。公式为：三年 TCO ≈ 硬件采购价 + 三年电费 + 三年机位或托管费 + 停机损失。假设条件需要你自己代入：整机峰值功耗（kW）、每日有效满载小时、当地电价、托管月付价格、以及每年 1–2 次、每次 4–8 小时的故障停机口径。方法上的结论是：当日均利用率长期低于三成时，电费与机位费的三年累计会快速追平硬件差价——先算 TCO，再谈单价。
下单前 12 项验收 checklist
结论：验收不是签字，是逐项做动作；任何一项现场无法验证，就先不付尾款。
以下 12 项为编辑判断，可按顺序勾选，并记录每项的结果与见证人。
- 序列号与卡号一致性：整机 SN、GPU UUID 与发票/合同逐一对应，不一致不签收。
- 保修主体与起保日期：确认原厂保还是渠道保，二手件必须有书面约定。
- GPU 数量与型号：逐张列出并核对，型号或数量不符直接拒收。
- PCIe 链路宽度与速率：查每张卡实际协商的链路宽度与代数，确认是否为全宽。
- 显存容量与错误计数：逐卡核对显存容量并校验，存在 ECC 报错记录要追责。
- GPU 压力测试：连续不少于 30 分钟，观察频率、温度、功耗是否稳定，掉频即异常。
- 驱动与 CUDA 版本可复现：记录版本号并写入交付文档，确认后再上业务镜像。
- 内存容量、频率与通道数：确认通道插满、无混插降频。
- 数据盘实测读写：顺序与随机各测一遍，明显低于标称口径要现场复测。
- 电源功率余量：整机峰值功耗与电源额定功率对比，留足余量，禁止满载即跳闸。
- 噪音与温度实测：在 1 米处实测噪音，办公环境放置前必须知道量级。
- 机位与供电条件核对：U 高、双路供电、承重、空调与走线，托管前与机房确认。
常见问题
结论：下面五个问题覆盖了自建决策里最容易返工的地方，答案都指向同一条原则——先定需求，再花钱。
自建算力整机真的比租算力便宜吗？
没有普适答案。只有当利用率长期饱和、数据不能出本地、且已有供电与机位时，自建才可能更划算；短期实验与突发峰值，按小时或按月分层的租赁方案更贴合。不要用「自建一定更便宜」做决策。
一张 4090 能不能跑 70B 模型？
单张 24GB 级显存装不下 70B 级权重，只能靠多卡切分或量化加内存/磁盘卸载，速度会明显下降。把 70B 当目标，就从 4 卡起规划整机（编辑判断），而不是先买单卡再想办法。
CPU 核数够不够，怎么判断？
先看平台给的 PCIe 通道能不能让每张卡跑满全宽，再看核数能否喂饱数据管线。跑真实负载时盯两件事：GPU 利用率是否长期偏低、CPU 是否已跑满。若 GPU 在等数据，先补通道/平台或核数，而不是加卡。
内存要 128G 还是 256G？
按每卡 64–128GB 的比例取（编辑判断）：单卡推理 128GB 通常够；2 卡以上微调、或数据集要常驻缓存，直接 256GB 起步，避免后期为加内存而换整机。
二手 GPU 值不值得买？
预算紧、能接受无保修与后续升级受限时可以买，但必须过序列号核对、显存校验、不少于 30 分钟压力测试与错误计数检查；主板、电源、硬盘、散热器不买二手。不要按保值率做预算。
小结与下一步
结论：按「需求清单 → 三档对照表 → 12 项验收」三步走，比反复比价更快定下来。
- 第一步，用一页纸写清模型规模、推理还是训练、并发与时长、放哪里，这一页决定后面所有参数。
- 第二步，对照三档配置表锁定档位，再按「瓶颈在哪补哪」的顺序调整配件，钱优先给显存、内存和数据盘。
- 第三步，把 12 项验收 checklist 打印出来带到现场或远程逐项验证，任何一项不通过先不付尾款。
- 第四步，决定托管还是自持机房：托管前先确认 U 高、双路供电与承重，这部分内容可以继续看所属栏目 算力服务器买卖。
- 整机配置、配件选购、托管上架与二手保值这条链路的其余环节，都收在 整机与配件选购 栏目里，配置定稿后建议顺着栏目把链路走完。