跳到正文

#部署/工程

今日 0 条
10月3日周六
  1. ByteByteGo23

    SSH 工作原理详解

    SSH 通过 TCP 连接建立安全通道,双方交换版本并协商加密算法。客户端验证服务器公钥后,各自独立计算会话密钥且不通过网络传输。认证阶段客户端使用私钥签名请求,服务器利用 authorized_keys 中的公钥验证签名以完成身份确认。

10月2日周五
10月1日周四
9月30日周三
9月25日周五
9月24日周四
  1. GitHub Blog48

    GitHub Copilot 应用如何渲染包含 2,200 个文件的巨型 Pull Request

    GitHub Copilot 应用重构了 Pull Request 视图,以支持包含 2,200 个文件、超百万行变更及 400+ 评论的巨型 PR。该方案将文档高度拆分为确定性代码几何与动态块几何两个独立域,解决了因 Markdown 和异步资源导致的评论高度不可预测问题。通过延迟测量并锚定修正,确保了在极端负载下的滚动流畅性与性能。

9月23日周三
9月22日周二
  1. PyTorch68

    vLLM 推出硬件无关模型层以兼顾前沿性能与多硬件兼容

    vLLM 引入新的“硬件无关”(HW agnostic)模型层,旨在解决内部实现变更导致与 fullgraph torch.compile 不兼容的问题,从而支持非 NVIDIA 加速器、旧款 GPU 及多样化模型。

    推荐理由:vLLM 引入硬件无关层以平衡前沿性能优化与多硬件兼容性,在 H100 上实现接近原生实现的吞吐量。

  2. PyTorch78

    Shopify 如何利用 PyTorch 和 vLLM 构建持续学习循环

    Shopify 通过 PyTorch 和 vLLM 建立持续学习循环,将生产失败数据转化为模型权重更新,使 GraphQL Agent 在超越前沿模型质量的同时降低 96% 的服务成本。该流程包括定义质量评估标准、校准 LLM 裁判、利用自动研究优化基线、通过监督微调和 GRPO 强化学习更新参数,以及使用 Gist 压缩技术减少提示词长度以提升推理速度。

    推荐理由:原文详细拆解了从定义质量到模型微调及提示词压缩的完整闭环,为构建自进化AI系统提供了可复用的工程路径。

9月21日周一
  1. ByteByteGo35

    如何在廉价硬件上运行大模型:量化、卸载与蒸馏等技术解析

    在普通硬件运行大模型需通过量化、层级卸载、混合专家、知识蒸馏、剪枝及推测解码等技术降低内存占用与计算量。以8B参数模型为例,仅权重即需约16GB内存,且受限于RAM/VRAM容量及带宽瓶颈。这些方法旨在解决推理阶段的显存不足问题,使已训练模型能在资源受限设备上实现可用响应速度。

9月18日周五
  1. 阮一峰的网络日志26

    阮一峰科技爱好者周刊第413期:Shopify弃用React Native转原生开发

    Shopify宣布放弃React Native,改用Swift和Kotlin进行iOS与安卓的原生开发。作者指出AI作为自动翻译器使中间语言层失去价值,且React Native长期存在技术缺陷。此外,联合国投票决定废除墨卡托投影,建议采用面积比例不失真的平等地球投影法绘制世界地图。

9月17日周四
9月11日周五
9月9日周三
9月7日周一
  1. ByteByteGo43

    LLM 应用如何处理错误与故障

    LLM 应用因输出概率性、幻觉及格式错误,需区别于传统软件的特殊容错机制。文章详解重试、超时管理、熔断器及优雅降级等策略,以应对网络中断或模型返回无效 JSON 等技术故障。通过分类处理失败场景,确保系统在部分组件失效时仍能维持核心功能运行。

8月26日周三