跳转至

笔记

AI Post Traning: On-Policy Distillation, OPD

导言

  • 在当前的大语言模型（LLM）对齐和后训练（Post-training）领域在线蒸馏（On-PolicyDistillation）正取代传统的离线蒸馏（Off-Policy Distillation/SFT），成为训练高性能小模型（SLM）或垂直领域模型的核心技术。
  • 且 OPD相对于 传统 RL有独特优势
  • 分类于 Programming
  • 需要 4 分钟阅读时间

宛如泥潭的大型项目开发困境

导言

当时我选择一线的原因是决定能最解决客户，每个工作能产生最大的价值。

通过一段时间的开发，我感觉在一线开发就像在泥潭里前进：走得越快越远，泥潭陷得越深，前进阻力越大。

困境为何而来，如何解决困境，是我想讨论的重点。

  • 分类于 software
  • 需要 2 分钟阅读时间

Continuous Integration, CI

导言

在交付PTA需求的时候，发现需求在测试人员的更大的测试规模下出现了问题：

在增多了不同的测试样例，和不同的测试设备(910A,910B,310P)时；程序是否可执行，性能是否达标，精度是不是正常；都有待监控。

说明在开发过程中，我构建个人的每日测试框架，持续监控开发的测试和性能。

集成 windmill-labs / windmill。

AI Model Visualization

导言

作为一个AI初学者，总是遇到以下场景：

  1. 客户正在基于NV开发一个AI模型，需要同步的做昇腾适配。手上只有NV下的代码。
  2. 往往很难将论文里的AI模型的图，和代码里的每一层以及参数对应起来。

设计期望：

  1. 在模型开发的过程中，能简单插入，来明确当前模块的大致信息。
  2. 名称，类型(卷积层，池化层)，输入/输出/参数, 执行的时间(第一次)。
  3. 可视化
  4. 格式兼容cpprinter。
  5. 能体现出TP，CP等并行策略的效果。

大致思路：

  • 还是借助chrome://tracing格式，来设计类似PyPrinter的工具。
  • 早期可以使用VizTracer代替。
  • 分类于 Programming
  • 需要 1 分钟阅读时间

Naming

导言

变量和函数的命名一直是程序员最头疼的事，好的命名应该简洁且自注释，同时还要注意冲突、和相似命名的歧义。

本文将从以下几个方面展开：

  1. 驼峰型 、下划线型
  2. 命名示例
  • 分类于 software
  • 需要 1 分钟阅读时间

Aarch64 CPU Benchmarks for Performance Degrade

导言

测试人员之前有台高性能的测试机器，未知原因坏了之后，他们修好之后，发现性能损失。推测是鲲鹏920的性能损失，为此需要：

  1. 通过benchmark证明性能损失。
  2. 定位并说明性能损失原因：1. 软件硬件？ 2. 硬件老化还是流片差异？
  3. 确定性能损失原因，并给出解决方案。
  • 分类于 Tutorials
  • 需要 1 分钟阅读时间

Disk Space Cleanup

导言

  • 在开发的过程中，服务器基本没有用户隔离，一个root走天下。
  • 磁盘空间也总是告罄，删除时也难以判断文件所属，和是否有保留的必要。