dropsong's

本文旨在厘清一些概念上的细节，尽管更高抽象层次上的工作内容无此要求，但当我们深入到仿真代码中试图 debug 或者研究 rdma 的其他内容时，这是必要的。 什么是“流”在 RDMA 中，什么是“流”？这个概念为何提出？有没有对应的物理实体，还是仅仅是方便理解的抽象概念？在普通的 TCP/IP 网络中，有没有类似的“流”的概念？ 在 RDMA 中，什么是“流” (Flow)在 RDMA（特别是目前数据中心主流的 RoCEv2）语境下，“流”通常指的是一对 Queue Pair (QP) 之间的通信连接。 更具体地说，一个 RDMA 流由以下特征定义： 五元组 (5-tuple)：由于 RoCEv2 封装在 UDP/IP 之上，网络设备（交换机）看到的“流”是由 Source IP, Dest IP, Protocol (UDP), Src Port, Dst Port 决定的。 注意：在 RoCEv2 中，Dst Port 通常固定为 4791 (RoCEv2)，而 Src Port 通常由硬件根据流的特征（如 QP Number）计算哈希值生成，专门用于让交换机做 ECMP（等价多 ...

paper: ACC: automatic ECN tuning for high-speed datacenter networks Introduction & Background核心问题在高速数据中心网络（25Gbps ~ 100Gbps+）中，RDMA 被广泛使用以降低延迟。目前的拥塞控制机制（如 DCQCN）依赖于交换机上的 ECN（显式拥塞通知）标记。 现状： 现有的方案通常使用静态的 ECN 阈值（$K_{min}, K_{max}, P_{max}$）。 挑战： 流量动态性： 流量模式随时间剧烈变化（例如：白天是延迟敏感的 OLTP，晚上是吞吐量敏感的 OLAP），静态设置无法同时满足低延迟和高吞吐的需求 。 手动调优困难： 这种微调通常需要数周时间，且网络中存在异构设备（不同厂商的网卡和交换机），使得统一配置变得不可能 。 目标： 实现“零配置（Zero-configuration）”，即通过机器学习自动在交换机运行时动态调整 ECN 阈值。 现有方法的局限性 (Observations)论文通过实验指出了静态设置的三大缺陷： 不同流量模式需要不同 ...

存在 AIGC，但是它们都经过验证。 并行任务处理关于此内容的 C++ 方式，可翻阅本博客的其他文章。 如何监控和管理子进程在 Python 中，subprocess 模块是执行外部命令和管理子进程的标准库。 启动进程: subprocess.run(): 这是一个高级函数，它会启动一个命令，等待它完成，然后返回一个包含其退出码、标准输出和标准错误的 CompletedProcess 对象。这是一个阻塞操作，在子进程结束前，你的 Python 脚本会一直等待。 subprocess.Popen(): 这是一个更底层的接口，它会立即启动一个命令而不会等待它完成。它返回一个 Popen 对象，你可以用这个对象来与进程交互，比如等待它 (.wait())、检查它的状态 (.poll())、或者读取它的输出流。这是实现并行处理的基础。 监控进程是否结束: process.wait(): 这是一个阻塞方法。调用它会暂停你的脚本，直到这个特定的子进程结束。 process.poll(): 这是一个非阻塞方法。调用它会立即返回进程的状态：如果进程仍在运行，返回 None；如果进程已经结束， ...

这不是一个完整的笔记，而是作为一个 attached link 附在 Zotero 上以做补充。 使用的教材：https://github.com/MathFoundationRL/Book-Mathematical-Foundation-of-Reinforcement-Learning/tree/main Bellman equation关于式 2.7 的一些解释。 数学这两个式子相等，是因为它们本质上是对同一组项进行求和，只是交换了求和的顺序。 在数学中，对于有限项的（或者绝对收敛的）双重求和，求和的顺序是可以任意交换的，这基于加法的交换律和结合律。 1. 第一个式子： \sum_{s' \in S} v_\pi(s') \sum_{a \in A} p(s'|s, a)\pi(a|s) 我们看内部的和 $\sum_{a \in A} \dots$ 。$v_\pi(s’)$ 位于这个和的外部。 由于 $v_\pi(s’)$ 不依赖于求和变量 $a$，我们可以将其移到内部求和的里面（把它当作一个系数）：\sum_{s' \in S} \left( \sum_{a \in A} v_ ...

前置知识请见 人工智能导论 。 初识 TensorFlow官网： https://www.tensorflow.org TensorFlow 大框架： Estimator 属于 High level 的 API，而 Mid-level API 分别是： Layers：用来构建网络结构 Datasets：用来构建数据读取 pipeline Metrics：用来评估网络性能 Tensorflow1.0 主要特性： XLA —— Accelerate Linear Algebra 提升训练速度 58 倍 可以在移动设备运行 引入更高级别的 API —— tf.layers / tf.metrics / tf.losses / tf.keras Tensorflow 调试器 支持 docker 镜像，引入 tensorflow serving 服务 Tensorflow2.0 主要特性： 使用 tf.keras 和 eager mode 进行更加简单的模型构建 鲁棒的跨平台模型部署 强大的研究实验 清除不推荐使用的 API 和减少重复来简化 API 使用 Tensorflow ...

使用 win11 + debian 双系统有挺久了，稍微记一下使用经验。 挂载 win 下的盘 debian13 testing 不必额外安装驱动，输入密码即可挂载 win 下的盘。以下教程是针对 debian12 的。 debian 可以自动识别 win 下的盘，但是是只读模式。这会造成一些麻烦，例如我们想将数据都放到 win 的 D 盘下面，这样就可以只给 debian 分配较小的空间，因此必须能对 win 下的磁盘进行读写，以支持在 debian 下的工作。 若 Windows 没有完全正常关机，而是进入了休眠或者启用了快速启动功能，会导致 Windows 的 NTFS 文件系统处于“不干净”的状态。为此，在 Windows 系统中进行操作： 控制面板 -> 电源选项 -> 更改高级电源设置 在“电源按钮和盖子”下面，将“按下电源按钮时”设置为“关机” 取消勾选“启用快速启动(推荐)” Apply 关机，启动 debian. 查看 Windows D 盘在 debian 系统中的设备名称： 1sudo fdisk -l 安装 NTFS-3G 驱动： 12sudo ...

献祭五一劳工节的假期，权且作为对本科时代摆烂过度的补偿。 理论部分 目录对弧长的曲线积分 2对坐标的曲线积分 7格林公式及其应用 14对面积的曲面积分 27对坐标的曲面积分 31高斯公式 通量与散度 40斯托克斯公式 环流量与旋度 48 少量练习例 1计算 $\int_{L} x^2 \mathrm{d}s$ ，其中 L 是由 $x^2+y^2+z^2 = a^2 (a>0)$ 与 $x+y+z=0$ 所表示的圆的一周。 解法 1 先找曲线 L 的一个参数方程。由 $x^2+y^2+z^2=a^2$ 与 $x+y+z=0$，消去 $z$，得 x^2 + xy + y^2 = \frac{a^2}{2}或 \frac{3x^2}{4} + (y+ \frac{x}{2})^2 = \frac{a^2}{2}令 $\begin{cases} x= \sqrt{\frac{2}{3}} a \mathrm{cos}t \\ y+\frac{x}{2} = \frac{1}{\sqrt{2}}a \mathrm{sin}t \end{case ...

一些基础内容参见 人工智能导论 。 绪论一些机器学习的框架： 可以在 github 上搜索它们。 框架 机构 支持语言 Stars Forks Contributors TensorFlow Google Python/C++/Go/… 41628 19339 568 Caffe BVLC C++/Python 14956 9282 221 Keras fchollet Python 10727 3575 322 CNTK Microsoft C++ 9063 2144 100 MXNet DMLC Python/C++/R/… 7393 2745 241 Torch7 Facebook Lua 6111 1784 113 Theano U. Montreal Python 5352 1868 271 Deeplearning4J DeepLearning4J Java/Scala 5053 1927 101 Leaf AutumnAI Rust 4562 216 14 Lasagne Lasagne Python 2749 761 ...

前置知识历史资料一些以前的资料，扫描备份（然后本体就可以扔了，芜湖～）。 目录整除 1最大公约数和最小公倍数 5素数及唯一分解定理 11同余 15母函数 19递推数列 22 逆元若 $ax \equiv 1 \pmod{b}$ ，则 $x$ 为 $a$ $\mathrm{mod}$ $b$ 的逆元，记为 $a^{-1}$ . 逆元概念的理解： 逆元约等于模 b 意义下的倒数，这个概念和离散数学中的差不多。 在一些算法竞赛中，由于各种缘故，并不是很想处理浮点数，而是用整数替代。遇到两数相除的情况，就不会算出小数，而是通过“逆元”的概念，得到一个整数。 欧几里得算法这个算法用来求两个数的最大公约数，它基于以下定理： \mathrm{gcd}(a,b) = \mathrm{gcd}(b, a \ \mathrm{mod} \ b)这个定理可以通过几何直观理解。 由此写出代码： 12345int gcd(int a, int b){ return b ? gcd(b, a % b) : a;}// 或者使用函数 __gcd ...

一篇随手记，记录开发过程中遇到的问题。 项目介绍项目地址：https://github.com/dropsong/tiny-shop对应的前端代码：https://github.com/dropsong/tiny-shop-front 通过 Vue + Django REST framework 实现一个电商平台。 此教学项目的完成方式：前端、资源图片等已经准备好了，我负责后端的开发。 权限和认证采用 Authentication 用户认证设置，动态设置 Permission、Authentication，Validators 实现字段验证。 序列化和表单验证使用 Serializer、ModelSerializer，动态设置 Serializer. 实现了支付、登录、注册功能。 Json Web Token 方式登录，单点登录 手机注册 / 支付宝支付 第三方账户微博登录 View 实现 REST API ApiView / GenericView 方式实现 API 接口 ViewSet 和 Router 方式实现 API 接口和 URL 配置 Django_filter、Se ...