在训练智能体的时候，智能体的动作不确定性会随着训练进度逐渐下降，这种不确定性通常用熵（entropy）来衡量。本篇博客将会介绍一下高斯熵公式的概念和理解。



在信息论和统计物理中，高斯熵（Gaussian Entropy）指的是多元连续高斯分布（正态分布）的微分熵（Differential Entropy）。
高斯分布在给定的均值和协方差矩阵(**对角矩阵，元素是方差**)下，是最大化微分熵的分布，因此它在信息论、信号处理和机器学习中具有非常重要的地位。

其核心公式为：
$$
H ( X )=\cfrac{1} {2} \operatorname{l n} ( 2 \pi e \sigma^{2} )
$$

根据公式我们可以发现，熵（不确定性）的计算其实只和方差有关。在强化学习中，Actor网络中一个动作维度通常就会输出一个均值和一个方差。利用这个方差就可以计算这个动作的熵，熵越高，表示智能体的探索越强，熵越低，表示智能体训练趋于稳定，在当前状态下会输出稳定的动作。

公式很简单，但是有一个核心问题：***明明存在方差都可以直观的感受动作的不确定性，为什么还要用高斯熵公式再进行一次映射？***

简单理解就是，这个ln函数的非线性映射，是一种“翻译”将方差转化到信息的世界，用熵去衡量这种信息的不确定度。方差和熵在本质上是两个维度的概念。信息论之父香农在定义“信息量”和“熵”时，立下了一个铁律：**两个独立系统的总信息量（或总熵），应该等于它们各自信息量的“相加”。**

为了满足信息的相加，所以取ln函数，为了帮助理解，这里举一个具体的例子：
假设你组装了一个无人机，它有两个独立的物理量会发生随机波动：
- 位置的波动： 沿 X 轴水平晃动，方差为: $\sigma^{2} = 4$
- 高度的波动： 沿 Z 轴上下晃动，方差为:  $\sigma^{2} = 9$

计算这个无人机系统的总体不确定性：
因为两个轴相互独立，整个系统的**联合概率分布**，是把两个一维高斯分布相乘。此时，总体的不确定“体积”（也就是多元高斯的协方差矩阵行列式）变成了方差的相乘 $4 \times 9 = 36$.

此时对数 ln 的魔力就出现了。在数学上:
$$
\operatorname{l n} ( A \times B )=\operatorname{l n} ( A )+\operatorname{l n} ( B )
$$

通过对数映射，相乘的方差变成了相加的熵！

*除此之外，不同动作的单位是不一样的，比如：动作A的单位是m ，动作B的单位是degree，为了衡量所有动作的总的不确定性，转化成信息熵就可以直接相加了。*

强化学习中的高斯熵公式理解

对一个随机变量进行“变形（映射）”时，它的概率密度会随着空间的“拉伸”或“挤压”而发生改变，这一定理就是用来计算这个变化量的。




### 1. 直观比喻：拉伸面团与涂果酱

假设有一根 $10$ 厘米长的面条（代表动作的取值范围）。在面条上均匀地涂了 $10$ 克果酱。
这时候，果酱的**密度**是： $10\text{克} / 10\text{厘米} = 1\text{克/厘米}$。
（*这里的果酱总数 $10$ 克，就代表总概率为 $1$；果酱的密度，就是“概率密度”*）。

把这根面条的两端**拉伸**，让它变成了 $20$ 厘米长。

但是现在密度变成了： $10\text{克} / 20\text{厘米} = 0.5\text{克/厘米}$。

变量代换定理告诉我们：如果把一段空间放大了 $2$ 倍（导数为 $2$），那么这段空间上的“密度”就会除以 $2$。反之，如果把空间挤压了，密度就会飙升。

---

### 2. 数学表述

假设有一个随机变量 $X$（比如 AI 网络输出的原始高斯分布的动作 $u$），它的概率密度函数是 $P_X(x)$。
现在我们用一个函数 $y = f(x)$（比如 $\tanh$ 函数）把它变成了新的变量 $Y$（最终被限制在 $[-1, 1]$ 的动作 $a$）。

新变量 $Y$ 的概率密度 $P_Y(y)$ 不能直接等于 $P_X(x)$，必须乘以一个**修正系数**：

$$ P_Y(y) = P_X(x) \times \left| \frac{dx}{dy} \right| $$

这个 $\left| \frac{dx}{dy} \right|$ 就是修正系数。

- $\frac{dx}{dy}$ 代表空间拉伸或挤压的比例。
- 如果是多维变量（比如同时控制 2 个推进器），这个导数就变成了一个矩阵（雅可比矩阵，Jacobian Matrix），修正系数就变成了“雅可比矩阵行列式的绝对值”（Jacobian Determinant）。

### 3. 强化学习中的应用（结合 tanh）

在强化学习里，高斯分布输出的原始动作 $u$ 范围是 $(-\infty, \infty)$。
但环境要求的动作 $a$ 必须在 $[-1, 1]$ 之间。所以用 $a = \tanh(u)$。

**$\tanh$ 是一个形状像“S”的函数：**

- **在中间（$u$ 接近 $0$ 时）**：曲线是直的，没有拉伸和挤压。
- **在两端（$u$ 很大或很小时）**：它把无限长的 $(-\infty, \infty)$ **疯狂地挤压**进了 $[-1, 1]$ 的边缘。

既然无穷大的空间被挤压到了边界上，那么**边界上的概率密度会急剧飙升**！如果不做修正，计算机就会认为 AI 在边界上的动作概率大得离谱，导致训练直接崩溃。

---

### 4. 定理推导到代码

我们知道：
新动作 $a = \tanh(u)$。
它的导数（拉伸/挤压比例）是：$\frac{da}{du} = 1 - \tanh^2(u) = 1 - a^2$。

根据**变量代换定理**的对数形式（前面说过，计算都用对数防止溢出）：
$$ \log P(a) = \log P(u) + \log \left| \frac{du}{da} \right| $$

因为 $\frac{du}{da} = \frac{1}{\frac{da}{du}}$，根据对数的性质 $\log(\frac{1}{x}) = -\log(x)$，公式变成：
$$ \log P(a) = \log P(u) - \log \left| \frac{da}{du} \right| $$

把刚才的导数 $\frac{da}{du} = 1 - a^2$ 代进去：
$$ \log P(a) = \log P(u) - \log(1 - a^2) $$

仔细看代码里的 `_squash_log_det` 函数：

```python
# torch.log(1.0 - action.pow(2)) 就是数学上的 log(1 - a^2)
return torch.log(torch.clamp(1.0 - action.pow(2), min=_ACTION_SQUASH_EPS)).sum(dim=-1)
```

然后在 `sample` 方法里：

```python
# 这里的减法，完美对应了推导出来的公式
logprob = self.base.log_prob(pre_tanh).sum(dim=-1) - _squash_log_det(action)
```

### 总结

变量代换定理，就是**“空间变形时的概率密度守恒定律”**。
因为我们用 $\tanh$ 把无限的高斯空间“挤压”成了有限的 $[-1, 1]$，所以必须用这个定理算出**“挤压带来的密度变化修正项”**（也就是 `_squash_log_det`），减去这个修正项，我们才能得到真实的动作概率。

强化学习中的变量代换定理

本文主要记录多旋翼飞行器的笔记。




### 实验场地搭建：

5m x 7m x 2.2m 【长x宽x高】

1. 电机拉力测试平台（515元，用于测试螺旋桨拉力和计算无人机力效） 

【淘宝】7天无理由退货 https://e.tb.cn/h.7b0BVzqtVX0jNuF?tk=bEYFfr5mYYD HU293 「Mayatech MT10PRO+涵道航模桨电机拉力测试台10KG 拉力计电流功率」
点击链接直接打开 或者 淘宝搜索直接打开

1. 螺旋桨静平衡器 （137元，调平螺旋桨平衡，降低无人机飞行时的震动和抖动）

【淘宝】7天无理由退货 https://e.tb.cn/h.7bb7N6pjJD7t1bX?tk=kGCWfr5AdL1 CZ356 「航模多功能平衡仪、航模螺旋桨平衡仪、直升机主旋翼重心定位仪」
点击链接直接打开 或者 淘宝搜索直接打开

1. 航模遥控器（900 元）

【淘宝】7天无理由退货 https://e.tb.cn/h.7bbtAVMfRQqw6Lo?tk=Zks8frg7DQn HU287 「WFLY天地飞ET16S航模遥控器固定翼FPV穿越机兼容多协议黑羊高频头」
点击链接直接打开 或者 淘宝搜索直接打开

### SLAM经典算法

[**FAST_LIO**](https://github.com/hku-mars/FAST_LIO)

[**FAST-LIVO2**](https://github.com/hku-mars/FAST-LIVO2)

mid360 复现https://github.com/hku-mars/FAST-LIVO2/issues/119

## 问题：

1. 为什么多旋翼不适合推广到大型飞行器？

当桨叶变大，其**转动惯量（Inertia）** 会呈指数级增加。这意味着电机无法迅速改变桨叶的转速。

1. 如何理解飞行器的失速？
机翼因角度过大（迎角超限）而导致机翼失去了足够的升力，无法再支撑飞行器的重量。
## 电机知识

无刷电机不论是外转子结构还是内转子结构**旋转的都是磁铁**。所以任何一个电机都是由**定子**和**转子**共同构成的。

无刷电机的定子是**产生旋转磁场**的部分，能够支撑转子进行旋转，主要由[硅钢片](https://zhida.zhihu.com/search?content_id=104149598&content_type=Article&match_order=1&q=%E7%A1%85%E9%92%A2%E7%89%87&zhida_source=entity)、漆包线、轴承、支撑件构成；而转子则是黏贴**钕铁硼磁铁**，在定子旋转磁场的作用进行旋转的部件，主要由转轴、磁铁、支持件构成。除此之外，定子与转子组成的[磁极对数](https://zhida.zhihu.com/search?content_id=104149598&content_type=Article&match_order=1&q=%E7%A3%81%E6%9E%81%E5%AF%B9%E6%95%B0&zhida_source=entity)还影响着电机的转速与扭力。

简单的一句话总结：**磁极对数越多，电机转速越慢，扭力越大；磁极对数越少，电机转速越快，扭力越小。（这解释了为什么无人机电机的磁极对数比RC车的磁极对数多）**

在交流电机（如感应电机、永磁同步电机 PMSM、无刷直流电机 BLDC）中，转速的理论公式为：

$$

 n=\cfrac{6 0 \times f} {p} 

$$

$n$:表示同步转速（RPM）

$f$:表示电源频率（HZ）

$p$:磁极对数 （1p表示2个磁极）

结构原理图如下所示：




<img src="/static/img/e19abec440d7badbb2d298f1712428ac.image.webp" alt="image.png" width="50%">

![image.png](/static/img/e9df2d910ce74b41fde2a2cc0c264862.image.webp)

### 机架参数

轴距：两个对角螺旋桨的距离

布局： 除非特殊，一律选择 quad x布局

现在还有很多基于 X 型的改良布局，例如：

- **Stretch X (长X):** 缩短左右间距，拉长前后间距，为了高速直线竞速（减少扰流）。
- **True X (正X):** 正方形布局，手感最均衡，花飞首选。
- **Dead Cat (死猫型):** 前两个机臂角度张得更开，确保超广角镜头也拍不到桨叶（常见于 DJI Avata 或远航穿越机）。

### 空气动力学

计算叶尖雷诺系数：

$$
R e_{t i p}=\frac{V_{t i p} \cdot C_{t i p}} {\nu}
$$

$V_{tip}$:表示叶尖线速度，单位($m/s$), 螺旋桨最外边缘划过空气的速度

$C_{tip}$: 表示叶尖弦长，单位($m$) 

$v$ :表示空气运动粘度，单位($m^2/s$), 这是一个常数，取决于气温和海拔。**标准海平面（15°C）下，$\nu\approx1 . 4 6 \times1 0^{-5} m^{2} / s$**


![image.png](/static/img/ee1152b7da65cddcdbad730fcbaee3cd.image.webp)

### 螺旋桨

📝：*1英寸 = 2.54 厘米*

**命名规则**： e.g 5045[x] 桨，前两个数字表示直径：5英寸，后两个数字表示螺距：4.5英寸, x表示叶数。 **有R（如 5045R）：** 代表顺时针旋转（CW），通常叫“反桨”。【*无人机必须买一对正桨、一对反桨才能飞，所以通常是成套卖的*】

**螺距**：螺旋桨每转一圈，就会向前进一个距离，就称为螺距或桨距。

低螺距看起来比较平，切风时的阻力小，响应快，低速扭矩快，极速低。e.g 5030

高螺距看起来比较斜，转速提升慢，需要较大电流。 e.g 5050

**弦长**：螺旋桨叶片的“**宽度**”

**桨叶数**：数量越多，推力越大，效率越低。反之推力越小，效率越高。

**转动惯量**：计算公式（$I = mr^2$）,$m$ 表示质量，$r$表示距离旋转中心的距离。 转动惯量越大，越难旋转和停止。

### 无人机力效

通俗地说，力效就是：**你每消耗 1瓦特（Watt）的电，能买来多少克（gram）的拉力？**

数值越高，说明越省电，核心计算公式如下：

$$
力效 = \frac{拉力(g)}{电压(V) \times 电流(A)}
$$

⚠️：力效这个数字不是固定的，它会随着**油门大小**、**螺旋桨尺寸**而剧烈变化。**低油门区的力效更高**

### 动力控制系统


![image.png](/static/img/19734951c238cf97857ee346133f5383.image.webp)
### 电源线

硅胶线：多股缠绕，可以通过很大的电流，同时又保证线材比较柔软；二是线皮用硅橡胶，非常柔
软，不过同时也很容易破损


![image.png](/static/img/1ecf89f8d3ce2995e3979821a30fca8c.image.webp)
注：AWG越小，能通过的电流越大，参考如下：


![image.png](/static/img/015ee21b46221cd4000fda30bc5f4bcd.image.webp)

### 插头

1. T形头

一般使用T型头。一般电源上为母头，而电调上的为公头，适合较小电流的情况


![image.png](/static/img/db10503415f3470f502080f54b54de4d.image.webp)

2.XT60

可以通过**60A**以上的电流。其内部是两个香蕉头，适合较大电流的情况


![image.png](/static/img/184fb68e8167379087384d3ad3cad9ee.image.webp)

3.AS150

额定电流为70A，瞬时电流为150A，最高可承受500V直流，具备防打火设计



![image.png](/static/img/42593671698252ec14ac5536318097e1.image.webp)
### 图传解码算法比较

| 编码算法 | 压缩效率 | 典型总延迟 | **4K（3840×2160）所需带宽** | **1080p（1920×1080）所需带宽** | 备注 |
| --- | --- | --- | --- | --- | --- |
| **H.264 (AVC)** | 基准 | **80–150 ms** | **20–40 Mbps** | **6–12 Mbps** | 最低延迟，兼容广，图传常用 |
| **H.265 (HEVC)** | 比 H.264 节省 30–50% | **120–200 ms**（略高） | **12–25 Mbps** | **3–8 Mbps** | 高压缩率，但复杂度更高 |
| **专用低延迟编码（如 DJI 优化算法）** | 接近 H.265 | **30–80 ms（行业最佳）** | **10–20 Mbps** | **4–8 Mbps** | 深度优化延迟与抗干扰 |

### 系统通信协议

1. **遥控器与接收器**
- PPM(**Pulse Position Modulation**) :模拟信号，但通过一根线传输所有通道数据。比PWM简洁，但精度和抗干扰能力一般。
- **SBUS (Serial Bus):** 由Futaba开发，基于串口的**数字协议**。它使用反向电平，一根线可传输16-18个通道，延迟低，是目前最常用的协议之一。
- **CRSF (Crossfire):** 由TBS (Team BlackSheep) 开发的高速、双向数字协议。它是目前远航和穿越机的主流协议（如**ExpressLRS**也主要使用CRSF协议与飞控通信），具有极低的延迟和带宽，支持OTA固件升级和参数调整。

1. **飞控与电调**
- **Standard PWM:** 传统的模拟信号（1ms-2ms脉宽），刷新率低（50Hz-400Hz），响应慢。
- **DShot (150/300/600/1200):** 目前的**绝对主流**。这是一种**数字协议**。 抗干扰能力强，无需校准行程，支持反乌龟模式（电机反转），且可以通过电调回传转速信息。数字越大代表传输速度越快（如DShot600）。

1. **控与板载传感器/外设通信（内部总线）**
- **I2C (Inter-Integrated Circuit):** 通用串行总线。常用于连接磁力计（罗盘）、气压计以及部分旧型号的陀螺仪。优点是只用两根线（SDA, SCL）挂载多个设备，缺点是速度相对较慢，抗干扰差。
- **SPI (Serial Peripheral Interface):** 高速同步串行接口。目前高性能飞控主要使用SPI连接**陀螺仪**（如MPU6000, BMI270）和SD卡槽。SPI拥有比I2C高得多的带宽，能满足8KHz甚至32KHz的PID循环频率需求。
- **UART (Universal Asynchronous Receiver/Transmitter):** 也就是串口。这是飞控上最通用的接口，用于连接GPS、数传电台、接收机、激光雷达等。

1. **飞控与地面站通信**
- **MAVLink (Micro Air Vehicle Link):** 开源无人机领域（ArduPilot, PX4）的**行业标准**。它是一种极其强大、轻量级的消息传输协议，用于飞控与地面站（如Mission Planner, QGroundControl）以及机载电脑（如树莓派、Jetson）之间的双向通信。
- **MSP (MultiWii Serial Protocol):** 主要用于Betaflight/Cleanflight/iNav固件。用于飞控参数配置、OSD设置。相比MAVLink更轻量，但功能偏向于穿越机和竞速调整。

飞行器笔记资料

基于水动力学的多智能体拖轮的协同框架

本文将简单介绍如何使用uv管理项目。uv作为最近兴起的python环境工具，其具备的优势有：
1. 集成了python版本和项目创建管理
2. 轻量化和简洁的运行脚本，自动激活venv的环境
3. 精准管理依赖，可以清楚不必要的依赖





### 安装

macos 和 linux 执行以下命令
```
curl -LsSf https://astral.sh/uv/install.sh | sh
```

### 创建项目

创建项目文件夹，在项目文件夹下执行代码：

```
uv init
```
这会创建main.py ,pyproject.toml ,README.md 还有 .gitignore文件，直接初始化为一个git 项目。
pyproject.toml 文件存放项目元信息（描述和版本）和 相关依赖。

### 添加依赖
比如我要开发一个mcp服务器：

```
uv add mcp
```
这会将依赖的信息写入pyproject.toml 中，同时自动在项目目录下创建一个.venv文件，将相关的包写入.venv中。同时会生成一个uv.lock文件。这个文件存放了根据pyproject.toml 依赖具体下载的各种依赖版本，而不是一个>0.xx版本的描述，这个文件可以让**交付的时候保证开发环境完全一致**。

当其他人下载或克隆了项目之后直接执行：

```
uv sync --frozen
```
会按 uv.lock 把环境装到一致。同时自己开发的过程如果移除过一些包，执行这个命令可以清理项目无关的依赖。 如果是自己在开发下直接使用uv sync，这个非严格模式会更新锁。

移除依赖的命令如下：

```
uv remove requests
```
### 执行代码
假如现在我们配置好相关依赖，就可以执行代码，因为依赖安装在.venv中，按照传统的方式可能需要激活环境，但是uv简化了这个过程，直接执行：

```
uv run main.py
```
除此之外，有时候需要执行某个脚本工具，但是不想污染系统python环境和项目的.venv的环境，就使用uvx命令，其可以创建一个临时的虚拟环境：

```
uvx ruff check .
```

### python版本管理
有时候某些代码需要指定python版本，可以通过以下命令安装指定版本的python:

```
uv python install 3.12
```
安装后在项目根目录下执行：

```
uv python pin 3.12
```

### 讨论
如果不涉及到gpu,cuda等需要大量二进制预编译的环境，使用uv其实已经满足大部分需求了，比起conda的环境管理要更加方便。

uv教程

Welcome to my tech blog! Here, I document my coding journey and explore various technologies, focusing on practical solutions and streamlined techniques. From programming insights to tool recommendations, I share hands-on experiences that help sharpen your skills. Let’s learn and grow together!