Twiddle算法

The Twiddle Algorithm

Posted by Zhihao on 2021-01-09

The First Title Picture

1.简单说明

Twiddle算法可以为一个计算误差的算法A去找到一个好的参数P。比如在PID调参中,一次调整一个参数,最终生成最优参数集,实现最优参数的搜索。

相较于梯度下降之类的算法的话,最大的优点就应该是简单了吧,不用去计算高维函数的梯度。

Talk is cheap, show me the code!

2.代码说明

下面写一段伪Python代码来说明一下,在这里的话以PID为例。

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
# 我们为PID算法选取初始化参数构成参数向量p,顺序依次为拍P->I->D
# 因为这也符合PID整定的一般规则,先比例,后积分,再微分。
p = [0, 0, 0]
# 在这里我们定义初始的变化量
dp = [1, 1, 1]
# 这里的A(p)是计算误差的算法
best_err = A(p)

# 我们将误差的阈值设置为0.1,
threshold = 0.1

#如果dp的变化量和比我们设置的阈值大的话,执行循环操作
while sum(dp) > threshold:
for i in range(len(p)):
p[i] += dp[i]
err = A(p)

if err < best_err: # 误差比目前最好的误差更小则更新最好误差值
best_err = err
dp[i] *= 1.1
else: # 不然的话我们就将目前的参数朝另一个方向进行计算(这里减去2倍是因为刚才加了1次)
p[i] -= 2 * dp[i]
err = A(p)

if err < best_err: # 误差变优的话则更新
best_err = err
dp[i] *= 1.05
else: # 不然的话就说明目前的变化值设计的太大,既不能There was no improvement
p[i] += dp[i] # 这一步是为了让p[i]返回到这次循环前的值,即不加不减
dp[i] *= 0.95 # 减小变化值继续反复更新参数

       


...

...

00:00
00:00