热门标签
更多>
搜索结果
查询Tags标签: gelu,共有 2条记录-
python 手动实现gelu,sigmod
import matplotlib.pyplot as plt import numpy as npdef sigmod(x):return 1.0/(1+np.exp(-x))def gelu(x):# gelu 为高斯误差线性单元,gelu(x) = xΦ(x),Φ(x) 正态分布的累积分布函数Φ(x)没有解析表达式,它的值可以通过数值积分、泰勒级数、或者渐近序列近似得到。#…
2021/12/14 17:16:48 人评论 次浏览 -
python 手动实现gelu,sigmod
import matplotlib.pyplot as plt import numpy as npdef sigmod(x):return 1.0/(1+np.exp(-x))def gelu(x):# gelu 为高斯误差线性单元,gelu(x) = xΦ(x),Φ(x) 正态分布的累积分布函数Φ(x)没有解析表达式,它的值可以通过数值积分、泰勒级数、或者渐近序列近似得到。#…
2021/12/14 17:16:48 人评论 次浏览