-
激活函数之ReLU, GeLU, SwiGLU
😄 废话不多说，直入主题。- ReLU：之前的一些经典网络里的标配，如ResNet等。
- GeLU：huggingface实现的bert里的标配激活函数。
- SwiGLU：目前很多大模型里的标配激活函数，如Google的PaLM，Meta的LLaMA等。
[1] PaLM中使用的激活函数：SwiGLU
[2] GELU激活函数 -
相关阅读:
2022团体程序设计天梯赛L1
influxdb导出数据
ping命令的多种玩法，以前竟然只用它来测试网速！
新零售项目及离线数仓核心面试，，220807，，
VBA筛选排除多个值
npm最新淘宝镜像站已经更新registry（2024-04-19）
无代码平台多项选择入门教程
【OSTEP】分页: 较小的表 | 分页和分段 | 时空折中 | 多级页表 | 反向页表
常用的三角函数公式
火山引擎DataLeap的数据血缘用例与设计概述
- 原文地址：https://blog.csdn.net/weixin_43646592/article/details/132999211