-
激活函数之ReLU, GeLU, SwiGLU
😄 废话不多说，直入主题。- ReLU：之前的一些经典网络里的标配，如ResNet等。
- GeLU：huggingface实现的bert里的标配激活函数。
- SwiGLU：目前很多大模型里的标配激活函数，如Google的PaLM，Meta的LLaMA等。
[1] PaLM中使用的激活函数：SwiGLU
[2] GELU激活函数 -
相关阅读:
【笔记】Oracle不同数据库之间的表级别同步
linux的进程
leetCode 852. 山脉数组的峰顶索引
《MATLAB智能算法30个案例》：第1章 谢菲尔德大学的MATLAB遗传算法工具箱
宝塔面板操作日志是存放在哪里的? 如何删除部分日志记录？
SL3037内置MOS管 耐压60V降压恒压芯片 降12V或降24V 电路简单
css常见的选择器
ContentProvider 属性介绍
如何确保电子的版权？目前，保护方式有哪些？
webSocket连接数太多启动不起来怎么办？
- 原文地址：https://blog.csdn.net/weixin_43646592/article/details/132999211