mimic图是模拟电路图
模拟系统图
模拟现场
模拟线路图
【数学】作图传统的Mimic过程,一般使用一个已经训练好的大模型,固定该模型的weights不变,设计一个小模型,学习大模型的soft targets 或者logits的输出
大模型学习到有效的信息可以传递给小模型,使得小模型也可以有较为不错的性能表现,其Loss函数如下:其中W为小模型的weights,g(xW) 为小模型的输出,z为学习的大模型的输出。。
原创 | 2022-12-16 20:38:06 |浏览:1.6万
mimic图是模拟电路图
模拟系统图
模拟现场
模拟线路图
【数学】作图传统的Mimic过程,一般使用一个已经训练好的大模型,固定该模型的weights不变,设计一个小模型,学习大模型的soft targets 或者logits的输出
大模型学习到有效的信息可以传递给小模型,使得小模型也可以有较为不错的性能表现,其Loss函数如下:其中W为小模型的weights,g(xW) 为小模型的输出,z为学习的大模型的输出。。
Copyright 2005-2020 www.kxting.com 版权所有 | 湘ICP备2023022655号
声明: 本站所有内容均只可用于学习参考,信息与图片素材来源于互联网,如内容侵权与违规,请与本站联系,将在三个工作日内处理,联系邮箱:47085,1089@qq.com