mimic图是模拟电路图

模拟系统图

模拟现场

模拟线路图

【数学】作图传统的Mimic过程,一般使用一个已经训练好的大模型,固定该模型的weights不变,设计一个小模型,学习大模型的soft targets 或者logits的输出

大模型学习到有效的信息可以传递给小模型,使得小模型也可以有较为不错的性能表现,其Loss函数如下:其中W为小模型的weights,g(xW) 为小模型的输出,z为学习的大模型的输出。。