已知的最早的鼠鲨出现于大约四亿年前，比恐龙还要早两亿多年，它在当时是一种极为常见的肉食动物。据化石记录显示，鼠鲨曾根多种，目前所知仍然幸存的鲨鱼大约有一千种。

迄今最早的鼠鲨与其现代的同类在外形上存在巨大的差异。它们看上去更像是鳗鱼，而不象标准的鱼类。大部分早期鲨鱼的嘴呈圆形，不是我们想象中的和现代鲨鱼一样的尖嘴它们的大脑较小，且牙齿平滑，与现代鲨鱼中常见的那种锋利的或呈锯齿状的牙齿不同。它们的鳍没有现代鲨鱼那样灵活，柔韧性不足，古代的鲨鱼似乎没有它们现代的同类那样敏捷。