海军是个古老的兵种，中国和地中海东部地域是世界海军的发祥地。它的历史可以追溯到公元前两千年以前，当时建造的兵船是桡桨船，以撞击战作为战斗的基本战法。

到17世纪中叶，帆船舰队逐渐取代了桨船舰队，英国、法国、西班牙和荷兰开始建立常备海军。

18世纪后半期，资本主义国家争夺殖民地的战争和北美殖民地的独立战争都加速了海军的发展。

20世纪初叶，一些大国海军开始建造潜艇和水上飞机，从此结束了水面舰艇是海军唯一兵种的时代，海军开始成为多兵种合成军种。