最初是作为一个地理概念，主要指崤山或太行山以东的黄河流域广大地区。

春秋战国时期，崤山以东，就是山东，这是站在秦国的角度来看，例如，秦国称韩，楚，赵，魏，齐，燕六国，统称为山东六国。

东汉时期，太行山以东，就是山东。

金大定8年，置山东东路，山东西路，设山东东路统军司，山东才开始作为行政区的名称，明朝时期置山东行中书省，清朝时期设置山东省。