西汉汉武帝设司隶部，下辖河南郡、河内郡、河东郡、弘农郡、京兆尹、左冯翊、右扶风。西汉征和四年（公元前89年）改司隶部为司隶校尉部。

魏晋、北朝以京师周围地区为司隶校尉部。南朝在淮南地区设司隶校尉部，刘宋初置治悬瓠（今河南汝南），再置治平阳（今信阳）。后赵时期，在襄国（今邢台市）附近设司隶校尉部。