李公堤的由来是李勃为民建造的一座堤，人们为了感怀李勃，将其命名为李公堤。据传李公堤原名甘棠堤，九江人习惯称之为“小坝”，始建于唐长庆元年间。是年春，洛阳人李渤受命任九江地方行政长官江州刺史。

他主政江州后，见本地天灾频繁，百姓生活困苦不堪，便向朝廷上疏，奏免农户累年所欠税赋，遂获准。后又建造景星书院，发展教育事业，做了不少惠及百姓的好事。