真正想废刘氏的是宋仁宗。

宋仁宗是宋徽宗的爷爷的堂叔。

宋仁宗生母李氏，赵祯在亲政之前，从不知道自己的生母为李氏，因为他刚出生便被刘妃收养，不但名义上是刘氏之子，而且从小就与刘氏一起生活。

长大后才知晓自己身世，宋仁宗想给自己生母名分，却因为刘氏的阻拦，不能够做到，一边是自己生母的仇恨，一边是刘氏长年把持朝政，宋仁宗自然想废了刘氏。