在银行买的熊猫币是不能退回银行的。

因为人民银行公告发行的纪念币，都带有面额和国号，是属于国家法定货币，银行没有回购资质。如购买者有回购需要，可到中国金币总公司指定回购单位办理。中国金币总公司指定回购单位可在中国金币网上查询。