这一庄子，虽名谢鲁山庄，但主人并不叫谢鲁，而是吕，又称吕芋农，因先祖出了名人，又称吕谢鲁，他为了纪念先祖，将该庄命名为谢鲁山庄，现在该庄所在的村庄都改为谢鲁村。

建山庄的主人吕芋农，是清朝贡生，国经曾担任过县丞、知州、道尹、广西陆军中区步兵第一司令(陆军少将)、国民革命军第八军副司令等职，堪称当时的风云人物。能够修筑这座庄园的原因，是因为他的贿赂，民国5年(1916年)，吕芋农重兵驻扎在玉林五属，广东龙观光率广东军假道广西进攻云南，给了吕芋农20万银元，他拿到大笔钱后，就在这里建造了这座庄园。