关于四眼楼有不少传说。据传英国前首相撒切尔夫人在这个四眼楼出生，当年她的父母曾在远东英舰队服役，到过威海卫，不过传说归传说，没有一定的可信度，只不过给这座房子增添了一笔浓厚的历史色彩。

在威海人流传着一个四眼楼是鬼屋的传说，当年四眼楼被装修成酒店后，楼里经常半夜发出怪异的声音，仿佛有人在跳舞，仿佛又是枪火连天的声音。华泉酒店也倒闭了，说是谐音花圈，不吉利。