清乾隆时期称羊毛胡同，民国析出小羊毛胡同后，改称大羊毛胡同，一直沿用至今。

大羊毛胡同，已经有600多岁了，不过只有6米宽。2004年扩宽到35米，等于从海关总署东侧新开辟了一条连接北京站东街与长安街的纽带，与北京站前街形成了交通环线。北京站东路修通后，大羊毛的地名仍然存在。