孙髯翁早年由于对科场搜身极为愤慨，认为这种“以盗贼待士”的举措有辱斯文，遂发誓永不赴秋闱之试。

他中年丧妻，仅生一女，其女长大后适广西州弥勒。从此穷困潦倒，寄居于昆明圆通寺咒蛟台，过着以石洞为栖身之所，以卜筮为求生之道的清贫生活。

他曾在诗中写道：“白眼无今古，黄金有是非。”