我的理解是:

话糙有理就是话糙理不糙的意思。可能说话糙有理一般人有点费解，不知什么意思。不过说到话糙理不糙的时候，大多国人都会明白所表达的意思。

话糙理不糙可以算个俗语吧。表示，某句话说的可能不是很优雅，完美，但所表达的有道理，包含哲理。

比如很多民谚用的字词很通俗，但其中的哲理很深刻。我们可以说这个话语，话糙理不糙。