对方这样说是无所谓，可以从两个方面来分析。

第一，你们可能是情侣，你做的事情让他伤心了，让他感到特别的心痛，特别的失望，对这段感情他准备放弃，所以他觉得对他而言都是无所谓的，因为他不想再继续了。

第二，他这个人可能性格比较随意，经常是不拘小节，他不计较，很包容，很多小事对他来说都是无所谓的。