原因是祥子拉车摔伤了曹先生。

“先生！”祥子低着头，声音很低，可是很有力，“先生另找人吧！这个月的工钱，你留着收拾车吧！车把断了，左边的灯碎了块玻璃别处倒都好好的呢。”

祥子觉得在杨家拉车受了委屈和侮辱，因为杨家人没教养，不把祥子当人看待。祥子觉得在曹家拉车有面子，因为曹家人有教养，和气。