祥子离开杨家的原因主要有：祥子在杨先生家拉包月，杨先生有两位太太，还有一群孩子，祥子每天接送完这个，又去伺候那个，同时还要干杂活。

更可恨的是，主人不把仆人当人看，食宿很差。祥子有一天在送走一位女客人后，因为杨太太的屋里最终辞去了这份工作。