一人之下的张怀义不回龙虎山是因为他参加了甲申之乱，并且张怀义掌握了八奇技的炁体源流，为了不牵连自己的师门龙虎山，张怀义选择了不回山门。