赢异人回到秦国的时间是在公元前257年，就是长平之战的第二年，秦国大军包围邯郸的时候，吕不韦跟他合谋，买通邯郸城的守将，偷偷跑出赵国，回到秦国的，但是他的儿子嬴政和老婆赵姬没有跑出来，被赵国扣下来了。

他们又被赵国扣留了好几年，后来才被赵国释放回到秦国。