这个词的意思是千、万：言其多。指成千上万的兵马。形容兵马很多或声势浩大。这个成语出自唐•李延寿《南史•陈庆之传》。陈庆之，义兴国山（今江苏宜兴）人，是南朝时梁高祖萧衍帐下的一员猛将。他身高八尺，虎背熊腰，一脸连鬓胡子，样子很威武。
陈庆之南征北战，出生入死，为梁朝基业立下了卓越的功勋。这年，陈庆之据守边关，北魏聚集三十万兵马将陈庆之团团围住，情况十分危急。而当时陈庆之手下只有七千人马，大家都非常惶恐，他却十分镇定，每日照常起居，与将士们商讨军情，即使亲临前线视察敌情时，也谈笑风生，毫无惧色。
将士们以为主将必有退敌之策，渐渐地也就不再怯敌了。北魏主帅见自己兵临城下，梁军却稳如泰山，不禁疑惑起来，一时竟不敢轻举妄动。陈庆之趁两军相持之机，暗自查清了敌军兵力部署，同时加强己方演练，并反复研究，制定了一套行之有效的破敌计划。
一切准备妥当后，陈庆之于夜里集合了全营将士，命令大家立刻做饭、喂马，凌晨实施突围。为了便于夜战，他要全军一律身穿白袍，于凌晨之际奋勇杀出。北魏军队毫无准备，溃不成军，被梁军杀开一条血路，突围出去了。
紧接着，梁军按照既定战略，啾准敌军兵力不足的城池，急攻而下，消灭了万余敌军，缴获了大量的马匹、布帛和粮草。就这样，陈庆之所率部队以运动战方式，时东时西，忽南忽北，一连攻占了几座城池，逼迫敌军不得不退兵议和。
当时北魏百姓，看到陈庆之部将一律身着白袍，在疆场上驰来奔去，所向披靡，就编写了一段民谣颂扬他。其中有这样两句：名师大将莫自牢，千军万马避白袍。后来就演化出“千军万马”这个成语。
