古代乘方运算起源很早，但指数概念的形成却很晚，希腊数学家阿基米德曾估计填满宇宙需要的沙粒不超过10^63粒，而希腊数学家阿波罗尼也引进大数的表示法，我们可以说，在此时已有指数记号的形式和概念了。
西元三世纪左右，狄番多也发展出指数的倒数概念。到了十四世纪，欧洲的数学家奥雷姆在指数方面的研究已有有理指数和实数指数的概念，他并引用指数律中的加法律和乘法律来处理几何和物理的问题。十五、十六世纪之际，德国数学家史迪飞与法国数学家柴凯特引进负整数指数的概念。
此外，英国数学家哈立尔特也将一个数的正整数乘幂表达出来了，如：5个x自乘表成x · x · x · x · x。而荷兰数学家史提与吉拉尔(更进一步研究了分数指数，且对整数指数律做了相当系统性的讨论。
至於现代数学中，指数符号是由法国数学家笛卡儿在1637年的著作《几何学》中创立了x^3 ， x^4等，但他以xx表示x的二次方。1655年，英国的沃利斯提出负指数的概念和符号，牛顿再将正整数指数推广到有理数指数。19世纪末，无理数概念逐渐明确後，实数的理论才完全建立，无理数指数再透过有理数数列无限逼近来定义，就这样把指数的概念推广到实数。
