少时的段祺瑞对读书不感兴趣，而醉心于舞枪弄棒，常将“我不喜欢读书，我要当兵”挂在嘴边。后来，这句话果然成真。1879年，段祺瑞的祖父去世。14岁的段祺瑞失去了生活中的靠山，由于他是长子，下面还有一妹两弟，生活甚为窘迫。1882年，他决心去威海投奔在军中做管带的族叔段从德，但车马川资全无所出，于是仅带了一元银洋，步行2000余里，跋涉到了威海。段从德安排他在营中做司书，段祺瑞从此开始了佩剑戎装的生涯。后来，他常对子女讲起这段艰难往事，不无得意地自称“一元钱起家”。
1885年，李鸿章在天津紫竹林创办了武备学堂，拟从淮军士官兵弁中选拔生员。段祺瑞没有放过这个机会，他一考而中，成为第一期预备生，进入炮兵科。天津武备学堂以“中学为体，西学为用”为立学理念，不仅有西式的兵法、地利、军器、炮法、算法、测绘等课程，也有传统的经史教育。段祺瑞全力以赴，学习极其刻苦，成为炮科一等一的好学生。
有一次，学堂购自德国的一门管退炮的瞄准器坏了，无人会修，最终是段祺瑞解决了这个难题，还画出了图纸，他因此受到了校方的重视。李鸿章对自己亲手创办的北洋武备学堂十分重视，经常去学堂视事。一天下午进行炮科实弹演练，但是天公不作美，下起了雨，海面上风力达到四级，海上活动靶随着浊浪时隐时现，演练难度增强了好几倍。要在平时，遇上这样的天气，演练就取消了，然而李鸿章已经在山顶上临时搭起的观操棚内就座。学员们惮于天气恶劣，嘀咕着要求改期。教习也感到没有把握，于是一位管带硬着头皮见李鸿章，请求演练改期。尽管风雨交加，李鸿章却兴致勃勃，他一手拿起望远镜，瞄准靶场，对管带说：“一点小雨，何足挂齿？赶紧开始吧！”演练只好按时开始。
果然不出所料，演练成绩十分糟糕。开始射击的几门炮有的连靶边都没挨到。李鸿章的脸色仿佛天色一样黯淡下来，官员们也忐忑不安。接下去的几炮还是不成，李鸿章蓦地扔掉望远镜，站了起来，官员们脸色大变。眼看着李大人要怒气冲冲地离开观操棚，忽然听到有人喊：“打中了！打中了！”随后喝彩声不断。随从赶紧把望远镜递给李鸿章，李鸿章顺着炮声望去，这名炮手果然不凡，三发三中。演练结束后，李鸿章传话要见这名炮手。不久，一个结结实实的青年走了上来。“你叫什么名字呀？”“学生段祺瑞。”“哪里人呀？”“学生是合肥人。”听到段祺瑞是自己的老乡，不仅是安徽人，而且还是合肥人，李鸿章更加注意了。后来又得知段祺瑞祖父段佩和族叔均为淮军将领，祖父又曾随李鸿章剿过捻军，李鸿章对这个旧部子弟愈发有好感了。1887年，段祺瑞以最优等的成绩毕业。李鸿章在给朝廷的奏折中赞扬段祺瑞：“各项操法，一律娴熟，试以炮台工程做法及测绘，无不洞悉要领……”
1889年，清政府拟选拔五个人去德国学习军事。当名单送至李鸿章手里时，李鸿章皱了皱眉，因为名单上五个人有三个是山东籍的，安徽籍的才两人。于是他想到了武备学堂毕业的段祺瑞，将大笔一挥，划去了名单上的一人，把段祺瑞列在名单之首。1889年春天，段祺瑞来到德国柏林陆军学院，学习军事理论和各种操练课程。一年后，他们又奉命到鲁尔区埃森克虏伯兵工厂，进行火炮实习。克虏伯家族各种威力巨大的先进火炮，让他们真正感受到“师夷长技”的魅力。1890年，清廷特使洪春代表皇帝前往德国埃森探望留学生。段祺瑞及其同学以娴熟的技术操演了各种口径的克虏伯大炮，获得弗里茨·克虏伯的赞赏。段祺瑞和他的同学完成了学业之后，李鸿章又特批这位小同乡一人留在德国克虏伯炮厂学习弹壳加工、炮管膛削、铣磨来福线、灌注优质钢、检验钢材拉力、挤压力试验、各类火炮的型制构造、使用和保养等课程。李鸿章先后两次写信给段祺瑞，勉励他精学苦造，对段给予了很高的期许。
“中国近代第一炮兵司令”
甲午战争，使李鸿章惨淡经营多年的北洋海军遭到了覆灭，淮军和湘军也一败涂地，清军的腐败无能暴露无遗。一时朝野上下要求改革军队的呼声一浪高过一浪。在内忧外患和各方面的压力下，清政府迫于形势，决定改革军事制度、建立新型陆军。1895年，袁世凯奉旨练兵于天津小站，广招贤良，选拔标准是“宿将及有根底之学生”，如段祺瑞与姜桂题、杨荣泰、龚元友、曹锟、张勋、段芝贵等，皆云集麾下。他们当中许多人日后都成为民国的风云人物，而当时最出类拔萃的，还数北洋三杰，即王士珍、段祺瑞、冯国璋，段被称作北洋之“虎”。
段祺瑞在小站任炮营统带，兼随营学堂总监，麾下虽只有不足两千名炮兵，不足一百门炮，却是中国第一支装备正规的炮兵部队，他也因此被称为“中国近代第一炮兵司令”。除了炮兵部队的常务工作外，他还从事了建章建制的重要工作，如《编练章程》、《战法操典》、《训练操法详晰图说》等，大多出自他的手笔。此外，段祺瑞治军十分严格。一次他的一个老乡有违军令，辗转托袁世凯向段祺瑞说情，他厉声驳回道：“此人是我同乡，我若放纵了他，今后将何以服众呢？”袁世凯由此对他更加爱重，似在王士珍和冯国璋之上。1901年11月，经袁世凯保奏，段祺瑞升为补用知府，并加三品衔，同时兼充武卫右军各学堂总办、炮兵统带(团长)。此后，段祺瑞步步紧跟袁世凯，帮他带兵、练兵，镇压农民起义，同革命党斗争，协助袁登上总统宝座。