汉光武整顿内政是从两方面着手：一方面节省朝廷的开支，一方面减轻老百姓的负担。打了这么多年仗，各地人口减少。他就下了一道诏书，要按着实在的情形合并一些县，裁减一些官员。这么一来，人口不多的县合并了四百多个，十个官吏裁去了九个，只留下一个，公家的开支就大大地减少了。就在那一年年底，汉光武又下了一道诏书，说前几年军费大，田租一直是按产量的十分之一征收的，现在粮食凑合着有些积蓄了，从今年起恢复原来的制度，仍旧征收三十分之一，这么一来，大大减轻了老百姓的负担，汉光武的皇帝座位也就稳当了。
汉光武一面整顿内政，一面尽力搜罗人才。他打发使者到各地访问名士，邀请他们到朝廷里来做官。可有的名士有名士的怪脾气，他们愣不来。汉光武也有他的怪脾气，人家越不肯来，他越要人家来。
太原有个名士叫周党，禁不住使者的催促，只好坐着车马来了。他穿着旧衣服，戴着破头巾，到了朝堂上，气呼呼地往地下一趴，怎么也不肯磕头，更别说叫一声“皇上”了。汉光武请他做宫，周党才不希罕做官呐。他说：“我是个乡下老百姓，不懂朝政，放我回去吧！”大臣们见他这么傲慢，都很不服气。汉光武扭不过他，只好说：“从古以来，就是多么贤明的君王，也有人不肯做他的宾客。周党不肯做官，各人有各人的心意，送他四十匹帛，让他回去种田吧！”周党总算还来了一趟。还有的假装害病，干脆不来；有的隐姓埋名，逃到小村里去了。这些人中间，最出名的要数严光了。严光也叫严子陵，是会稽人，跟汉光武同过学，两个人挺要好。汉光武当了皇帝，就老想着他。可人家早就更姓改名隐居起来了，谁知道上哪儿去找呐？汉光武就把严子陵的长相详详细细说了一遍，吩咐画工画一张像。画工按照汉光武说的，画了个大概，汉光武拿来一看，还真是个严子陵，就叫画工照样又画了几张，派人把这些画像分送到各郡县，叫官吏和老百姓寻找严子陵。隔了不多日子，齐国上书给汉光武，说那边有个男子披着羊皮，老在河岸上钓鱼，相貌有几分象，可不知道是不是他。汉光武马上派使者准备了上等的车马，到齐国去接他。
使者见了严子陵，奉上礼物，请他上车。严子陵推辞说：“你们看错了人啦。我是打鱼的，不是做官的。礼物拿回去，让我安安静静地过日子吧。”使者哪儿肯听，死气白赖地把他推上了车，飞一般地送到京都来了。汉光武特意准备了一所房子，派了好些手下人去伺候他，还亲自去看他。严子陵听说他来了，脸朝里躺在床上，只装不知道。汉光武走过去，摸摸他的肚子说：“喂，子陵，你怎么啦，不愿意帮帮我吗？”严子陵翻过身来，盯了他一眼，说：“各人有各人的心意，你逼我干么？”汉光武叹了一口气，说：“子陵，我真不能收服你吗？”严子陵听了，更不理睬他。
汉光武再三请他搬到宫里去，对他说：“朋友总还是朋友吧。”严子陵这才答应他到宫里去一趟。那天晚上，汉光武跟他睡在一起。严子陵故意打着呼噜，把大腿压在汉光武身上，汉光武就让他压着。第二天，汉光武问他：“我比从前怎么样？”严子陵回答说：“好象好一点。”汉光武乐得大笑起来，当时就要拜他为谏议大夫。严子陵怎么也不干。他说：“你让我走，咱们还是朋友，你逼着我，反倒伤了和气。”汉光武只好让他走了。
严子陵已经露了面，不必再更姓改名了。他就回到家乡富春山〔也叫严陵山，在浙江省〕，种种地，钓钓鱼，过着悠闲的生活。富春山旁边就是富春江〔这条江上游叫新安江，中游叫富春江，下游就是钱塘江〕，江上有个台，据说就是当年严子陵钓鱼的地方，所以称为严子陵钓台。严子陵不愿意做官，他的清高的名望越来越大；汉光武能够这么低声下气地对待严子陵，他的谦恭下士的名望也越来越大。这一来，两个人的地位都抬高了。汉光武收服不了名士，可对那些有战功的将军们，倒很有一些办法。