历史上的纪晓岚远没有电视剧上演的那般洒脱自如，当时他不但得了个“娼优大学士”的外号，其本人很多事也经常被人引为笑谈。
乾隆时期，北京达官贵人们都嗜好淡巴菰(烟草)，乾隆当时尤其如此，烟瘾很大，一天都离不开。后来乾隆突然无故咳嗽，太医诊治后说：“病源在肺，恐怕是吸食淡巴菰所导致的。”乾隆听后便命太监不准再拿这个东西进来。过了一段时间后，咳嗽病倒好了，乾隆于是对淡巴菰极为厌恶，并劝告其臣僚也不要嗜好此物。
烟草其实是轻微的毒品，一旦吸食也很难戒除。纪晓岚当时为翰林大学士，烟瘾最大，人称“纪大烟袋”。他并不理会乾隆的劝告，每日仍旧拿个特大烟袋，里面贮满烟丝，张口就吸，毫不顾忌别人感受。
有一天，轮到纪大烟袋在馆中当值，他工作忙完，便把烟点上，刚美美的吸上两口，突然间太监宣他进见皇上，纪大烟袋一着急，便把烟袋插入靴筒，随后入朝觐见。不巧这次乾隆问的事情多，没多久，纪大烟袋觉得脚上发热发烫，但正被皇上问话，又不敢乱动，不料，他的靴子突然冒烟，原来烟袋的火没有熄灭，结果把袜子给烧着了。纪大烟袋痛得要命，眼泪鼻涕直流。乾隆大惊，问他怎么回事，纪大烟袋说：“臣靴筒里走水”。(当时北方人把失火叫走水)
乾隆大笑，让他立刻出去解决。纪晓岚忍着痛，疾步跑到门外，把靴子一脱，里面早已是皮焦肉烂，好不凄惨！让人发笑的是，纪晓岚平时走路特快，同僚们戏称他为“神行太保”，这次被烧了以后，纪晓岚一个多月都走路一瘸一拐，人又送绰号“李铁拐”。
据说，后来乾隆过问此事，让他为这事写检讨。纪晓岚好文才，援笔立就，里面有这么几句：“裤焚，帝退朝曰：‘伤胫乎？不问斗’”。这个马屁拍得很到位，乾隆心头一喜，便赐给他烟斗一枚，准其在馆吸食，纪晓岚也得意的说自己是“钦赐翰林院吃烟”云云。
纪晓岚不但“钦赐吃烟”，而且还有一个“奉旨纳妾”的故事。《栖霞阁野乘》中说，纪晓岚自幼禀赋超于常人，能夜间视物，一日不御女，则肌肤欲裂，脚要抽筋。《虫鸣漫录》里也说，纪晓岚自称是野怪转身，不吃米，光以肉为饭，一日须御数女，五鼓入朝一次，归寓一次，午间一次，薄暮一次，临卧一次，一次也不能少，有时候乘兴而幸，也是常有的事。
纪晓岚在编辑《四库全书》的时候，有几天特别忙，一直在馆中上班。由于几天没有碰女人，纪晓岚两眼暴赤，脸色血红。乾隆皇帝在路上碰到他，见他这副模样大吃一惊，便问他生了什么病，纪晓岚不敢隐瞒，便把实情托出。
乾隆大笑，后来派了两个宫女给纪晓岚伴宿。《四库全书》编好后，又让纪晓岚把两女带回家中。纪晓岚十分得意，经常在别人面前夸耀，自所谓“奉旨纳妾”是也。
不过，乾隆也没少戏弄纪晓岚。乾隆有一次南巡来到金山寺，纪晓岚也随同在侧。乾隆一时兴起，想给金山寺题一个匾，但想了半天也没想出什么好名字，于是就取笔在纸上假装写了几个字，便递给纪晓岚问：“你看这几个字如何？”纪晓岚拿过来一看，是无字天书，幸好他随机应变得快，便说：“好一个‘江天一览’！”乾隆大悦，便重新拿起笔题了这四个字。(此是“江天一览”故事的另一版本)
还有一次，纪晓岚奉命在翰林院编纂《四库全书》，因为工程浩大，纪晓岚和同事们日夜赶工，时值盛夏，天气酷热，纪晓岚身体肥胖又怕热，往往汗流浃背，衣服尽湿。后来纪晓岚干脆把衣服除去纳凉，同事的阁臣们也学他的样子，脱了衣服在里面工作。
后来这事被乾隆知道，便想去捉弄他一下。某天，乾隆有意走到翰林院，正好纪晓岚和同事阁臣数人光着膀子在那里谈笑风生，大家见乾隆走了过来，慌忙穿衣不迭，纪晓岚因为眼睛近视，一时间找不到自己的衣服，穿衣不及，慌忙中钻到了椅子下面。
乾隆见了大乐，便一屁股坐在上面，纪晓岚躲在下面喘息而又不敢动。乾隆在椅子上面坐了两个时辰不说话，也不走。因为天气酷热，纪晓岚不能忍耐，见过了那么长的时间，便伸头问同事们：“老头子走了没有啊？”
乾隆大笑，诸人也笑，乾隆让纪晓岚出来，故作不悦说：“纪昀无礼，何得出此轻薄之语？你要解释得过去就放过你，要说不过去就杀你的头。”纪晓岚大为尴尬，说：“臣尚未穿衣。”乾隆便命内监代他穿上，又训斥道：“你胆子不小，你为什么叫称朕为老头子啊？”纪晓岚眼睛一转，说：‘京城中人都是这么称呼皇上的啊，皇上叫‘万岁’，岂非老乎？君是‘元首’，得非‘头’乎？皇上为天之子而子万民，所以叫‘子’啊。”乾隆见难他不住，便呵呵一笑走了。
纪晓岚被乾隆捉弄，找到机会他也要捉弄捉弄和绅。有一次，和绅家修花园，建了个亭子，请纪晓岚帮他写个亭额，纪晓岚挥笔而就，写下“竹苞”二个大字，和绅见两字写得龙飞凤舞，十分开心的把它给挂了起来。没多久，乾隆临幸和府参观新花园，抬头看见亭上的匾额，便问是谁写的，和绅得意的说是请纪晓岚写的，乾隆大笑，说：“你上了他的当了！纪晓岚这是在骂你家‘个个草包’啊！”和绅气得半死，又无可奈何。
纪晓岚读书多又天性诙谐，平时也爱讲笑话故事，每次入宫当值没事的时候，太监就喜欢缠着他讲故事，纪晓岚不胜其烦。有一次，纪晓岚又被某太监缠上，让他讲个故事，纪晓岚说最近没故事，某太监非得让他说一个，现在编也行。纪晓岚便故作思索状，说：“有了。说有一个人。”说完，便闭嘴盯着太监看。太监见他不说了，便催促道：“这个人下边还有何事？”纪晓岚说：“下边没有了。”太监知道被其揶揄，大笑而去。
纪晓岚有一次为某词林朋友的太夫人祝寿，朋友请他作首诗，纪晓岚站了起来，清了清嗓子，众人都作洗耳恭听状，纪晓岚便道：“这个婆娘不是人。”众人大惊，以为大不敬。纪晓岚见效果达到，便从容续道：“九天神女下凡尘。”众人一听，赞这句说得好。纪晓岚话锋一转，又道：“生下儿子去做贼。”众人愕然，朋友也很是难堪。不料纪晓岚笑道：“此子却好，偷得蟠桃寿母亲。”众人听后大乐，一时传为佳话。
纪晓岚是个聪明人，但他的聪明在当时往往被人视为可笑之物，这大概就是乾隆视纪晓岚为娼优的缘故罢。