最早的八仙出现在汉代，是号称“淮南八仙”的八个文学家，当时称作“八公”。《小学绀珠》记载：“淮南八公：左吴、李尚、苏飞、田由、毛披、雷被、晋昌、伍被。”
由此可见，淮南八仙只是八个文人，并非神仙。但后来因为有淮南王成仙的传说，后世便附会在他门下的八公也成仙了，称作“八仙”。
晋代谯秀所著《蜀纪》中，载有：“蜀之八仙”，依次是：“首容成公、隐于鸿闬\，今青城山也;次李耳，生与蜀;三董仲舒，亦青城山隐士;四张道陵，今鹤鸣观;五庄居平，卜肆在成都;六李八百，龙门洞在成都;七范长生，在青城山;八尔朱先生，在雅州。”上述的“八仙”与现在所传的八仙，都毫无关系。
八仙的事迹多散见于唐、宋时的书籍中，但当时还没有形成“八仙”这样一个群体。真正集八人合称“八仙”的，是在元人创作的杂剧中。这些杂剧都并称八位神仙，但人名有出入，各家不尽相同。
马致远的杂剧《吕洞宾三醉岳阳楼》第四折末《水仙子》，以吕洞宾的口吻，依次介绍八仙道：“第一个是汉锺离，现掌着群仙箓;这一个是铁拐李，发乱梳;这一个是蓝采和，板撤云阳木;这一个是张果老，赵州桥骑倒驴;这一个是徐神翁，身背着葫芦;这一个是韩湘子，韩愈的亲侄;这一个是曹国舅，宋朝的眷属;则我是吕纯阳，爱打的简子愚鼓。”上述八仙，均为男性，没有现在所传八仙中的何仙姑，却多了个徐神翁。
自从明代吴元泰的演义小说《东游记》一书问世后，“上洞八仙”才选定了。吴元泰排定了八仙的顺次：一、铁拐李，二、汉锺离，三、监采和，四、张果老，五、何仙姑，六、吕洞宾，七、韩湘子，八、曹国舅。这八仙的组成及排名次序，已经与现在所传八仙完全吻合，说明大多数人接受了吴氏的说法。