煤自古以来就是重要的燃料，中国人民用煤为世界之最早，有悠久的历史。但煤在何时开始使用，目前颇难作确切回答。从考古发掘和文献记载来看，至迟在汉代就已用煤了。《汉书·地理学》记载说：“豫章郡出石，可燃为薪”。豫章郡在今江西省南昌附近，这里所说的可燃为薪的石头，应理解为煤。可见这时煤已用于群众的日常生活。
新中国成立以后的考古证实：山东平陵汉初冶铁遗址中发现了煤；河南巩县铁生沟汉代冶铁遗址内发现了煤块、煤饼和煤渣。1975年河南郑州古来镇西汉中晚期至东汉的冶铁遗址中，再次出现加工过的煤饼。因此至迟在汉代将煤用于生产，这是毫无疑问的。但汉代冶铁遗址中的煤是用于冶铁，还是用于其他生产目的，这个问题还待研究。
何时将煤用于冶铁，较早的明确文献记载是北魏地理学家郦道元的《水经注·河上》中说：“屈茨（今新疆吐鲁番地区）北二百里有山，夜则火光，昼日但烟，人取此山石炭，冶此山铁，恒充三十六国用。”这说明至迟在魏晋时期我国已用煤冶铁。用煤炼铁是冶炼技术上的重大进步，这因为煤比木炭火力强而持久，可以得到更高的温度，炼出较好的铁。
据文献记载，汉末煤的开采量已相当大。西汉时冶铁技术有很大的发展。河南巩县铁生沟和南阳等地的冶铁遗址的发掘表明，西汉时的炼铁竖炉已有较大规模，有的竖炉高达４米左右。西汉时已使用煤来炼铁，用石灰石等碱性溶剂造渣脱硫，并采用了把矿石预先破碎，经过筛选使得粒度均匀的整粒技术。
曹操在邺都（今河北临漳县西）兴建水井台，井深十五丈，里面储存着数十万斤煤。南北朝时煤的使用更为广泛，已用于烧饭、取暖。在北宋京城汴京，街头卖小食的担子，也是用煤生炉火的。宋朝还专门组织人员勘察、开采煤矿、用煤冶炼金属。
明朝时，由于经过历代对煤矿的勘探、开采和利用，人们对煤的知识越来越多。明代李时珍在《本草纲目》中记载了煤的性质，煤的产地，总结了治疗煤气中毒的急救法。明代宋应星在他的《天工开物》中，对古代采煤方法作了详细记载：人们从很深的煤井里把煤取上来。用起重的手摇车——辘轳，把装在竹蓝里的煤块，从矿坑里提到地面上。
采掘中，为了防止井壁的岩石塌下来伤人，就在井壁旁边用木柱顶住木板，支撑井壁。为了排除毒气，保证井下的安全，井口有人用一根又粗又长的竹筒，插进挖煤的坑井，以便于井底作业的人呼吸到新鲜空气。这种采煤的方法，虽然很简陋，但它的一些基本方法和现代采煤法是一致的。
欧洲人用煤的历史比我国晚得多。在元朝来我国工作的意大利人马可·波罗，回国后所写的一部《游记》中描写中国有一块黑石头，象木柴一样能够燃烧，火力比木柴强，从晚上燃到第二天早上还不熄灭。价钱比木柴便宜，于是欧洲人把煤当作奇闻来传颂。欧洲人到18世纪才开始炼焦，比中国晚了500多年。
