《史记．周本纪．集解》记载，「夏居河南，初在阳城，后在阳翟」。 夏代曾建都于阳城（今郑州登封市）。春秋战国时期，郑、韩先后在新郑建都（为当时周王朝的诸侯国），长达500多年。秦汉时期，郑州地区始置荥阳、巩、京、新郑等县。之后，历代先后在郑州地区设置荥阳郡、北豫州、荥州等。隋开皇三年（公元583年）将荥州改为郑州。隋开皇十六年（公元596年）置管州治所，州治位于今天的管城区。北宋建都汴京后，郑州属京畿路（今开封市），崇宁四年（公元1105年），建为西辅，成为宋代四辅郡之一。金代，隶南京路（今开封市）。金贞祐四年（1216），管城更名故市，后复名管城县。清雍正二年（1724）郑州升为直隶州，隶河南省。明初，郑州划归开封府。清代，郑州为郑县。
20世纪初，由于平汉和陇海铁路在郑州交汇，郑县经济得到较快发展。1923年，郑县爆发了“二七大罢工”。这次大罢工，沉重地打击了帝国主义和反动军阀，显示了中国工人阶级团结战斗的伟大力量和英勇顽强的斗争精神，在中国工人运动史上写下了光辉的一页。为了纪念这次大罢工，在京汉铁路总工会旧址建有“二七”纪念堂；市中心建有“二七”广场和“二七“纪念塔。这是这座英雄城市的光辉象征。因此，郑州就以“‘二七’城”著称。现在市中心已经形成“二七商圈”，是郑州市内商业活动最发达的地区。1913年改郑州为郑县。1928年改郑县为郑州市。1931年撤市复改郑县。1933年为河南省第一行政督察专员公署驻地。1948年10月22日中国人民解放军解放郑州，设郑州市。1954年河南省人民政府由开封迁入郑州，郑州成为河南省省会。悠久的历史给郑州留下了丰富的文化积淀，全市有各类文物古迹1400多处，其中国家级文物保护单位26处。嵩山风景名胜区是全国44个重点风景名胜区之一和全国文明风景旅游区示范点，“天下第一名刹”少林寺就坐落在嵩山脚下，威震海内外的少林功夫从这里走向世界。这里还有我国最早的天文建筑周公测景台和元代观星台、中国宋代四大书院之一嵩阳书院、我国现存最大的道教建筑群中岳庙等。在郑州周围，还有星罗棋布的古城、古文化、古墓葬、古建筑、古关隘和古战场遗址，著名历史人物轩辕黄帝、列子、子产、申不害、韩非子、郑国、陈胜、张良、潘安、杜甫、白居易、李商隐、高拱、李诫、李驰航等出生在郑州所辖县市。
中原是中华民族最早的聚居地和华夏文明的发祥地之一，从早期的炎黄二帝开始，郑州拥有一批在中国文化史、艺术史、冶金史上占有重要地位的遗址。郑州是中国“八大古都”之一，黄帝以此为都，位于今郑州之新郑。夏朝初年为都，即今郑州之登封、新密。在商朝时为早、中期的都邑，为亳都、隞都。 东周时期为郑国和韩国的都城。不计黄帝时期，作为都城计381年。
其中比较著名的有早于“安阳殷墟”的商城遗址，有包含仰韶文化、龙山文化、商代文化三个不同历史时期内容的大河村遗址，有填补了我国仰韶文化以前新石器时代早期历史空白的裴李岗遗址，还有对研究我国冶金史具有重大意义的古荥冶铁遗址等。所涉及的年代上起新石器时代，下至汉代，这些遗址为研究中国古代社会的构成、中国先民们的生活方式、中国文化的发展演变，提供了大量珍贵的实物资料。