金水区是郑州市中心城区,因流经辖区、起源于春秋战国时代的金水河而得名。解放前,辖区属郑县管辖。
1948年郑州解放,郑县分为郑州市和郑县,辖区城区部分属市、农村部分属县。
1953年撤销郑县,成立郊区,辖区城区部分归陇海区、二七区和建设区,农村部分属郊区。
1960年4月,金水人民公社成立;
1961年8月更名为金水区,区辖9个街道办事处和海滩寺农业公社。
1987年3月,郑州市进行区划调整,撤销郊区、金海区,原郊区的柳林乡、祭城乡、姚桥乡和原金海区的庙李乡划归金水区,金水区的刘砦街道办事处划归邙山区。
2000年5月,金水区撤销海滩寺乡,成立丰产路街道办事处。
2000年9月,区四大班子机关由文化路106号迁至东风路16号新址办公。
2002年8月,金水区进行区划调整,成立未来、北林、东风路等3个街道办事处。
2002年底,区辖杜岭、人民路、花园路、文化路、南阳路、南阳新村、大石桥、丰产路、未来路、北林路、东风路、经八路等12个街道办事处,136个社区居民委员会;庙李镇、柳林镇、祭城镇、姚桥乡4个乡镇,70个行政村村民委员会,175个自然村。
2005年11月,撤销姚桥乡,设立龙子湖街道办事处。
2006年6月,撤销祭城镇,同时设立祭城路街道办事处、凤凰台街道办事处。
2010年11月调整祭城路街道办事处龙子湖街道办事处行政管辖区域,设立兴达路街道办事处将祭城路、龙子湖街道办事处管辖范围内连霍高速公路以北区域的北录庄村、任庄村、马渡村、来童寨村、黄庄村、黄岗庙村、小V金庄村以及连霍高速以南、京港澳高速以东区域的刘江村、马楼村、柳园口村、贾陈村、徐庄村共12个行政村整建制划出,设立兴达路街道办事处。
2011年4月,撤销柳林镇,设立杨金路街道办事处、国基路街道办事处。
2011年4月--至今,金水区辖庙李镇,文化路、南阳新村、经八路、大石桥、人民路、花园路、杜岭、南阳路、丰产路、北林路、未来路、东风路、兴达路、国基路、凤凰台、杨金路16个办事处。
2011年7月,撤销庙李镇,设立丰庆路街道办事处。
2012年4月--至今,金水区辖文化路、南阳新村、经八路、大石桥、人民路、花园路、杜岭、南阳路、丰产路、北林路、未来路、东风路、兴达路、国基路、凤凰台、杨金路、丰庆路17个办事处。