1960年4月金水人民公社成立,由七一、紫荆山、人民路、杜岭、黄河路、文化区、郑纺机、岗杜、南阳新村9个街道分社和一个农业分社组成。
1961年8月,金水人民公社改成金水区,9个街道分社改成杜岭、人民路、花园路、经八路、文化路、南阳路、南阳新村7个街道办事处,农业分社改建成金水农业公社。
1980年成立刘寨街道办事处,1984年成立大石桥街道办事处。
1987年全市进行区划调整,撤销金海区、新密区和郊区,成立邙山区。金水区刘寨街道办事处划归邙山区,原郊区的柳林乡、祭城乡、姚桥乡,原金海区的庙李乡划归金水区。
2000年5月,金水区撤销海滩寺乡,成立丰产路街道办事处。
2000年9月,区四大班子机关由文化路106号迁至东风路16号新址办公。
2002年8月,金水区进行区划调整,成立未来、北林、东风路等3个街道办事处。
2002年底,区辖杜岭、人民路、花园路、文化路、南阳路、南阳新村、大石桥、丰产路、未来路、北林路、东风路、经八路等12个街道办事处,136个社区居民委员会;庙李镇、柳林镇、祭城镇、姚桥乡4个乡镇,70个行政村村民委员会,175个自然村。
2005年11月,撤销姚桥乡,设立龙子湖街道办事处。
2006年6月,撤销祭城镇,同时设立祭城路街道办事处、凤凰台街道办事处。
2010年11月调整祭城路街道办事处、龙子湖街道办事处行政管辖区域,设立兴达路街道办事处将祭城路、龙子湖街道办事处管辖范围内连霍高速公路以北区域的北录庄村、任庄村、马渡村、来童寨村、黄庄村、黄岗庙村、小金庄村以及连霍高速以南、京港澳高速以东区域的刘江村、马楼村、柳园口村、贾陈村、徐庄村共12个行政村整建制划出,设立兴达路街道办事处。
2010年11月将祭城路街道办事处、龙子湖街道办事处划出,划至郑东新区。
2011年4月,撤销柳林镇,设立杨金路街道办事处、国基路街道办事处。
2011年4月,金水区辖庙李镇,文化路、南阳新村、经八路、大石桥、人民路、花园路、杜岭、南阳路、丰产路、北林路、未来路、东风路、兴达路、国基路、凤凰台、杨金路16个办事处。
2011年7月,撤销庙李镇,设立丰庆路街道办事处。
2012年4月--至今,金水区辖文化路、南阳新村、经八路、大石桥、人民路、花园路、杜岭、南阳路、丰产路、北林路、未来路、东风路、兴达路、国基路、凤凰台、杨金路、丰庆路17个办事处。