中华民国时期，属勃利县管辖，初隶南乡，后改隶小五站镇。
民国十九年（1931年）东北沦陷后，隶属十一甲。
民国二十六年（1938年）日本侵略者强占民地，设立桃山开拓点。
民国三十四年（1945年）“九三”抗日战争胜利后，隶属勃利县第五区管辖。
民国三十七年（1948年）桃山区划归新增设的七台河区。
新中国成立后，1951年2月改为第十二区。
1955年5月，复改为七台河区。
1956年3月，撤七台河区划乡，隶属七台河乡管辖。
1958年9月，并入七台河人民公社，同年底划归七台河矿区公社管辖。
1960年3月，改隶七台河镇公社。
1965年2月，划归七台河特区管辖。
1970年4月，改隶七台河市。同年5月，设立市属桃山街道。
1973年6月，并入红旗公社。
1978年9月，七台河市政府自北山迁至桃南（今桃山区）。
1981年10月，桃山区复设桃山街道。
1984年1月20日，黑龙江省省政府批准，设立桃山区。
