母校創校的歷史，可追溯到日據時代。民國前十七年，清光緒二十一年，西元一八九五年，日本侵佔台灣，即設民政局學務部，著手日本化教育，翌年民國前十六年，清光緒二十二年，西元一八九六年，日本學務部改清末士林芝山岩開漳聖王廟內之學堂，為國﹝日﹞語傳習所和國﹝日﹞語學校，並設附屬學校，國﹝日﹞語學校即「師大」前身，以培養公學校教員為宗旨，本校創建之始即為國﹝日﹞語學校第一附屬學校女子分教場，時為民前十五年，清光緒二十三年，西元一八九七年。是當時台灣唯一的女子學校。
1899年，1902年，以及1910年三次更改校名為台灣總督府國﹝日﹞語學校第三附屬學校, 台灣總督府國語學校第二附屬學校, 以及台灣總督府國語學校附屬女學校。1919年﹝民國八年﹞，根據新發佈的台灣教育令，更改校名為台灣公立台北女子高等普通學校。
1945年﹝民國三十四年﹞，台灣光復更名為台灣省立台北第二女子中學，接收並採新制，舊學生續讀為北二女學生。十二月八日正式接收成立，定為校慶日。
1967年﹝民國五十六年﹞，台北市改為直轄市更改校名為台北市立中山女子高級中學至今。通常簡稱為中山女高或中山女中。為北市六省中之一。
百餘年來在「全人教育、人文為先」的教育理念下，以積極專注有益學習的環境，培育女性菁英人才逾六萬，為國內女子教育翹楚。 一般人常以楓城才女或長安女監稱其學子。