Harbiye'de yerleşim 1870 yılındaki Beyoğlu yangınında evsiz kalan Levantenler ve gayrimüslimlerin Harbiye çevresinde inşa edilen kagir binalara taşınmalarıyla başladı. Şehir yavaş yavaş Harbiye'ye, Pangaltı'ya doğru, daha çok askeri ve idari yapılarla uzanmaya başladı.

Semte adını veren Mekteb-i Harbiye padişah II. Mahmut'un emriyle 1834 tarihinde kuruldu. Günümüzde Askeri Müze olarak kullanılan binası 1864 yılında II. Abdülhamit tarafından inşa ettirildi. Harp Okulu, Cumhuriyetin ilanından sonra 25 Eylül 1936 tarihinde Ankara’ya nakledildi.
Semtin önemli binalarından biri olan İstanbul Radyoevi ise 19 Kasım 1949 günü, dönemin cumhurbaşkanı İsmet İnönü’nün açış konuşmasıyla hizmete girdi. Günümüzde semtin ana caddesi olan Cumhuriyet Caddesi boyunca bir çok oteller, yerli ve yabancı havayolları bulunmaktadır. Semtte ayrıca Şehir Tiyatroları 'nın Muhsin Ertuğrul Harbiye Sahnesi yer almaktadır. 1955’te Harbiye semtinde açılan İstanbul Hilton Oteli, Türkiye’nin ve İstanbul’un ilk 5 yıldızlı otelidir. İstanbul Teknik Üniversitesi'nin Taşkışla ve Maçka binaları da Harbiye'nin mahalle sınırları içinde yer alır. Gürcistan'ın İstanbul Konsolosluğu da bu bölgededir.
Gene Harbiye'de yer alan Cemil Topuzlu Açıkhava Tiyatrosu 1946-1947 yılları arasında Harbiye semtinde inşa edildi. İstanbul'un II. Meşrutiyet dönemindeki belediye başkanı Cemil Topuzlu'nun adını alan bu açık hava tiyatrosu 3,975 koltuk kapasitesine sahip olup İstanbul'un en büyük açık hava tiyatrosu olma özelliğini hala korumaktadır. 4,500 kişiye aynı anda hizmet verebilmektedir.
Harbiye'de bulunan ve projesi P. ViettiVioli, Şinasi Şahingiray ve Fazıl Aysu tarafından hazırlanan Spor ve Sergi Sarayı'nın inşasına 1948 yılında başlanmış ve bir yıl sonra yapılan uluslararası bir güreş turnuvasıyla hizmete açılmıştır. 7.000 kişilik seyirci kapasitesi olan salon, uzun yıllar boyunca İstanbul halkına konser, sergi, sempozyum amaçlarıyla hizmet etmiş, 1995 - 1996 yıllarında yenilerek Lütfi Kırdar Kongre ve Sergi Sarayı adı altında 23.850 m²’lik bir kapalı alanla tekrar hizmete girmiştir.
İstanbul’da subay ve astsubayların kullanımına açık 8 orduevinden en büyüğü Harbiye Orduevi'dir. İnşaatı 1981’de tamamlanan orduevi daha önce eski Mekteb-i Harbiye binasının bir bölümünde yer almaktaydı. 1981 yılında yapılan yeni Orduevi binasının tamamlanması üzerine eski bina Askeri Müze olarak kullanılmaya başlandı. Yeni Harbiye Orduevi ise otel kısmı ve sunduğu sosyal aktivitelerle Türkiye’nin en büyük ordu evi olma özelliğini kazandı.