Brama Górna od XIX w. zwana Wysoką Bramą zbudowana została w XIV w. Jest jedyną pozostałą z trzech, które znajdowały się w murach obronnych otaczających miasto. Ze średniowiecznego obwarowania pozostały również duże fragmenty murów przy kościele pw. św. Jakuba, przy ulicach Asnyka, Okopowej i przy zamku. Brama usytuowana jest w północno-wschodniej części zespołu staromiejskiego, na osi wylotu głównego traktu komunikacyjnego.

 W 1788 r. Wysoką Bramę wyremontowano i zaadaptowano na zbrojownię szwadronu dragonów, w 1858 r. przebudowano na więzienie, a w 1898 r. przekazano miejskiemu komisariatowi policji. Dokonywano w niej wielu przeróbek (m.in. nadano odmienny kształt otworom okiennym i szczytowi budowli, przebito przejście dla pieszych). W 1863 r. przetrzymywano tu Wojciecha Kętrzyńskiego obwinionego o przemyt broni dla powstańców styczniowych.

Brama jest czterokondygnacyjna, z pięterkiem tworzącym rodzaj piątej kondygnacji w strefie szczytu. Posiada dwuspadowy dach. W 2003 r. Wysoka Brama została odrestaurowana. W niszy od strony Starego Miasta umieszczono wizerunek Matki Bożej Królowej Pokoju, podarowany Olsztynowi przez Jana Pawła II. Dzieło zostało wykonane techniką szklanej mozaiki w jednej z rzymskich pracowni. Na murach Wysokiej Bramy umieszczonyj est również spiżowy wizerunek Jana Pawła II poświęcony w I rocznicę śmierci Papieża.