Kaple Navštívení Panny Marie na sv. okraji města Rýmařova, cca 150 m po cestě sv. směrem od silnice č. 11 Šumperk - Bruntál,  je nazývána perlou severomoravského baroka a vznikla na místě starší církevní stavby v letech 1710-1715 v sousedství staré poustevny. Autorem nezvyklé oválné stavby byl nadaný rýmařovský stavitel Friedrich Hösler. Nad hlavním vchodem byl po roce 1721 umístěn alianční znak hraběte Aloise Harracha a jeho druhé ženy Marie Arnoštky z Gallasu, jež poskytla ke stavbě svatyně velké finanční prostředky. Vysoko nad ním je v nice umístěno sousoší Panny Marie a její matky sv. Anny.

Římskokatolický farní kostel sv. Michala stojí v severní části historického jádra města, na hraně svahu k Podolskému potoku.
Vznik kostela nesporně souvisí se založením města Rýmařova nejpozději v 70. (60.) letech 13. století. Poloha kostela odpovídá dobovým zvyklostem, je umístěn na významném a a nejlépe bráněném úseku města, na pahorku nad prudkým svahem. Je otázkou, zda v prvních letech nesloužil jako svatostánek kostel dřevěný. Zcela jistě již kostel stál v první polovině 14. století, neboť z uvedeného období pochází závažná písemná zpráva - v olomouckém kapitolním nekrologiu (seznamu jmen zemřelých osob) se uvádí záznam odkazu rýmařovského faráře Raduše (Radusche, Rodosia či Rodusia). K úpravám nesporně starší stavby kostela došlo na počátku 15. století v návaznosti na válečné zničení města v souvislosti s akcí zemské hotovosti proti Pročkovi z Vildeberka, zástavce rabštejnského panství, který zneužil válečných sporů mezi moravskými markrabaty ke krutému sebeobohacování. Další osudy kostela již nejsou v 15. století nikde zachyceny, teprve v roce 1503 se objevuje jméno dalšího faráře Petra.

Poté, co bylo kolem roku 1542 v kopci nad hornickou osadou Skály (Hankštejn) nalezeno ložisko rud, usadilo se zde šest rodin. Právě těmto horníkům udělil Ferdinand I. důlní řád a  těchto šest domů bylo později, v roce 1580, za Rudolfa II., povýšeno na svobodné královské hornické město s názvem Bergstadt-Hangenstein. Časem zůstalo jen jméno Bergstadt = Horní Město.
Roku 1583 zakoupili rabštejnské panství, do nějž patřilo i Horní Město, Hoffmannové. Ferdinand Hoffmann, původem ze Štýrska, začal kraj osídlovat německými protestantskými horníky z Krušných hor. O rozvoj obce se zasloužil jeho syn Andreas (Ondřej) Hoffmann, uvedený rovněž v nápise nad vchodem do kostela. Horní Město se díky císařským výsadám rozrůstalo. Původní vesnice Hankštejn naopak začala upadat, lidé se zde věnovali zemědělství. Horní Město převzalo hornickou tradici, stalo se střediskem dolování a byla sem přenesena i farnost, která původně sídlila ve Skalách.