Osídlení nejvýchodnější části Hanušovické vrchoviny a počátky jeho pronikání do Nízkého Jeseníku bylo spjato s hradem Úsovem (nejstarším hradem na Šumpersku) a zformováním úsovského panství. Úsov byl založen jako centrum loveckého revíru některým z moravských markrabat, synů krále Václava I (Vladislav nebo Přemysl, pozdější král Přemysl II.). Kolonizaci pro krále prováděli páni ze Švábenic, majitelé hradu a osidlování až do okolí dnešního Rýmařova bývá spojováno s Hrabišem ze Švábenic. Vzhledem k odlišným přírodním podmínkám a zaměření na hornickou kolonizaci se tento region zformoval jako samostatné panství, jehož centry se stal hrad Rabštejn a město Rýmařov. Hrad Rabštejn byl vybudován ve skalách na návrší (805 m n.m.) nad Bedřichovem a je nejvýše položeným moravským hradem. Skalnatý terén předurčil podobu hradu. Poprvé se hrad připomíná v r. 1318. Hrad byl zeměpanským majetkem, ale v neklidných dobách se jej zmocňovali různí šlechtici.
Město Rýmařov bylo zakládáno nejen jako ekonomické centrum panství, ale také jako centrum hornického podnikání a tudíž vyžadovalo zabezpečení. Proto současně s budováním města byla v jeho jihovýchodní části budována tvrz (dnešní Hrádek ), později byla vybudována nová tvrz v blízkosti hutí 700 m východně od centra města nad Podolským potokem, doložená poprvé v r. 1482, později byla vystřídána dvorem, který byl zbořen v 70. letech 20. století.
Do kolonizace a horního podnikání v oblasti, kde se formovalo zeměpanské rabštejnské panství, se pokusil od jihu proniknout i rod Benešoviců z Opavska, základem jejich panství se měl stát hrad Strálek (Štrálek) západně od Ondřejova (část města Rýmařova). V roce 1398 však již byl hrad příslušenstvím rabštejnského panství a záhy zpustl.
Zatím neznámá zůstává úloha, kterou měl v nejstarších dějinách Rýmařovska nevelký hrádek nad soutokem Tvrdkovského potoka a Huntavy dnes označovaný jako Pustý zámek,  cca 2,5 km jižně od Horního Města. Nepatrné zbytky ve skalnatém terénu naznačují, že hrad byl tvořen jen věží s opevněním. Dá se předpokládat, že hrad byl tzv. kolonizačním provizoriem, tzn. prvním objektem vybudovaným v ještě neosídleném horském Rýmařovsku, odkud pak začala kolonizace a byl vybudován i hrad Rabštejn.
Do souboru hradů na Rýmařovsku je možné zahrnout i hrad Waldhausen, známý též jako Mutkov nebo hrad Huzová (předchůdce hradu Sovinec), jehož pozůstatky lze nalézt na levém břehu řeky Sitky asi kilometr a půl jižně od Huzové, nejstarší osady na Rýmařovsku, zmiňované již v r. 1141.

Vytvoření sovineckého panství a založení hradu Sovince představuje další významný krok při pronikání osídlení do oblasti Nízkého Jeseníku. Stejně jako na Rýmařovsku, tak i na sovineckém panství měla důležitou úlohu těžba a zpracování železné rudy. K zabezpečení této činnosti zde rovněž vznikaly tvrze, jako např. tvrz v dnešní Břidličné (Frýdlant nad Moravicí) a dnešním Ryžovišti (Brunzeif). Tvrz v Břidličné v místech dnešní katolické fary je připomínána jako pustá již v roce 1545, tvrz v Ryžovišti stávala pravděpodobně v sousedství kostela a hřbitova, stopy se však nezachovaly. Existují též zmínky o drobném nelokalizovaném opevnění v Horním Městě. Rozsáhlý areál opevněného svobodného dvorce, rytířské enklávy na janovickém panství, dodnes stojí na okraji osady Skály. Do doby rozsáhlých kolonizačních akcí na severní Moravě je možno klást i vznik nevelkého hradu Wallhübel, jehož zbytek  se nachází severně od obce Malá Štáhle nad levým břehem řeky Moravice.

Východiskem kolonizační činnosti rodu Šternberků byl hrad Šternberk a jejich snahy směřující k severovýchodu daly vzniknout novému panství, jehož centrem byl Moravský Beroun, připomínaný poprvé v roce 1339. Součástí byl i hrad na Křížovém vrchu u Berouna.

 Zdroj: Musil, František: K vývoji šlechtických sídel na Šumpersku a Bruntálsku - (2. část), Střední Morava 8-1999, Memoria Olomouc 1999. Z. Přikrylová: Huzová, nejstarší osada na Rýmařovsku, Rýmařovský horizont 03/2007, SVČ Rýmařov. Karel, Jiří: Příběh lesů a lidí na Rýmařovsku, občanské sdružení Stránské, 2008.

Zpracoval M. Marek