Do kolonizace a horního podnikání v oblasti, kde se formovalo zeměpanské rabštejnské panství, se pokusil od jihu proniknout i rod Benešoviců z Opavska, základem jejich panství se měl stát hrad Strálek (Štrálek) západně od Ondřejova (část města Rýmařova). V roce 1398 však již byl hrad příslušenstvím rabštejnského panství a záhy zpustl.
Zatím neznámá zůstává úloha, kterou měl v nejstarších dějinách Rýmařovska nevelký hrádek nad soutokem Tvrdkovského potoka a Huntavy dnes označovaný jako Pustý zámek,  cca 2,5 km jižně od Horního Města. Nepatrné zbytky ve skalnatém terénu naznačují, že hrad byl tvořen jen věží s opevněním. Dá se předpokládat, že hrad byl tzv. kolonizačním provizoriem, tzn. prvním objektem vybudovaným v ještě neosídleném horském Rýmařovsku, odkud pak začala kolonizace a byl vybudován i hrad Rabštejn.
Do souboru hradů na Rýmařovsku je možné zahrnout i hrad Waldhausen, známý též jako Mutkov nebo hrad Huzová (předchůdce hradu Sovinec), jehož pozůstatky lze nalézt na levém břehu řeky Sitky asi kilometr a půl jižně od Huzové, nejstarší osady na Rýmařovsku, zmiňované již v r. 1141.

Vytvoření sovineckého panství a založení hradu Sovince představuje další významný krok při pronikání osídlení do oblasti Nízkého Jeseníku. Stejně jako na Rýmařovsku, tak i na sovineckém panství měla důležitou úlohu těžba a zpracování železné rudy. K zabezpečení této činnosti zde rovněž vznikaly tvrze, jako např. tvrz v dnešní Břidličné (Frýdlant nad Moravicí) a dnešním Ryžovišti (Brunzeif). Tvrz v Břidličné v místech dnešní katolické fary je připomínána jako pustá již v roce 1545, tvrz v Ryžovišti stávala pravděpodobně v sousedství kostela a hřbitova, stopy se však nezachovaly. Existují též zmínky o drobném nelokalizovaném opevnění v Horním Městě. Rozsáhlý areál opevněného svobodného dvorce, rytířské enklávy na janovickém panství, dodnes stojí na okraji osady Skály. Do doby rozsáhlých kolonizačních akcí na severní Moravě je možno klást i vznik nevelkého hradu Wallhübel, jehož zbytek  se nachází severně od obce Malá Štáhle nad levým břehem řeky Moravice.

Východiskem kolonizační činnosti rodu Šternberků byl hrad Šternberk a jejich snahy směřující k severovýchodu daly vzniknout novému panství, jehož centrem byl Moravský Beroun, připomínaný poprvé v roce 1339. Součástí byl i hrad na Křížovém vrchu u Berouna.

 Zdroj: Musil, František: K vývoji šlechtických sídel na Šumpersku a Bruntálsku - (2. část), Střední Morava 8-1999, Memoria Olomouc 1999. Z. Přikrylová: Huzová, nejstarší osada na Rýmařovsku, Rýmařovský horizont 03/2007, SVČ Rýmařov. Karel, Jiří: Příběh lesů a lidí na Rýmařovsku, občanské sdružení Stránské, 2008.

Zpracoval M. Marek