Opevnění
se budovalo již ve 13. století, ale v té době byla Polička chráněna jen jeden metr vysokým a čtyři metry širokým valem s palisádou a příkopem. Kamenné hradby se začaly stavět až ve 14. století, zejména v době lucemburské. Jako první byla postavena hlavní městská hradba, která byla budována ve vzdálenosti devíti metrů (na jižní straně sedmi metrů) od valu prvního opevnění ze 13. století směrem do města. Ve druhé fázi byla postavena na koruně valu parkánová zeď. Obě lícové zdi byly postaveny z tvrdého kamene (ruly, žuly apod.), jádro je z opuky. V pohusitském období a na počátku 16. století bylo opevnění zesíleno.
Současně s hradbami byly postaveny i čtyři městské brány. Na jihozápadní straně stávala Kamenecká brána (později byl proti ní postaven hřbitovní kostel), na východní straně bývala brána Limberská, na severovýchodní straně brána Litomyšlská a na severozápadní straně to byla Starohradská brána (v 18. a 19. století se tato brána označovala jako Novohradská). Kromě těchto čtyř bran byla na jižní straně města (v dnešní Komenského ulici) fortna. Druhá fortna na severní straně v dnešní ulici pojmenované po ní, tedy Fortna, je mladší, třetí fortna v Hradební ulici byla probourána až roku 1890.
Město bylo chráněno hlavní hradbou, parkánovou zdí, vodním příkopem a valem s palisádou, jehož součástí byl na jižní straně rybník, v 19. století označovaný jako Svinský, v současnosti nese pojmenování Synský. Čtrnáct metrů široký vnitřní hradební příkop byl napájen vodou.
Hlavní hradební zeď doplněná ve výšce osmi metrů ochozem a zakončená cimbuřím byla až deset metrů vysoká a 2,5 metru silná. Doplněna byla devatenácti věžemi postavenými na půlkruhovém půdorysu, které byly vysoké 14 metrů (s jehlancovou střechou až 22 metrů). Věže byly původně dvoupatrové, směrem do města otevřené. První patra věží byla přístupná z ochozu, ve druhých patrech byly špaletové střílny (do dnešní doby se zachovala jediná). Parkánová zeď byla výrazně nižší, dosahovala výšky kolem čtyř metrů.
V průběhu druhé poloviny 15. století byly hradby dvakrát opravovány, jednou za vlády Jiřího z Poděbrad (tehdy byly postaveny barbakány, které měly chránit městské brány), podruhé za vlády Vladislava II. Jagellonského. V té době byl vykopán druhý vodní příkop, který byl napojený na jihozápadní i jihovýchodní straně na Synský rybník, k němuž byl přístup fortnou.
V první polovině 19. století byly všechny čtyři brány zbořeny: Limberská (Masarykova ulice) roku 1837, Kamenecká (Riegrova ulice) roku 1836, Starohradská (Šaffova ulice) roku 1838 a Litomyšlská v Tyršově ulici roku 1843 (zbytek jejího barbakánu byl srovnán se zemí až roku 1938). Ve zdivu domu čp. 105 v sousedství někdejší Starohradské brány jsou patrné tři kvádry s okosenou hranou, které jsou druhotně použité a údajně pocházejí z původního portálu této brány. V suterénech domů čp. 9 a 29 na Dolním předměstí jsou patrné dva fragmenty původních mostů přes vodní příkop.
Do dnešní doby se zachovala téměř kompletní vnitřní hradební zeď v celkové délce cca 1200 metrů a všechny původní bašty označované též jako věže, kterých je celkem devatenáct, byť nejsou stejně vysoké. V jejich přízemí je valená klenba, patro v úrovni ochozu je průchozí. Z parkánové zdi zbyly jen dva malé úseky na západní a severozápadní straně města. V 70.-90. letech minulého století byly hradební zdi včetně věží opraveny a část z nich je zpřístupněna veřejnosti.
