В1358-1359 гг. Галеаццо II Висконти предпринял строительство крепости, получившей название Замок при заставе Джовиа. С 1412 г. в нее вселились его преемники, сохранившие оборонительный характер сооружения. Резиденция, разоренная и разграбленная после смерти герцога Филиппа-Марии в 1447 г., обрела новую жизнь при Франческо Сфорце, поручившем в 1452 г. ее возобновление знаменитому ренессансному зодчему Филарете (его имя теперь носит характерная часовая башня). С 1466 г. это - главная герцогская резиденция, ставшая в течение второй половины XV в. одной из самых пышных в Европе, не без вклада таких мастеров, как Винченцо Фоппа, Леонардо да Винчи и Бернардино Дзенале.
При испанцах крепость вновь вернулась к своей первоначальной функции: в 1552 г. тут появилась звездообразная насыпь, а в начале XVII в. она была обнесена рвом. Частично разрушенный при наполеоновских войнах французами, Кастелло Сфорцеско служил казармой вплоть до 1893 г. Реставрационные работы на рубеже XIX-XX вв. вел Лука Бельтрами. Замок сильно пострадал в августе 1943 года от бомбардировок, и только в 1956 году здесь завершились реставрационные работы. В последующие годы в залах замка устроена впечатляющая экспозиция городских музеев. Замок занимает обширный прямоугольный участок, квадратный в плане (длина сторон около 200 м) между пьяццой Кастелло и Симплонским парком. Посетитель, пройдя под воротной аркой, реконструированной в 1905 г. Бельтрами, попадает сначала на широкий первый двор - так называемую пьяцца д'Арми («плацдарм»), а затем, миновав еще одни укрепленные ворота, оказываемся среди дворцовых зданий, группирующихся вокруг двух других дворов. Особенно хорош Корте Дукалё опять-таки спроектированный Браманте. Впечатляет своей гармонией и двор Роккетта, в левой части комплекса, с воздушными портиками.