W czasie [[wojna trzynastoletnia|wojny trzynastoletniej]] zamek dzięki inicjatywie [[Andrzej Tęczyński (zm. 1461)|Andrzeja Tęczyńskiego herbu Topór]] został sprzedany w roku 1457 [[Król Polski|królowi polskiemu]] [[Kazimierz IV Jagiellończyk|Kazimierzowi Jagiellończykowi]] za kwotę 190 tysięcy [[floren]]ów (ok. 660 kg złota) przez czeskiego dowódcę [[wojsko najemne|najemników]] [[Ulryk Czerwonka|Ulryka Czerwonkę]], który posiadał zamek w zastawie w zamian za zaległy żołd, z którego wypłatą zalegał zakon. Król Polski triumfalnie wjechał na zamek w dniu 7 czerwca 1457 roku. Od tej pory, aż do 1772 roku, była to jedna z rezydencji królów Polski. Zamek Wysoki pełnił rolę magazynu, a Wielki Refektarz był miejscem w którym wydawano królewskie przyjęcia. Rezydencja królów Polski mieściła się w Pałacu Wielkich Mistrzów. W dniu 25 kwietnia 1476 roku na zamku odbył się zjazd, w którym wziął udział król [[Kazimierz Jagiellończyk]] i późniejszy [[Święty Kazimierz]]. W 2 poł. XVI wieku główna wieża otrzymała zegar i hełm renesansowy. W latach 1584-85 i 1592-1601 funkcjonowały na przedzamczu zamku dwie królewskie mennice gdzie bito złote dukaty[[dukat]]y. W 1618 roku kościół na zamku przejęli [[jezuici]] i przebudowali wnętrze w stylu barokowym. WPodczas [[Wojna polsko-szwedzka 1626-1629|wojny ze Szwecją "o ujście Wisły"]] w dniu 17 lipca 1626 roku zamek obiegłyobległy wojska szwedzkie pod dowództwem [[Gustaw II Adolf|Gustawa Adolfa]]. Polską obroną dowodził [[rotmistrz]] [[Wojciech Pęcławski]], który miał do dyspozycji 300 ludzi. Mimo szczupłych sił obrońcy zdołali odeprzeć szturmy 7500 atakujących do 19 lipca, gdy Szwedzi wdarli się od wschodu przez przedzamcze i na Zamek Średni. Obrońcy złożyli honorową kapitulację i w dowód podziwu za mężną obronę pozwolono im 20 lipca odejść do Grudziądza. Za utratę zamku, przebywającego w niewoli rotmistrza Pęcławskiego skazano zaocznie na karę śmierci. Szwedzi po zdobyciu zamku zbudowali 11 ziemnych bastionów. W 1629 roku fortyfikacje powiększono o kolejną linię obronną, które wojska polskie hetmana Stanisława Koniecpolskiego próbowały bezskutecznie zdobyć 25 lipca. W 1636 roku Szwedzi zamek opuścili i przejęły go ponownie wojska polskie. Zamek został wyremontowany przez [[Gerard Denhoff (syn)|Gerarda Denhoffa]] powołanego na tę funkcję przez króla [[Władysław IV Waza|Władysława IV]] znacznie go dozbrajając o 66 dział. W roku 1644 w wyniku pożaru spaliły się dachy na Zamku Wysokim oraz zniszczone zostały krużganki. Odbudowano je w stylu barokowym. Kolejne poważne zniszczenia nastąpiły podczas "potopu szwedzkiego". W 1726 roku na wieży zamontowano nowy, barokowy hełm. Od 1737 roku na Zamku Wysokim mieściły się koszary polskiego regimentu[[regiment]]u piechoty. Za panowania króla Augusta II na wieży zbudowano nowe zwieńczenie z latarnią oraz położono nowe dachy. Pomiędzy latami 1756-67 na miejscu nieistniejącej już wtedy Wieży Kleszej (między kościołem zamkowym a Zamkiem Średnim), zbudowano dwupiętrowy barokowy gmach kolegium jezuitów. WPo [[I rozbiór Polski|I Rozbiorze]], w dniu 13 września 1772 roku zamek zajęli Prusacy.
