Ta budowla z cegły, która powstała w XIV w., była siedzibą zarządcy ziem kapituły warmińskiej, w której przechowywany był skarb. Obecnie mieści się tutaj Muzeum Warmii i Mazur. W orientalnym skrzydle na 1. piętrze znajdują się Komnaty Kopernikowskie, charakterystyczne dzięki pięknym sklepieniom zwanymi "kryształowymi". Nawiązują one do Mikołaja Kopernika, który mieszkał w zamku i który był zarządcą skarbu w latach 1516-1519 i 1520-1521. Na górnym piętrze znajduje się wystawa etnograficzna Warmii i Mazur.