Замок Єзержі, ймовірно, спочатку був готичним замком, відомим як «De Lacu» – «від озера», заснованим, імовірно, у другій половині XIV століття лордами з Рвенице.
Згодом замок змінював кількох власників, серед яких найвідомішою була родина Гохгаузерів, яка здійснила масштабну реконструкцію та перетворила замок на ренесансний палац.
Свою сучасну Н-подібну форму будівля набула після двох барокових реконструкцій, проведених новими власниками – родиною Лобковіц, яка зробила Єзержі родовим маєтком гілки Новоседло-Єзержі.
У період бароко замок та прилегла територія утворювали унікальний ландшафтний комплекс площею близько 500 гектарів. Тут знаходилися зоологічний сад, мисливський парк і формальний бароковий сад із водними елементами – каскадами та фонтанами (збережено до 60 таких споруд). У XIX столітті було закладено парк в англійському стилі, який вважався одним із найкрасивіших садів свого часу.
Після смерті Олдржиха Фелікса (1722) маєток перейшов до головної лінії родини Лобковіц із Роудніце. Князь Фердинанд Філіп Лобковіц був великим шанувальником Карла Філіпа Емануеля Баха та покровителем Крістофа Віллібальда Глюка, який виступав у замку.
На початку XIX століття князь Йозеф Франц Максиміліан Лобковіц збудував у замку театр і створив оркестр (хор) із 22 музикантів. У цей період Єзержі став важливим центром музичного життя. Тут виконували твори видатних композиторів того часу, зокрема Враніцкого, Моцарта та Бетховена. Останній присвятив князю кілька своїх опусів, серед яких Симфонія №3 «Героїчна» (Eroica), прем’єра якої відбулася саме в Єзержі. Пізніше в замку було засновано музичну школу, одним із випускників якої став Йозеф Шпіц – учитель Антоніна Дворжака.
Після Другої світової війни палац занепав і в середині 1970-х років ледь не був знесений через вуглевидобуток на його території. Замок навіть зник із тогочасних карт. Проте його вдалося врятувати, і з 1996 року він відкритий для відвідувачів та поступово відновлюється.
