Zámecký rybník je se svojí rozlohou 10 ha největší vodní plochou v okolí Lipové. Byl vybudován po selském povstání v roce 1680, kdy Lipovské panství vlastnil Johan Georg Slawata. Sedláci se pokusili dobýt zámek, což se však nepodařilo, jejich vůdci byli popraveni a sedláci museli na důkaz podrobení a smíru vystavět robotou tento rybník. Hráz rybníka je vyložena kameny a osázena lipami, které jsou součástí zdejší lipové aleje. Na rybníce je zbudován ostrůvek, který slouží jako hnízdiště pro volavky, divoké kachny a labutě.