První písemná zmínka o hradu, pochází z roku 1355. Byla to rodina svobodných pánů ze Svojkova. Která se později rozvětvila, na další větve. Nejvyznamější větev byla svobodných pánu z Chlumu, z hrádku u Mladé Boleslavi. Zakladatel této větvě se jmenoval Henzelín, měl tři syny Petra, Vilema a Jana. Jan z Chlumu v roce 1402 prodal, část svého majetku svým bratrům. A vstoupil do armády budoucího císaře Zikmunda, který ho v roce 1414 vyzval. Aby podstoupil cestu do Kostnice, na kostnický koncil, jako průvodce Mistra Jana Husa. Tímto proslavil svůj rod. Potom získal Svojkovské panství, Mikeš Pancíř ze Smojna. Který byl loupeživým rytířem, a z hradu vyrážel na své loupeživé výpravy. Další historie je všelijaká.