1525年之前被亨利八世赏赐给里士满公爵的达勒姆住宅，是由托马斯·哈特菲尔德主教在大约1345年时建造的一座豪华的城内住宅。它有一个很大的教堂和有着高高的天花板的大厅，支撑大厅的柱子全部由大理石制作而成。住宅的左侧的有一个非常大的庭院，大厅和教堂的入口面对着泰晤士河。
自从英格兰的亨利四世国王（1367年4月3日～1413年3月20日在位）与他的儿子威尔士亲王（后来的亨利五世）以及侍从们在这所住宅内短暂逗留过一些日子后，这所住宅便成了适合王子居住的贵族宫殿。
事实上，这所住宅一直以来都是北方达勒姆郡的达勒姆主教兼伯爵在伦敦城内的住所。宗教改革期间，达勒姆主教库斯伯特·通斯托尔把它献给了亨利八世。亨利八世也曾与主教签署协议，答应将伦敦城内的其他归属于主教的住宅归还给主教。不过，亨利八世却从未履行过自己的诺言。
1532年，安妮·博林王后曾在达勒姆住宅内居住过一些日子。1533年时，亨利八世在这所住宅内向安妮求婚。里士满公爵于1536年患上瘟疫（疑似肺结核病）去世后，亨利八世将这所住宅终生授予给了安妮王后的女儿伊丽莎白公主。现在，伊莎贝尔·沃尔顿却改变了里士满公爵的命运，这所住宅自然仍由亨利八世的私生子所拥有。
爱德华六世在执政期间，批准了支付给伊丽莎白公主的一笔款项后，剥夺了她拥有这所住宅的所有权。玛丽女王登基后，再次从伊丽莎白公主的手中夺走了住宅，并打算将住宅和其他住宅一起归还给达勒姆主教。不过，那时的达勒姆主教在伦敦城内已不再拥有一所住宅。值得一提的是，简·格雷郡主（九日女王）于1553年5月21日或25日在这所住宅内与吉尔福德·达德利（诺森伯兰公爵约翰·达德利的儿子）结婚。
———————————
伊莎贝尔与里士满公爵慢步在达住宅的庭院内时，她很惊异于街道与住宅的故事。当她听到亨利八世在这所住宅内向安妮王后未婚的故事后，更加诧异起来，“亨利，我并不适合居住在这里。”