England, 1959. I den konservativa brittiska kuststaden Hardborough bestämmer sig Florence för att öppna stadens första bokhandel. Lokalen hon väljer är Old House, ett övergivet hus mitt i staden som enligt rykten sägs spöka. Den inflytelserika Violet har länge haft planer på att öppna en konsthall i samma byggnad och tillsammans med andra invånare gör hon nu allt för att försöka få Florence vräkt.