Cuando, a primeros de noviembre de 1859, Elizabeth Gaskell visitó la población de Whitby en compañía de dos de sus hijas, Meta y Julia, llevaba ya más de una década dándole vueltas a la idea de escribir una novela ambientada en el Yorkshire de finales del siglo XVIII, y en su prólogo a la primera edición de Mary Burton (1848) insinúa que ya había iniciado un primer esbozo. Pero el viaje que allí emprende en compañía de sus hijas no tiene por objeto hacer ningún «trabajo de campo», sino que es consecuencia de la mala salud de Julia, y Whitby, una pequeña ciudad marítima conocida, en la época de Gaskell, por sus balnearios, parece el lugar adecuado donde recuperarse. Y aunque se hospedan allí dos semanas, sabemos, por una carta que Gaskell le remite a James Dixon, que el clima no invitaba a realizar muchas investigaciones topográficas: «Solo permanecimos allí quince días… y fue un noviembre tan nublado que era incapaz de orientarme si no miraba el mapa». Lo que no puede negarse, y el breve epílogo a la historia de Los amantes de Sylvia es una prueba de ello, es que sí recogió abundantes relatos orales de cómo era la vida en aquella población sesenta años antes, en la época en que la principal industria y riqueza del lugar procedía de la pesca de la ballena -y no era una población muy distinta del New Bedford que describe Herman Melville en Moby Dick-, pues toda la novela está salpicada de narraciones de la pesca ballenera, desde un punto de vista, eso sí, más realista y menos épico que el que adopta Melville.