Þar skrifaði Halldór Laxness Sölku Völku og í seinni heimsstyrjöldinni notaði Landsbankinn húsið til að geyma skjöl þar sem húsið þótti svo sterkbyggt.
Í næsta nágrenni eru fleiri sögufræg hús, eins og læknisbústaður Sigvalda Kaldalóns, læknis og tónskálds og Garðhús heimili Einars G. Einarssonar athafnamanns og fyrsta kaupmanns Grindavíkur. Þessi þrjú hús voru miklar menningarmiðstöðvar fram undir miðja öldina. Hjá þeim Einari í Garðhúsum, Sigvalda og Einari í Krosshúsum dvöldust margir af merkustu listamönnum þjóðarinnar svo sem Gunnlaugur Scheving, lismálari og nóbelskáldið Halldór Laxness, sem áður var getið.
„Umhverfið við Krosshús er magnað. Maður heyrir í briminu og svo eru hestar og kindur á beit í nágrenninu. Maður þarf ekki sumarbústað þegar maður býr þarna,“ segir eigandi hússins.