No quiero ir a vivir con mi suegro

Hace 2 años el hermano de mi esposo se suicidó en la casa de sus padres, ahora en esa casa sólo vive mi suegro y es una casa muy grande, mi esposo me dijo que nos fuéramos a vivir ahí para ahorrarse la renta, yo no quise por lo que había pasado y también porque mi suegro es un fanático religioso y sólo habla de la biblia y te ostiga siempre. Cuando le dije que no, a mi esposo se molestó muchísimo, me dijo que era una egoísta que no veo por su economía. La verdad es que él trabaja todo el día y me quedaría sola siempre ya que tenemos un bebé. Quiero saber si estoy mal en no querer vivir ahí.