老公見我被上司撕爛內衣也不吭聲

事情的起因是這樣的，我們單位領導是出了名的老色狼，先后對我們好幾個女同事進行過性騷擾。而我由于工作原因必須經常和他有一些單獨的聯系。     再后來我就直接問他，他一直不太吭聲，只是說了句：“人家又沒有對你真正怎么樣，面包比愛情重要得多!”我的天哪，我當時就感覺頭昏地轉，我為這件事天天自責，甚至晚上睡覺都睡不好，在他看來卻是這樣的輕飄飄，我真是傻得夠可以的……
    所以，從那個時候我和他的婚姻關系就等于是名存實亡了，我也辭去了原來的那份工作，他也別想要我的一分錢了，各人過各人的，他一個大男人也總不可能一直要我這樣一個女人養著吧。
    但是我們雙方的家庭并不知道這些事情，有時候我還是要做一些表面工作和他在一起的，但就這樣我也感覺很痛苦，心里一直過不了那一關，想著那件事我就覺的他險惡猙獰。我該怎么樣調節好自己的心理，這樣的婚姻我應該離嗎?