남편이 독박육아하는 제가 부럽다고, 회사 안다니고 독박육아하고 싶대요

부부공무원이고 저는 육휴 쓰고 독박육아 중이에요. 아기는 15개월이고요. 내년부터 어린이집 갈거에요. 제가 육아휴직하고 남편은 승진 준비로 평일+주말 하루는 집에 없어요. 시댁도 멀고 타지라 동네 친구도 없어서 산후우울증도 있었어요. 그런데 남편이 회사가 너무 힘들다며 본인이 휴직하고 독박육아 하고 싶다네요. 문제는 남편이 저를 전혀 이해 못한다는 거예요. 신생아 때도 제가 새벽수유 다 했는데, 남편은 피곤한데 아기 안고 잠만 자는 당신이 부러웠다고 하더라고요. 그리고 제가 복직하고 싶어하니까 제가 엄마로서 아기를 안 사랑하는거 같대요 저는 제발 점심도 좀 여유롭게 먹고 사람들과 대화도 하는게 너무너무 그리운 것 뿐인데 마치 제가 아기 싫어하는 워커홀릭인 것처럼 말해요. 이제는 본인이 쭉 휴직하고 저보고 돈벌라네요. 진짜 독박육아가 회사보다 쉽다고 생각하는 걸까요? 남편 의견을 존중해야 할까요? 남편과 대화가 안 통해서 너무 답답해요...