Можно ли не давать мужу ребенка

Согласно статье 61 СК РФ Родители имеют равные права и несут равные обязанности в отношении своих детей (родительские права).

В силу ст. 66 СК РФ Родитель, проживающий отдельно от ребенка, имеет права на общение с ребенком, участие в его воспитании и решении вопросов получения ребенком образования.
Родитель, с которым проживает ребенок, не должен препятствовать общению ребенка с другим родителем, если такое общение не причиняет вред физическому и психическому здоровью ребенка, его нравственному развитию.

В Вашем случае, Вы как мать сейчас можете не отдавать ребенка на выходные, никто Вас заставить не сможет. В дальнейшем в судебном порядке можно определить порядок общения с отцом. На данный момент такого решения нет, поэтому, повторюсь, можете не отдавать. Из судебной практики только в исключительных случаях оставляют ребенка отцу, так что ребенок, с большой вероятностью, останется с вами.