Здравствуйте, Валерия, да, пока можете не давать, к ответственности Вас за это не привлекут. Он в свою очередь сможет обратиться в суд с заявлением о порядке общения с ребенком, если он это сделает, то, конечно, придется позволять видеться, если нет, то никто Вас не сможет обязать.
Еще такой вопрос? Он платит алименты? Вы из взыскивали?
Можно попробовать лишить его родительских прав, так как с ребенком общения он не поддерживает и участия в воспитании не принимает, однако если в суде он заявит, что он желает принимать участие в воспитании ребенка, то уд скорее всего откажет и даст ему шанс, если он не наркоман и не судимый.
p.s. Вы можете обратиться ко мне в чат для развернутой подробной консультации с изучением материалов по Вашему вопросу, правового анализа ситуации, в том числе имеющих рисков, а также для составления юридических документов на платной основе.
С Уважением, юрист Малышева Светлана Игоревна!