Имею ли я право отказывать ему?

Здравствуйте, Татьяна! Согласно ч.1 с.т 66 Семейного кодекса РФ 

1. Родитель, проживающий отдельно от ребенка, имеет права на общение с ребенком, участие в его воспитании и решении вопросов получения ребенком образования.
Родитель, с которым проживает ребенок, не должен препятствовать общению ребенка с другим родителем, если такое общение не причиняет вред физическому и психическому здоровью ребенка, его нравственному развитию.

Так как в Вашем случае имеется спор об установлении режима общения родителя с ребенком, Вы с бывшим супругом можете составить письменное соглашение о порядке осуществления им родительских прав. В случае, если мирным путем урегулировать спор не удается, Вы можете обратиться в суд с требованием об установлении порядка общения родителя с ребенком.