В браке не вступаю так как узнала вредная привычка у него привязанность к алкоголю

Здравствуйте, Анна!

может приехать за ребенком и забрать его на какое то время

Забрать силой (буквально вырвать из рук), конечно, не может. Вероятно, так отец озвучивает свое право на общение с ребенком на основании ст.ст.61, 66 СК РФ. Вы можете заключить письменное соглашение с отцом, а можете установить порядок и через суд:

СК РФ. Статья 66. Осуществление родительских прав родителем, проживающим отдельно от ребенка.
1. Родитель, проживающий отдельно от ребенка, имеет права на общение с ребенком, участие в его воспитании и решении вопросов получения ребенком образования.

Родитель, с которым проживает ребенок, не должен препятствовать общению ребенка с другим родителем, если такое общение не причиняет вред физическому и психическому здоровью ребенка, его нравственному развитию.

2. Родители вправе заключить в письменной форме соглашение о порядке осуществления родительских прав родителем, проживающим отдельно от ребенка.

Если родители не могут прийти к соглашению, спор разрешается судом с участием органа опеки и попечительства по требованию родителей (одного из них). По требованию родителей (одного из них) в порядке, установленном гражданским процессуальным законодательством, суд с обязательным участием органа опеки и попечительства вправе определить порядок осуществления родительских прав на период до вступления в законную силу судебного решения.

Лучше договориться мирно, а если ребенок маленький (ло 3-4 лет), то Вы вправе требовать общения в Вашем присутствии. В случае судебного решения вопроса к делу подключатся органы опеки и попечительства (ст.78 СК РФ).