Могу ли я как-то забирать сына на летние каникулы с собой?

Евгений добрый день! В соответствии с ч.1 ст.66 Семейного кодекса Р.Ф: 

«Родитель, проживающий отдельно от ребенка, имеет права на общение с ребенком, участие в его воспитании и решении вопросов получения ребенком образования. Родитель, с которым проживает ребенок, не должен препятствовать общению ребенка с другим родителем, если такое общение не причиняет вред физическому и психическому здоровью ребенка, его нравственному развитию»

В соответствии с ч. 2 :

2 «Родители вправе заключить в письменной форме соглашение о порядке осуществления родительских прав родителем, проживающим отдельно от ребенка. Если родители не могут прийти к соглашению, спор разрешается судом с участием органа опеки и попечительства по требованию родителей (одного из них). По требованию родителей (одного из них) в порядке, установленном гражданским процессуальным законодательством, суд с обязательным участием органа опеки и попечительства вправе определить порядок осуществления родительских прав на период до вступления в законную силу судебного решения»

Таким образом Вам нужно либо договориться с бывшей супругой и заключить письменное соглашение о порядке общения с ребенком, или обратиться в суд с исковым заявление об определении общения с ребенком.