Отец забрал без спроса сына от бабушки в мою отсуствии

Здравствуйте, Ирина! 

Если отец не лишен или не ограничен в родительских правах, то он вправе забирать ребенка точно также как и Вы. Данное право следует из ч. 1 ст. 61 СК РФ, согласно которой 

Родители имеют равные права и несут равные обязанности в отношении своих детей (родительские права).

Поэтому, если Ваш вопрос относительно правомерности действий отца ребенка, то могу сказать, что он действует правомерно при условии, если он не лишен и не ограничен в родительских правах.