Здравствуйте.
Вы, как отец, (если Вы, разумеется, не лишены родительских прав) имеете конституционное право на воспитание и нахождение рядом со своими детьми, поэтому никто «в приют» ребенка не заберет, если Вы изъявите желание забрать ребенка к себе.
При этом, разумеется, помещение ребенка в специализированное учреждение, если родители по каким-то причинам не осуществляют свои родительские обязанности, вынужденная мера со стороны государства, поэтому при отсутствии возможности со стороны родителей быть с ребенком его, конечно, поместят в специализированное учреждение.
Удачи.