Здравствуйте,
Дедушка конечно может забрать у вас детей, но в порядке ст. 68 СК РФ вы можете требовать передачи детей вам. Чтобы дети проживали с дедом на законных основаниях, ему нужно установить опеку, а пока вы не лишены родительских прав и не ограничены в них (ст. 69, 73 СК РФ) добиться опеки практически нереально.
Однако чтобы снизить риск передачи детей деду, нужно исполнять родительские обязанности надлежащим образом, не допускать проживания детей в антисанитарных условиях, чтобы к вам не было претензий со стороны органа опеки.
С уважением, Андрей Козырев