Могут ли забрать ребенка при жалобах бабушки на запрет встреч с ним?

Добрый день, такая ситуация от первого сожителя у меня есть дочь, он никак не помогает, с дочерью на контакт не идёт, но я вышла замуж и мой муж против чтобы дочь общалась с матерью сожителя, так как вечные скандалы не хочу слышать. Но его мать обещает подать в опеку на меня, боюсь что у меня заберут дочь, к тому же я сейчас не работаю