Ст. 66 СК РФ Родитель, проживающий отдельно от ребенка, имеет права на общение с ребенком, участие в его воспитании и решении вопросов получения ребенком образования. Родитель, с которым проживает ребенок, не должен препятствовать общению ребенка с другим родителем, если такое общение не причиняет вред физическому и психическому здоровью ребенка, его нравственному развитию.
Согласно ст. 67 СК РФ Дедушка, бабушка, братья, сестры и другие родственники имеют право на общение с ребенком.
Ваш вопрос скорее межличностный. Закон не устанавливает конкретных требований относительно порядка общения родителя проживающего отдельно от ребенка. Вы можете заключить соглашение с бывшим мужем о порядке общения с ребенком, где указать, что общение производиться лично родителем в присутствии вас, можете указать, что общение не допускается в присутствии иных лиц и тп.