Юлия, чтобы он не узнал доверенность отменить не получится.
Вы можете предотвратить сделки по этой доверенности подав заявление в МФЦ о том, чтобы без Вашего личного участия никакие сделки с квартирой не производились.
Что касается доверенности — надо пойти к нотариусу и оформить распоряжение об отмене доверенности. Проблема в том, что копию распоряжения надо направить доверенному лицу и заинтересованным сторонам. Вы можете конечно не направлять доверенному лицу коию распоряжения — но доверенность до этого момента для него будет действительна. Однако, вы можете направить копию распоряжения в Росреестр и тогда они не будут иметь права оформлять сделки с Вашей квартирой с использованием этой доверенности.