Можно мне прийти в данный конкретный районный суд с паспортом и подать заявление с просьбой считать эту доверенность недействительной?

По смыслу ст. 188 ГК РФ Вы вправе отменить доверенность

2. Лицо, которому выдана доверенность, во всякое время может отказаться от полномочий, а лицо, выдавшее доверенность, может отменить доверенность или передоверие, за исключением случая, предусмотренного статьей 188.1 настоящего Кодекса.

При ее отмене действие такой доверенности прекращается с даты ее отмены.

Простую доверенность можно отменить как в нотариальном порядке, так и самостоятельно. Нотариальную доверенность можно отменить только при обращении к нотариусу с заявлением о ее отмене.
Если вы отменяете простую доверенность самостоятельно, Вы для целей извещения о ее отмене можете разместить сведения об этом путем публикации в газете «Коммерсантъ».

При нотариальной отмене доверенности любые лица считаются извещенными на следующий день после того, как сведения об отмене внесли в открытый реестр.

В части извещения суда, в ч. 2 ст. 59 ГПК РФ указано, что 

2. Лицо, участвующее в деле, выдавшее доверенность на ведение дела в суде и впоследствии отменившее ее,обязано незамедлительно известить об отмене суд, рассматривающий дело.

Для этих целей Вы можете направить в суд соответствующее заявление или уведомить об этом суд при личной явке. 

Вы, очевидно, грамотный человек и, конечно понимаете, что то, что Вы написали, ответом на мой вопрос не является, даже формально. Вы скопировали из интернета общую информацию об отмене доверенностей, которая и так всем доступна через секунду, после запроса в Гугле. Естественно, я эту информацию уже видел. Но Вы не нашли, и сами не знаете ответа на МОЙ вопрос можно ли и достаточно ли будет написать заявление от имени доверителя на имя конкретной организации, в которую доверитель адресовал свою же доверенность, хоть и заверенную нотариально, вместо того, чтобы идти окольным путём через нотариуса. Никто не говорит, что юрист знает всё досконально. Но, если Вы отвечаете на вопросы за деньги, то предполагается, что Вы знаете где найти ответы на все вопросы. Попытаетесь ещё раз?

можно ли и достаточно ли будет написать заявление от имени доверителя на имя конкретной организации, в которую доверитель адресовал свою же доверенность, хоть и заверенную нотариально, вместо того, чтобы идти окольным путём через нотариуса.

Не будет достаточно.

Порядок отмены полномочий представителя мы Вам описали. Он четко прописан в ГК РФ.

Без отмены доверенности Вы напишете в суд заявление — о чем?

Что сообщаете об отмене доверенности на представление Ваших интересов гражданином таким-то? Так доверенность не отменена, суд может проверить доверенность по базе доверенностей и дать Вам ответ, что доверенность не отменена, и предложить в установленном законом порядке отменить доверенность.

Что просите отстранить от участия в деле Вашего представителя? И тут Вы суд поставите в затруднительное положение: с одной стороны, Вы выразили свое волеизъявление на то, чтобы данное лицо более не представляло Ваши интересы, а с другой стороны, у этого лица имеется действующая никем не отмененная доверенность на представление Ваших интересов, и не допустить его к участию в процессе — тоже нарушение. Поэтому суд скорее всего в этом случае просто отложит судебное заседание под каким-нибудь предлогом и опять же предложит Вам отменить доверенность в установленном порядке.

Поэтому как раз проще пойти к нотариусу — любому, не обязательно тому, кто выдавал доверенность — и отменить доверенность, чем вести переписки и диалоги с судом, который и сам не будет знать, что с Вами делать.

Ну, конечно, стою я живой, который говорит судье, что я этому человеку не доверяю, и стоит человек, у которого есть бумажка, где написано, что полгода назад я этому человеку доверял. И судья будет слушать не меня, а этого человека и делать мне во вред всё, что этот человек скажет или напишет?