Что тогда предпринимать в таком случае?

Здравствуйте. Можете обратиться в опеку и объяснить ситуацию. Далее вероятен иск о признании матери недееспособной. Ст. 29 ГК РФ

1. Гражданин, который вследствие психического расстройства не может понимать значения своих действий или руководить ими, может быть признан судом недееспособным в порядке, установленном гражданским процессуальным законодательством. Над ним устанавливается опека.

Иск можете подать Вы или опека. Ст. 281 ГПК РФ

2. Дело о признании гражданина недееспособным вследствие психического расстройства может быть возбуждено в суде на основании заявления членов его семьи, близких родственников (родителей, детей, братьев, сестер) независимо от совместного с ним проживания, органа опеки и попечительства, медицинской организации, оказывающей психиатрическую помощь, или стационарной организации социального обслуживания, предназначенной для лиц, страдающих психическими расстройствами.

Плюс к тому же я пока ещё не смог трудоустроиться, так как совсем недавно стал совершеннолетним. Насколько это в моей ситуации является проблемой?

 не является никак.

Что мне делать в моей ситуации, какие конкретные действия я должен предпринять?

 как указал выше, обратиться в первую очередь в опеку. Поговорить с ними.

Какие нужны документы и справки?

 если только составить иск, либо документы, свидетельствующие о ненормальном поведении матери.

если над матерью и над братом опеку оформить будет сложно, то можно ли оформить опеку только над братом? Насколько это будет проще? Что тогда предпринимать в таком случае?

 думаю Вам над братом лучше попробовать установить опеку, либо чтобы над братом опеку взяли бабушка, либо дедушка. Потому что они всё-таки имеют постоянный доход и более богатый жизненный опыт. Также  я думаю лучше подумать над мамой тоже бабушке или дедушке установить опеку. Ст. 35 СК РФ

2. Опекунами и попечителями могут назначаться только совершеннолетние дееспособные граждане. Не могут быть назначены опекунами и попечителями граждане, лишенные родительских прав, а также граждане, имеющие на момент установления опеки или попечительства судимость за умышленное преступление против жизни или здоровья граждан.

3. Опекун или попечитель может быть назначен только с его согласия. При этом должны учитываться его нравственные и иные личные качества, способность к выполнению обязанностей опекуна или попечителя, отношения, существующие между ним и лицом, нуждающимся в опеке или попечительстве, а если это возможно — и желание подопечного.

можно ли оформить опеку только над братом?

Согласно ст. 10 ФЗ от 24.04.2008 N 48-ФЗ  «Об опеке и попечительстве»  совершеннолетний брат несовершеннолетнего подопечного имеет преимущественное право быть его опекуном или попечителем перед всеми другими лицами.

В соответствии с п. 1 ст. 32 ГК РФ 

Опека устанавливается над малолетними, а также над гражданами, признанными судом недееспособными вследствие психического расстройства.

Т.е. для установления опеки над матерью, сначала необходимо ее признать недееспособной вследствие психического расстройства.

Недееспособность совершеннолетнего гражданина устанавливается в судебном порядке по правилам ст. 29 ГК РФ.

Согласно п. 1 ст. 29 ГК РФ

Гражданин, который вследствие психического расстройства не может понимать значения своих действий или руководить ими, может быть признан судом недееспособным в порядке, установленном гражданским процессуальным законодательством. Над ним устанавливается опека.

Кроме того, в силу психического заболевания (в зависимости от тяжести данного заболевания) над совершеннолетним гражданином может быть установлено попечительство в случае признания его ограниченно дееспособным.

Так, согласно п. 2 ст. 30 ГК РФ 

 Гражданин, который вследствие психического расстройства может понимать значение своих действий или руководить ими лишь при помощи других лиц, может быть ограничен судом в дееспособности в порядке, установленном гражданским процессуальным законодательством. Над ним устанавливается попечительство.

В зависимости от того, установлена над психически больным человеком опека или попечительство, у опекунов и попечителей разные права и обязанности.

Близкие родственники имеют преимущественное право быть опекунами или попечителями недееспособного или ограниченно дееспособного гражданина перед всеми другими лицами.

 Для определения характера и степени психического расстройства используется судебно-медицинская экспертиза, проводимая соответствующим мед.учреждением.

Для признания гражданина недееспособным или ограниченно дееспособным кроме степени тяжести псих.заболевания необходимо установить следующие обстоятельства:

— осознает ли гражданин свои действия и отдает ли отчет им;

— способен ли он руководить своими действиями. 

Данные обстоятельства устанавливаются судом.

Согласно ст. 281 ГПК РФ дело о признании гражданина недееспособным или об ограничении гражданина в дееспособности может быть возбуждено на основании заявления членов его семьи, органа опеки и попечительства, медицинской организации, оказывающей психиатрическую помощь.

По условиям п. 1 ст. 35 ГК РФ 

Опекун или попечитель назначается органом опеки и попечительства по месту жительства лица, нуждающегося в опеке или попечительстве, в течение месяца с момента, когда указанным органам стало известно о необходимости установления опеки или попечительства над гражданином.