Могут ли трое внуков оформить право собственности в соответствующих долях?

Уважаемая Ольга!

Вы немного неверно понимаете ситуацию с наследниками.

Наследники первой очереди — два сына: М (умер) и Ю
Ольга

двое внуков (дети М) и внучка (дочь Ю).
Ольга

Сыновья М.и Ю. — наследники первой очереди по закону. Поскольку М. умер, наследниками первой очереди по праву представления являются внуки, дети М., по праву представления. Поскольку Ю. жив, его дочь к наследованию не призывается.

ГК РФ Статья 1142. Наследники первой очереди
1. Наследниками первой очереди по закону являются дети, супруг и родители наследодателя.
2. Внуки наследодателя и их потомки наследуют по праву представления.

в случае смерти Ю сможет ли его супруга претендовать на его долю в квартире или доля автоматически «передается» его дочери?
Ольга

Если Ю. умрет после открытия наследства, его доля перейдёт к его наследникам в порядке наследственной трансмиссии

ГК РФ Статья 1156. Переход права на принятие наследства (наследственная трансмиссия)
1.
Если наследник, призванный к наследованию по завещанию или по закону,
умер после открытия наследства, не успев его принять в установленный
срок, право на принятие причитавшегося ему наследства переходит к его
наследникам по закону, а если все наследственное имущество было завещано
— к его наследникам по завещанию (наследственная трансмиссия). Право на
принятие наследства в порядке наследственной трансмиссии не входит в
состав наследства, открывшегося после смерти такого наследника.
2.
Право на принятие наследства, принадлежавшее умершему наследнику, может
быть осуществлено его наследниками на общих основаниях.

Отсюда следует, что доля Ю. перейдёт его жене и дочери.

какие документы позволят доказать, что Ю находится в состоянии, не позволяющем понимать значение своих действий?
Ольга

Решение суда о признании его недееспособным, например.