Могут ли "отобрать" опекаемого ребёнка?

Несколько месяцев назад взял 5-летнего ребёнка в опеку с намерением в дальнейшем усыновить. Мать лишена родительских прав. В целом всё нормально у нас, но есть у него 20-летняя сестра, которая, узнав об этом факте, сильно захотела ребёнка забрать к себе (тоже под опеку). Звонила мне, уговаривала согласиться отдать ей. Я не согласен: и привязался уже к нему (и он ко мне), и не считаю, что у неё ему будет лучше (он, собственно, даже мало с ней знаком), и не вижу проблемы в том, чтобы им продолжать общаться просто как сестре с братом (в разных городах мы, правда, но всё равно ведь как брат он от неё никуда не денется - я с самого начала был не против их общения, они по телефону уже регулярно разговаривают)...

Вопрос у меня такой: как решаются такие спорные вопросы? Может ли орган опеки без моего согласия просто взять и переназначить опекуна - передать ребёнка ей? Или она может сделать это лишь через суд?

Давно мечтал о сыне, и теперь вот очень не хочется расставаться...
:-(((