Благодаря за препоръките, надявам се да са от полза. По отношение на това как да избегна проблема - оказа се, че проблемът е само при ползване на XmlSerializer. Аз го заобиколих като ползвах Binary-сериализация.