Ще я карам по спомен... Бях правил такова нещо, но отдавна. Направих ListView-то виртуално (имаше по едно време тема по този въпрос май).
И така...

1. ListView1.OwnerData := True;
2. Направих един клас наследник на TCollectionItem, в който сложих пропъртита
за visible columns
3. Във формета сложих един TCollection, в който се пъхат Item-и от т.2
4. Пуснах един ListView1.OnData event... Там се проверява какво да се вижда
и какво не
5. При всяка промяна на visible property от т.2 се преинициализират колоните.
Columns.Clear и после Columns.Add за всички видими...