Ами, все пак крос таблици мисля, че са доброто решение, тези таблици ще ти съдържат примерно:

UserID INTEGER
GroupID INTEGER
Rights SET(canRead,canWrite,canBrowse,......)

праскаш си един индекс UNIQUE по (UserID, GroupID, Righgts)

и след това със JOIN или SUB-SELECT, зависи там каквото ползваш за DBServer, щото нали знаеш :)