Резюме (коментарите се отнасят то пълния текст):

1. Раздел първи е подготвен от докторант Вера Стаевска, която представя резултатите от проверка на хипотезата дали изходни социални фактори, определящи личността на студента, влияят на резултатите от оценяването му. Ако това е така, то изследването на собствените свойства на механизмите за оценяване би било твърде затруднено. В този случай резултатите от оценяването биха били синкретичен резултат от собствената образователна политика на Катедрата, но и на фактори, стоящи далеч отвъд нейния контрол. Това би означавало, че оценяването по същество “измерва” друго, а не резултата от учебния процес. Ето защо отхвърлянето на тази хипотеза е предварително условие за допускането, че процесът на оценяване в катедрата има собствено академично съдържание. След отхвърлянето на тази изходна хипотеза става възможно търсенето на съответствие между вариациите на оценяването и вариращи признаци от собствено академично (но не задължително – образователно) естество.


RE:

Една нулева хипотеза не може да бъде ‘приета’. Единствено възможно е да няма убедителни данни които да позволят отхвърлянето й (в рамките на някое от конвенциалните равнища на статистическа значимост). Това обаче не означава е можем да я 'приемем', а, базирано на желаното ниво на статистическа значимост, да вземем арбитрарно решение че регистрираните отклонения (понеже НИКОГА няма да има пълна липса на връзка) се незначителни; По принцип модели които не позволяват охвърлянето на нулевата хипотеза са в безполезни, защото едимственото което показват е че има голяма вероятност стойностите в конкретните данни да бъдат получени ако нулевата хипотеза е вярна. Да не говорим че научните списания никога няма да публикуват нешо което иска да докаже липса на връзка.

Авторката допълнително обърква нещата като казва че целта й е да 'отхвърли' хипотеза. Обаче, хипотезата която иска да отхвърли е всъщност е алтернативната хипотеза (наличие на ефект на стратификационните променливи върху успеха) т.е. всъщност иска да покаже че нулевата е вярна. Това е реторически неубедителен опит да се избяга от проблема по-горе, т.к. алтернативната хипотеза също не може да бъде 'отхвърлена' - тя единствено може да бъде изведена като "вероятно" приемлива базирано на това дали има или няма доказателство за отхвърлянето на нулевата хипотеза. Ако няма доказателство за отхвърляне на нулевата хипотеза това не означава автоматично че алтернативната е 'невярна'. Логиката на тестването на хипотези се състои в това да се прецени каква е вероятността да бъдат получени конкретните за наличните данни параметри, ако нулевата хипотеза (липса на асоциация) е вярна. Това означава, че статистически издържания аргумент се фокусира върху това до каква степен регистрираните асоциации могат да бъдат ефект на случайни или систематични фактори. Ако отклоненията са по-големи отколкото това би могло да е причинено от случайни фацтори, нулевата хипотеза (липса на ефект) се отхвърля (с Х% вероятност), и се приема че асоциация е налице, с вероятност за грешка базираа на някое от конвенционалните нива за статистическа значимост (.01, .05, .1)

Авторката не специфицира формално модела си (напр. като уравнение на линейна регресия - подозирам че дори не е използвала такава, а е гледала променливите по двойки). Единствено цитира някакви стойности на коефицианта на детемрминанция (aka R-squared) и прави арбитрарни (и абсурдни) съждения за това колко силна или слаба е връзката.

*НЕ СЪЩЕСТВУВАТ* априори критерии на базата на които да може да се каче че еди колко си процента обяснена вариация са "добре" или "зле". За приложенията в социалните науки, коефициент на детерминация асоцииран с една единствена променлива който обяснява 8% от варияцията в зависимата променлива се смята за МНОГО добро постижение. За някои приложения дори ако целия модел (т.е. всички променливи) обясняват 8%, се смята за голямо постижение. А тука говорим за единична променлива! (пол)

Нещо повече, няма никаква дискусия за статистическата значимост на коефициентите. В конкретния случай няма значение фактът че данните с които разполага всужност изчерпват генералната съвкупност. Моделът съдържа само няколко базисни стратифицационни променливи и изледва връзката им с успеха. Това означава че има 'огромен' стохастичен компонент (т.е. всички други фактори които определт успеха), който не е операционализиран в модела, т.е. се намира в 'грешката' . Следователно, статистическата значимост на параметрите на (стратифицационните) променливите в този модел може да е или да не е налице - което е особено важно и проблемно ако стохастичният компонент е корелиран с някой от променливите (например, ако жените са по-умни от мъжете, хехехе, което ще внесе грешка в оценката на ефекта на пола). Или, ако качеството на гимназиалното образование е корелиранно с успеха от следването и в съжото време е корелирано с местоживеенето (а това очевидно е така). И така до безкрай. Един издържан модел ще обедини всички тези променливи, ще дискутира ефекта и статистическата значимост на всяка една от променливите, и ще дискутира типа на връзката им с грешката, и възможностте за подвеждащи оценки на параметрите породени от тази корелация. (също така, ше дискутира дали 5-те основни предпоставки за приложимост на регресията са удовлетворени, ама аре да не задълбаваме)

Последно, авторката не цитира конкретните ефекти на промелнивите (например бидейки жена причинява успехът на студента да е с еди колко си по-висок/по-нисък от този на не-жените' или пък средния успех на тези от добри гимнязизи вс този на тези от недобри гимназии. Т.е. няма никаква илюстрация на конкретните разлики между субгрупите, нито дискусия на статистическата значимост на тези разлики. Само цитира каква пропорция от вариацията в успеха е обяснена от различните променливи и на базата на никакви критерии отсъжда че тя (пропорцията) е незначителна. не съществува линейна зависимост между пропорцията обяснена вариация и силата на връзката: местоживеенето може да обяснява нищожен процент от вариацията, но може да има 'икономически' знаителен ефект.

Особено смешно е това че коефициент на вариация от 33% бил 'слаб!!! в БОЛШИНСТВОТО статии (дори и в икономиката) Р^2 от 25% е мечта! Р^2 от типа на 66% и нагоре, което според авторката е "удовлетворително" се срещат или само в тотално омацани модели, или в биомедцинските и инженерните изследвания :))).

Последно, не би било никак странно ако различните под-групи дефинирани на базата на стратификационни променливи манифестират различна динамика на успеха през годините ( самоче текста не позволява да се види дали това е така). Итова би се дължало на факта че подобни групи имат различна 'биография', или, 'структурна определеност' (която да се намира във връзка с потенциала за академични постижения, мерен на базата на успеха). Стратификационните променливи служат единствено грубо да се маркират границите на подобни групи, но не дават недвусмислена информация за естеството на структурните разлики между тях. А хипотезата, както е стейтната в този текст е, че тези променливи сами по себе си причиняват разлики в успеха - хахаха ;). Това наистина бби било проблем ако това че съм се родил мъж автоматично ме правеше с по-нисък успех ;Р

И е *пълен булшит* че анализът на ефекта на катедрените политики върху успеха "би бил твърде затруднен" ако стратификационните променливи имат ефект (както казва резюмето на секцията, писано от подозирам кой) - това че екипът на модернизатора на знае как се прави това е друг въпрос (и всъшност същинският проблем).

Даже най-елементарния модел който може да бъде използван за целта - линейната регресия прави именно това - изолира ефекта на независимите променливи включени в модела, докато държи нивата на останалите (променливи) фиксирани. Нещо повече, и много по-интересно - ефектът на определени институционални променливи/образователната политика на катедрата и т.н. може да варира съобразно различните субгрупи. Това също леснно се оценява), но, не виждам нито дума за това в текста. Нито пък е изследвана възможността за интеракция между независимите променливи (напр. местоживеене+пол и.т.н.)


Според мен това е непрофесионално подготвен анализ. Tова не значи не бих се съгласил със заключенията и изводите, просто, за съжаление в текста няма нищо, което да ги подкрепи или отхвърли.

Мързи ме да чета останалите секции сега, надявам се в тях да няма чак толкова лейм проблеми, ще видим ;РРРР