[Предложение]Предложение за подобряване на оценяването на изпитите.


6

След като стана ясен начина на оценяването на предстоящите изпити по "Качествен Програмен Код" и "JavaScript" се сетих за едно възможно подобрение на оценяването. Както знаем, във всички спортове със съдий които са хора, винаги го има момента на "грешка" в оценяването. Поради една или друга причина хората са склонни да дават по-висока или по-ниска оценка от реалната за случая "без видима причина" :) - да за съжаление е така и няма да се промени скоро. Все пак с много години отделени в търсене на решаване на проблема в спорт като Ски Скоковете (от където може да се взаимства подобрението) е въведено следното правило при оценяването на скоковете: оценка дават 5 съдий след което се премахват най-високата и най-ниската оценка и крайната оценка се получава от сбора на оценките на останалите 3 съдий.

Линк към част от правилата!

Според мен това доста вдига реалноста на оценката и предотвратява споменатите проблеми посочени по-нагоре в текста. Пък и този метод на оценяване след като се използва в световно известен и доказал се спорт едва ли не върши работа, въпреки че манипулаций може да има и винаги ще има.

Еми това е от мен, желая на всички успех на предстоящите изпити.




Отговори



10

Ще правим на ръка отсраняване на оценки, които значително се различават от останалите. Примерно ако 5 души са оценили едно решение около 60 и някой се изцепи 12 или 96, значи нещо не е наред. Не само ще отстраняваме такива оценки, но и ще разглеждаме дали оценителят не оценява масово некоректно, за да го накажем.

Наков


от svetlin.nakov (31978 точки)


0
Това е много добре че ще има такъв контрол, бих казал че това е най правилния начин. Но може да се използва пак защото може да има и по малки отклонения, не толкова фрапантни, също така едва ли ще промени крайната оценка на оценяването, поне аз така си мисля - може да се тества дали оказва влияние на оценката.

от stoyanov (2483 точки)

0
В университета, в часовете по лабораторни упражнения, смятахме по едни формули как да отстраним "грешните" измервания за да можем да ги премахнем и да получим коректни изчисления.
Така, че задачата за некоректността на даване на крайни оценки може (и трябва) да се автоматизира. А тези, който започнат да се доближават до "масовото" некоректно оценяване да се предупреждават и да бъдат баннвани.

от Dobromir (777 точки)



0
Харесвам идеята, но това би означавало да се увеличи минималният брой на проверените домашни от 3 на поне 4. Съгласен съм на увеличение до 5 проверявани домашни.



0
По принцип може да се въведе и при домашните но трябва да се покачи бройката на проверяваните домашни (тихо че ще ни подхванат - тея домашни се оказаха страшен проблем не само за мен :))) ), както си споменал. Иначе предложението го давам за оценяването на изпитите, за които разбрах че ще се оценяват по 7-8 и нагоре от всеки.

от stoyanov (2483 точки)

0
Моя грешка. Пропуснал съм, че става дума за изпитите. Иначе е доста добра идея за изпитите.



0
и аз съм за, в много случаи с този тип оценяване става по-обективен като се махат най-ниската и най-високата оценка. Например на едно оценяване бях получих 5 максимална гласа и 1 минимален, което средно аритметично не ми даде най-високата оценка. В крайна сметка този един минимален глас дали е бил обективен, все още се чудя, но в крайна сметка този глас е повлиял на оценката ми.
Поздрави

от kpacu (1114 точки)


3
Тази система я прилагаме с домашните, за които имаме над 5 оценки. При изпитите имаме подобна (но по-добра) система за отсяване на некоректните оценки.

от Nikolay.IT (39117 точки)


0
Супер не знаех че при домашните е така - това означава че оценките са, може и с малко но по-обективни.

от stoyanov (2483 точки)


0

П.п. Тъй като стана дълго - най-важното е в последния параграф! Ако някой го прочете до край (поне от официалните лица на акдемията) - жив и здрав.

Несвързано с предложението на колегата пряко, но пак по тема проверяване и критерии:
Според мен трябва да се обърне сериозно внимание на критериите и да се изпипат много добре и прецизно, защото от тях зависи всичко. Ето какво забелязах аз от проверяването в Slice & Dice:

Почти никъде нямаше опции между "изглежда добре" и "не е имплементирано", а реалността показва, че средностатистически повечето неща се намират именно в тази зоне - имплементирани, но не чак толкова добре, че да си заслужат тази титла. Това създава доста проблеми - направено е нещо, което е много далеч от заданието, но все пак е имплементирано нещо - дали това е "изглежда добре"?

Накратко по-фини критерии.

Имаше доста неточности в самите върпроси - по-важното е, че те така и не бяха отстранени. Става върпос предимно за проблеми от copy/paste характер - останал е въпропсът с грешно залгавие или отговори (много подвеждащо - на места не беше ясно въобще какво се оценява - въпросът един, а отговорите съвсем несвързани с него). Имаше също повтарящи се въпроси.

т.е внимателно оглеждане за смислови, правописни, copy/paste грешки.

Личеше си как различни хора са писали различни критерии - за различните резолюции например ни питаха едно и също, но с различни думи.

т.е да не се допуска смислова непоследователност (inconsistency) във въпросите.

И едно за накрая, но най-важното според мен! (другите са до голяма степен технически, от недоглеждане или бързане и при повече време и желание лесно се избягват) - много голямо (лошо) впечетление ми направи, че качествената работа и вниманието към детайлите вместо да се поощряват се наказваха. Това стана разбира се косвено, но ясно изразено - просто нямаше критерии, които да покриват "тънките моменти" (градиенти, font-family, font-size, box-sahdow, text-sahdow, letter-spacing, line-height ...) т.е. точно тези пипкави неща, които отнемат супер много време, за да се направят качествено (а нали целта е да го правим така?). Няма да ги забравя тези градиенит - освен основният всички други бяха сложени ей тъй на майтап - нямаше никаква визуална разлика между началния и крайния цвят (поне на нискокачествен монитор = 99.99% от юзърите на сайта), но все пак градиент имаше. И така се създаде ситуация, в която хора, които са направили сравнително повече като количество, но с далеч от задоволителното качество (ala "с голямата баданарка") получиха повече точки, от хората избрали да рпавят нещата както трябва (Съответно направили по-малко количествено, но повече качествено). Не искам да споря кое е по-важно (количество vs качество) - балансът е тънък, но смятам, че трябва да се оценяват поне наравно. Защото след оценяването по критерии, тези проекти нямат шанс да стигнат до оценяване на ръка (От лектор) и така в крайна сметка (по моему) никога няма да бъдат оценени правилно.

Опасявам се да не се получи така и на предстоящите изпити. Нека да има критерии покриващи различните категории неща и различното качество на работа т.е. освен критерии за това дали са направени всички основни неща, правилно и по достойнство, да се оценяват и качествената работа и старанието вложени в работата на даден човек - измислил по-оригинално решение, намерил бъг или bottleneck, който го няма в критериите, написал изключително качествено документацията, покрил нестандартни test случаи и т.н.

И понеже тези случаи са много и не могат да се покрият с формални критерии (а и не е нижно) ето какво предлагам:

Да има допълнителни бонус точки, които да могат да се дават както при домашните, но за всяка секция критерии (подзадача) поотделно, като всяко даване на бонус се аргументира (коментар на проверяващия). Също мисля, че е редно поне всички крайни (цялостни) коментари за проекта да бъдат изчитани от трейнърите - там се отбелзява ако е забелязано нещо различно от нормалното (било то в + или в -) и крайната оценка да може да се коригира от тях  - те също да дават бонуси или да наказват съответно като всичко това (трейнърските коментари, а по възможност и общите от другите оценявали) да бъдат видни накрая.


от loloto (1073 точки)