КОМПАНИЯМ
  Поиск поставщика
Решений
Оборудования и ПО
Сервисных услуг
Финансовые показатели
Цены
Сервисные центры

СПЕЦИАЛИСТАМ
  Техническая документация
Обучение и сертификация
Рейтинги экспертов
Конкурсы экспертов

ТЕХПОДДЕРЖКА
  Вызов ИТ-специалиста

ОБОЗНАЧЕНИЯ
  Вопрос снят с рейтингования
Рейтингуемый вопрос

На любой вопрос можно давать ответы. Однако, если вопрос снят с рейтингования, очки за него не начисляются. Тем не менее, эксперты могут присылать свои комментарии.

Назад НаверхВниз


ОПИСАНИЕ СИСТЕМЫ РЕЙТИНГОВНазадНаверхВниз

Общая характеристика системы

Система рейтингования экспертов ИТ Профсоюза базируется на формальной процедуре, которая позволяет перевести субъективные оценки качества работы экспертов над различными проблемами в более объективизированные баллы без привлечения дополнительной экспертизы по оценки сложности проблем. Эта система разработана по заказу ИТ Профсоюза профессиональными математиками - специалистами в области искусственного интеллекта (идея и общее руководство - к.ф.м.н Трусов А.В.). Ценность работы эксперта в ИТ Лаборатории определяется не только по оценкам качества его персональной работы над проблемами, но и по косвенным оценкам сложности этих проблем, формально выводимых на основе анализа распределения оценок, полученных другими экспертами при работе над этими же и над другими проблемами.

Система подсчета рейтингов экспертов ИТ профсоюза позволяет:
  • автоматически корректировать тренды в субъективных оценках качества выполненных работ, проставляемых заказчиками;
  • поощрять работу экспертов над трудными проблемами;
  • уменьшить возможности отдельных заказчиков доминировать в рейтинговании экспертов путем постановки большого количества узкоспециализированных проблем для узкого круга экспертов или путем искусственного завышения оценок у части экспертов.
Таким образом система подсчета рейтингов экспертов в ИТ Лаборатории ориентирована на решение двух задач - справедливое вознаграждение труда экспертов и удовлетворение запросов пользователей Лаборатории - корпораций, членов Профсоюза.

Система вычисления рейтингов

Система подсчета рейтинга работы экспертов в ИТ профсоюзе состоит из трех этапов:
  1. субъективная качественная оценка ценности ответов на отдельные вопросы, поставленные на обсуждение в ИТ лаборатории;
  2. формальное вычисление очков, заработанных экспертом на отдельном ответе;
  3. вычисление стоимости очков в баллах и подсчет общего количества баллов, набранных экспертом за оцениваемый период времени.

Оценка качества одного ответа

Каждый вопрос дает возможность экспертам заработать прибавку к своему рейтингу. Качество ответов субъективно оценивается заказчиком вопроса и модератором ИТ лаборатории (оценщиками) по следующей системе:

"+" "хороший" - ответ решает поставленную проблему;
"-/+" "средний" - ответ не помог заказчику решить поставленную проблему, хотя, возможно, он и содержит правильные моменты, "ответ не по существу";
"-" "плохой" - оценщику ответ не понравился.

Ответы поступившие после снятия вопроса с рассмотрения, в системе рейтингов не участвуют.

Начисление очков за работу над одним вопросом

В ходе работы над одним вопросом эксперты получают качественные оценки своих ответов. После закрытия (снятия вопроса с обсуждение) заказчик и модератор доканчивают оценку ответов, после чего программным путем вычисляются очки заработанные экспертами. (Эти очки играют роль трудодней, которые будут пересчитаны в баллы по окончании месяца.)

Желательно, чтобы ответы на трудные вопросы ценились бы больше, чем на легкие; но проводить дополнительную экспертизу по оценки сложности тех или иных проблем сложно. Однако, какую-то дополнительную информацию о трудности проблемы, о квалификации эксперта и о ценности того или иного ответа для заказчика можно получить, изучая распределение оценок качества, полученных экспертами по результатам работы над вопросом. Эту информацию можно использовать для перевода качественных оценок труда эксперта в количественные.

Поясним это на примерах. Пусть на вопрос (a) получено только три ответа - хороший, средний, плохой; а на вопрос (b) получено 100 ответов - один хороший и 99 плохих. Резонно предположить, что вопрос (b) был каверзным вопросом, хорошему ответу на вопрос (b) желательно дать количественную оценку в очках более высокую, чем хорошему ответу на вопрос (a).

Другой пример. На вопрос (a), заданный компанией "Simplichio" получено сто ответов, и все они оценены этой компанией как хорошие; на вопрос (b), заданный компанией "Socratus", получен один "средний" ответ и 99 "плохих" ответов. Такое распределение оценок ответов может навести на мысль, что, возможно, ответ оцененный как средний, помог компании "Socratus" больше, чем каждый конкретный хороший ответ помог компании "Simplichio". Возможно, так же, что вопрос компании "Socratus" был более сложным, чем вопрос компании "Simplichio". Наконец, можно заподозрить, что компания "Socratus" была более привередлива при выставлении оценок качества ответов. Интересно, что при принятии любой из этих гипотез, мы приходим к одному и тому же выводу, что "средний" ответ на вопрос (b) надо оценить в очках высоко, возможно, даже выше, чем "хорошие" ответы на вопрос (a).

Рассмотренные примеры наводят на мысль, что чем больше ответов имеют одну и ту же качественную оценку, тем меньшую оценку в очках заслуживает каждый из этих ответов. Большое количества мало качественных ответов приводит к увеличению ценности качественных ответов и, наоборот, большое количество хороших ответов, приводит к еще большему уменьшению ценности мало качественных ответов.


Попробуем формализовать вышесказанное. Ответы на один вопрос после оценки качества разделяются на несколько групп, в соответствии с количеством разного типа оценок. Обозначим через n1 - количество ответов в первой группе по возрастанию качества ответа ("плохих" ответов), n2 - количество ответов во второй группе ("средних"), n3 - количество ответов в третьей группе ("хороших"). Задача состоит в вычислении трех вещественных чисел - очков, начисляемых экспертам. После начисления очков каждый из экспертов, предоставивших "плохой" ответ, получит W1 очков (можно поощрить активность); каждый из экспертов, предоставивших "средний" ответ, получит W2 очков; каждый из экспертов, предоставивших "хороший" ответ, получит W3 очков. В простейшем случае, мы можем просто поставить всем хорошим ответам пятерки, средним тройки, а плохим двойки или колы. То есть мы можем использовать априорные значения W1=0, W2=3, W3=5. Вышерассмотренные примеры показывают, что можно попытаться трактовать W1, W2 и W3 как вещественные функции от целых (натуральных) аргументов n1, n2 и n3. Эти функции должны удовлетворять естественным соотношениям:

W1(n1,n2,n3) < W2 (n1,n2,n3) < W3 (n1,n2,n3) ,

для любых троек n1,n2,n3;

Это соотношение гарантирует, что при любом раскладе ответов более высоко оцененный ответ получит больше очков.

Хорошие ответы обесцениваются при их большом количестве, это условие можно формально записать как условие

W3 (n1,n2,k) < W3 (n1,n2,m) , если k>m.

Аналогичным образом мы можем выписать остальные формальные условия на функции W1, W2 и W3.

Первый вопрос, который может возникнуть, а существуют ли вообще такие вещественные функции от натуральных аргументов, удовлетворяющие поставленным условиям Второй вопрос - если такие функции и существуют, насколько широк класс этих функций и можно ли их параметризировать таким образом, чтобы можно было подбирать конкретные функции, удовлетворяющие нашим остальным неформализованным требованиям.

Ответ на первый вопрос - да, существуют. Система параметризации этих функций была создана на основе так называемой теории нечетких множеств и оказалась достаточно удобной. После настройки и экспериментальной эксплуатации мы остановились на конкретном наборе функций. Мы могли бы выписать их аналитически и привести здесь, но ценность этих формул не в их аналитическом представлении, а в их способе получения, который и придает им смысл. Поэтому мы предоставляем вам возможность поиграться с этими формулами.

Начисление очков за работу над одним вопросом

За каждый ответ эксперт получает качественную оценку которая пересчитывается в так называемые очки. Количество набранных экспертом очков является одним из показателей успешной работы эксперта и влияет на рейтинг эксперта, вычисляемый в баллах.

Как вычисляются очки Пересчет качественной оценки в количественную делается программным путем на основе изучения распределения ответов экспертов. Один ответ на вопрос может принести эксперту, например, 5 очков, если другие эксперты не смогли представить хороших ответов на этот же вопрос. Тот же самый ответ даст эксперту менее двух очков, если десяток других экспертов тоже ответили на этот же вопрос с оценкой "хорошо". Здесь мы даем возможность ознакомиться с этим вычислением "практически" на демо-версии.

Вычисление баллов по работе за период времени

Итак, эксперт, по результатам работы над каждым вопросом, получает количественную оценку своего вклада в решение данного вопроса выраженную в очках. Очки, заработанные за определенный период времени можно складывать, суммарная оценка дает неплохое представление о работе эксперта.

Однако такая оценка рейтинга путем тривиального арифметического суммирования "в столбик" позволила бы отдельным заказчиком захватывать доминирующее положение при определении рейтинга экспертов, что подрывало бы интересы и экспертов и других заказчиков.

Поясним это на примере. Член Профсоюза - не имеет ограничений на количество вопросов, которые он может поставить на обсуждение в лабораторию. Предположим что некоторая компания Simplichio начнет задавать каждый день сотни вопросов по узкоспециализированной тематике, или по такой тематике, которую другие компании и эксперты могут посчитать тривиальной. В этом случае эксперты, работающие на Simplichio могут легко (и, в каком-то смысле, незаслуженно) обогнать по накопленным очкам других экспертов.

ИТ-Профсоюз, при разработке правил рейтингования экспертов, исходил из того, что установлении "справедливых" правил рейтингования экспертов нужно не только для самих экспертов, но и приведет к улучшению качества обслуживания всех членов профсоюза.

Cистема подсчета рейтингов экспертов ИТ-Профсоюза устроена таким образом, что она не дает возможности отдельным членам профсоюза доминировать в рейтинговании экспертов. Для этого каждый месяц производится пересчет набранных экспертами очков в так называемые баллы, которые и являются главным показателем рейтинга эксперта.

Вычисление баллов можно объяснить следующим образом. Каждый член профсоюза расплачивается с экспертами очками, которые можно сравнить с монетками. Каждый член профсоюза фактически сам управляет чеканкой своих монет и делает это независимо от других членов. "Расплачивается" же за эти монетки единый орган - ИТ-Профсоюз, причем делает это в интересах всех членов и экспертов. Поэтому в конце каждого месяца ИТ-Профсоюз делает обмен монеток-очков - на более устойчивую валюту - баллы. При этом обмене учитывается не только номинал монеток, но и то, кем она отчеканена; монетки тех членов профсоюза, которые начеканили очень много монет принимаются по цене меньшей, чем номинал.

Описанная выше процедура польностью формализована и реализована с использованием соответствующих методов математической статистики.

Процедурные вопросы подсчета рейтингов

Вопрос снимается с обсуждения модератором по инициативе заказчика или модератора. Ответы, полученные после снятия вопроса с обсуждения, к рейтингованию не принимаются.

Качество ответа эксперта оценивается заказчиком по трехуровневой системе - хорошо, средне, плохо. Модератор также выставляет свою оценку. Окончательная качественная оценка складывается как среднее из этих двух оценок с округлением в лучшую для эксперта сторону (средне+хорошо= хорошо; плохо+средне=средне; плохо+хорошо=средне).

Качественная оценка ответов экспертов и начисление очков экспертам происходит по закрытии вопроса. Рейтинги экспертов в баллах, вычисляются ежемесячно. Годовой рейтинг складывается из помесячных баллов.

При вычислении рейтингов в баллах за месяц, учитываются только те вопросы, которые были закрыты в течении рассматриваемого месяца.



РЕГИСТРАЦИЯ

О ПРОЕКТЕ

ПОЛЬЗОВАТЕЛЯМ

Назад НаверхВниз
  Site DESIGN by MIRRON (C) 2000-2001
Rambler's TOP100