-

 

question where the answer is number. In this case, the database should include 

information on the correct answer and the range of possible discrepancies in which the 
student's response may be; 

-

 

question where the answer is the interval; 

-

 

questions on the answer to which there are fuzzy values determined by the 

membership function, which reduces them to questions of the fourth type (the answer 
is this number); 

-

 

questions answered by a word or phrase. Due to the fact that the answer can be 

formulated correctly by the student, but using terminology different from the 
terminology of the teacher, inconsistency may arise. To handle this type of questions, 
you need to use dictionaries with synonyms, algorithms to search for affinity texts or 
NLP approach that would be described latter. 

The approach to evaluation is quite complex. The complexity of the task p

∈ (0,1) 

will be considered low when p

∈ (0,0.33), the average for p∈ (0.33,0.66) and high at p> 

0.66. The maximum score that a student can get for completing a task block is 1, i.e. 
100%. Further, at the request of the teacher, this assessment can be automatically 
transferred to one of the systems of knowledge assessment (Bologna, five-point). 

If the teacher put some initial complexity of all block tasks (

������

������

0

,������=1,������

̅̅̅̅̅̅) then the 

system must take into account some heuristics when choosing the next question: 

-

 

the complexity of the first question the system chooses according to the average 

student's level of knowledge (

������

������

∈[0,1]); 

-

 

if the student gives the correct answer, the complexity of the question decreases, 

and vice versa; 

-

 

the dynamics of complexity values of tasks depends on the number of students 

passing the assignment and on the average level of knowledge of each; 

-

 

if a student with a relatively high level of knowledge gives a true answer, the 

complexity of the question decreases less than for a student with a low level of 
knowledge; 

-

 

the minimum complexity value should be greater than zero; 

-

 

the maximum complexity value is not more than one; 

-

 

with a large number of students the complexity of the question will come to some 

constant value; 

After testing, the system lists the weights of the questions and records the new 

values into the database. If in the assessment of knowledge n students participated and 
there were m questions, then the complexity correction will be calculated according to 
the formula: 

������

������

������

=������

������

������−1

+ ������

������

(������

������

0

,������,������

������−1

,������),������=1,������

̅̅̅̅̅, ,������=1,������

̅̅̅̅̅̅ 

- 504 -