Phương pháp đánh giá bằng trắc nghiệm khách quan đối tượng học sinh lớp 10

tiple choice-MCQ) 6 I.1.3 Ưu điểm cơ bản của phương pháp trắc nghiệm khách quan với phương pháp tự luận 6 I.1.3.1 Câu hỏi trắc nghiệm khách quan đánh giá khách quan hơn các câu hỏi tự luận 7 I.1.3.2 Câu hỏi trắc nghiệm khách quan kiểm tra được lượng học sinh lớn hơn câu hỏi tự luận trong một lần thi 7 I.1.3.3 Câu hỏi trắc nghiệm khách quan ít chệch tủ hơn, ít may rủi hơn các câu dạng tự luận 8 I.2 Những yếu tố đặc trưng để đánh giá một bài kiểm tra hay bài thi bằng trắc nghiệm khách quan 8 I.2.1 Độ khó, độ phân biệt của một câu hoặc một bài trắc nghiệm 8 I.2.1.1 Độ khó của câu trắc nghiệm 8 I.2.1.2 Độ phân biệt của câu trắc nghiệm 9 I.2.2 Độ tin cậy và độ giá trị của một bài trắc nghiệm 10 I.2.2.1 Độ tin cậy của bài trắc nghiệm 10 I.2.2.2 Độ giá trị của bài trắc nghiệm 11 I.3 Các loại điểm trắc nghiệm 12 I.3.1 Điểm thô 12 I.3.2 Điểm tiêu chuẩn tuyệt đối 12 I.3.3 Điểm tương đối dựa vào phân bố chuẩn 13 I.3.4 Các loại điểm khác 14 I.3.4.1 Điểm trắc nghiệm tiêu chuẩn hoá của ETS 14 I.3.4.2 Điểm trắc nghiệm trí thông minh 14 I.3.5 Thang điểm được sử dụng ở nước ta 14 I.4 Lý thuyết ứng đáp câu hỏi và mô hình Rasch 14 I.4.1 Lý thuyết ứng dụng câu hỏi 14 I.4.1.1 Khái niệm chung về lý thuyết đáp ứng câu hỏi 14 I.4.1.2 Các thao tác tiến hành để xây dựng thuyết ứng đáp câu hỏi 15 I.4.2 Mô hình Rasch 16 I.4.2.1 Giả thiết của Rasch về việc ứng đáp câu hỏi 16 I.4.2.2 Hàm ứng đáp câu hỏi theo Rasch 16 I.4.2.3 ứng dụng của mô hình Rasch 17 Chương II : các bước xây dựng bài kiểm tra bằng TNKQ II.1 Các bước xây dựng một bài kiểm tra bằng TNKQ 18 II.1.1 Phân tích nội dung và phác thảo bài trắc nghiệm 18 II.1.2 Viết lại câu hỏi trắc nghiệm 19 II.1.3 Duyệt lại câu hỏi trắc nghiệm 19 II.1.4 Lưu ý chung khi viết câu hỏi khách quan 20 II.2 Bản đặc trưng 2 chiều 21 II.2.1 Sơ lược về kiến thức chương trình hoá 10 21 II.2.1.1 Cấu trúc chương trình 21 II.2.1.1 Nội dung kiến thức 22 II.3 Phương pháp đánh giá bài trắc nghiệm 26 II.3.1 Các mức độ mục tiêu trong lĩnh vực nhận thức 26 II.3.2 Yêu cầu bài thi trắc nghiệm khách quan 29 II.3.2.1 Yêu cầu về nội dung 29 II.3.2.2 Yêu cầu về các mức kỹ năng 30 II.3.2.3 Yêu cầu về cách tổ chức để kiểm tra 31 Chương III: Phân tích kết quả nghiên cứu III.1 Các bước tiến hành thí nghiệm 33 III.2 Phân tích kết quả thực tế 33 III.2.1. Kết quả chung 33 III.2.2. Phân tích câu trắc nghiệm 34 III.3. Xây dựng mô hình Rasch trên số liệu thực 37 III.3.1. Sự phù hợp của các câu hỏi 37 III.3.2. Sự phù hợp của các thí sinh 38 III.3.3. Phân bố khả năng trả lời đúng của thí sinh và độ khó của các câu hỏi 40 III.3.4 Phân tích kết quả từng câu hỏi 41 III.3.5. Sơ đồ biểu diễn năng lực và độ khó của các câu hỏi trên một thang đo 43 Chương IV: Kết luận IV.1. Khoa học đo lường và đánh giá trong giáo dục trên thế giới và nước ta 47 IV.1.1. Trên thế giới 47 IV.1.2. Nước ta 47 IV.2. Giải pháp về phát triển phương hướng khoa học đo lường ở nước ta 48 Tài liệu tham khảo  Mở đầu Để nâng cao chất lượng giáo dục ở các bậc học thì việc cải tiến hệ thống kiểm tra, đánh giá kết quả của học sinh đóng vai trò hết sức quan trọng. Bên cạnh việc sử dụng phương pháp truyền thống mà từ trước đến nay chúng ta vấn áp dụng để kiểm tra bằng phương pháp tự luận, nhưng thực tế không phải lúc nào nó cũng mang lại kết quả khả quan. Các phương pháp đánh giá kết quả học tập rất đa dạng, mọi phương pháp đều có những ưu điểm, nhược điểm của nó, không có phương pháp đều có những ưu, nhược điểm của nó, không có phương pháp nào là hoàn mỹ với mọi mục tiêu giáo dục. Tuỳ theo mục tiêu cụ thể mà lựa chọn phương pháp đánh giá cho thích hợp. Trên tinh thần hiện nay là chúng ta đang thực hiện chương trình đổi mới phương pháp giảng dạy vì vậy trong bài khoá luận này chúng tôi mạnh dạn đưa một phương pháp đánh giá bài thi đó là đánh giá bằng phương pháp trắc nghiệm khách quan. Đây là một phương pháp hết sức mới mẻ với nền giáo dục nước ta nhưng nó lại đánh giá tương đối chính xác và khách quan. Phương pháp đánh giá bài thi bằng trắc nghiệm tự luận mà chúng ta vẫn đang sử dụng hiện nay đang chiếm ưu thế, nhưng không có nghĩa là nó là phương pháp tối ưu, nó vẫn có những hạn chế nhất định mà phương pháp trắc nghiệm khách quan đã ra đời và khảng định được những ưu thế vượt trội. Tiếc thay một phương pháp hay như vậy được thế giới hiện nay sử dụng rất rộng rãi trong các kỳ thi tuyển sinh đại học mà lại có vẻ rất mơ hồ với cả những chuyên gia về giáo dục nước ta. Đội ngũ cán bộ giảng dậy và những người biết về phương pháp này lại rất mỏng. Vậy vấn đề đặt ra là chúng ta đổi mới phương pháp giảng dạy thì nên chăng đổi mới phương pháp kiểm tra đánh giá bài thi là cần thiết ? Xuất phát từ nhu cầu đó, chúng tôi xin biên soạn chủ đề về việc kiểm tra đánh giá thành quả học tập bằng phương pháp trắc nghiệm khách quan. Mục đích của việc nghiên cứu phương pháp đánh giá bằng trắc nghiệm khách quan đầu tiên giới thiệu cho mọi người cùng biết cơ bản thế nào là phương pháp trắc nghiệm khách quan. Chúng tôi muốn khẳng định ưu thế khi dùng phương pháp trắc nghiệm khách quan so với việc dùng phương pháp tự luận. Cuối cùng chúng tôi sẽ thực hiện thí điểm cho học sinh làm bài thi bằng các câu hỏi dạng trắc nghiệm khách quan. Đối tượng và khách thể nghiên cứu của đề tài là chúng tôi sẽ xây dựng bộ câu hỏi trắc nghiệm trên nền tảng kiến thức bộ môn hoá lớp 10. Đối tượng nghiên cứu là học sinh lớp 10 khối chuyên hoá trường trung học phổ thông Hai Bà Trưng Hà Nội. Nếu việc thử nghiệm cho học sinh làm đề thi bằng trắc nghiệm khách quan của chúng tôi thành công thì qua phân tích kết quả chúng tôi sẽ khẳng định ưu thế của việc dùng phương pháp trắc nghiệm khách quan là hoàn toàn có cơ sở khoa học. Nhiệm vụ khi nghiên cứu về đề tài này của chúng tôi là trước tiên xây dựng được bộ các câu hỏi trắc nghiệm khách quan môn hoá lớp 10, thứ hai là thực hiện thí điểm đề thi bằng trắc nghiệm khách quan và từ đó chúng tôi sẽ phân tích các kết quả như tính độ khó, độ tin cậy … và cuối cùng tổng kết lại liệu phương pháp này có đạt được mục tiêu giáo dục đề ra hay không. Việc xây dựng bộ câu hỏi trắc nghiệm chỉ trong chương trình kiến thức lớp dự định đề thi trong 30 phút và 1 đề thi sẽ gồm khoảng 30 câu. Phạm vi nghiên cứu là học sinh lớp 10 chuyên hoá trường phổ thông trung học Hai Bà Trưng. Phương pháp chúng tôi dùng khi nghiên cứu đề tài đó là phương pháp quan sát, phương pháp điều tra, kiểm tra và cuối cùng là thống kê sau khi đã dùng trắc nghiệm khách quan làm thí điểm trên học sinh. Chúng tôi nghĩ với sự chuẩn bị kỹ lưỡng hệ thống các câu hỏi và việc thử nghiệm thành công thì sẽ khẳng định được những ưu điểm của phương pháp trắc nghiệm khách quan là hoàn toàn có cơ sở khoa học. Cấu trúc của khoá luận nghiên cứu của chúng tôi được cụ thể như sau: -Mục lục -Mở đầu -Chương 1 Tổng quan về phương pháp trắc nghiệm khách quan -Chương 2 các bước xây dựng bài kiểm tra bằng trắc nghiệm khách quan -Chương 3 Phân tích kết quả nghiên cứu đề tài -Chương 4 :kết luận 10.Kế hoạch nghiên cứu -Thảo luận nhóm phản biện về mục tiêu giáo dục, tiến trình và hình thức hoạt động -Chuẩn bị hệ thống câu hỏi và phân công nhiệm vụ trong nhóm -Viết các câu hỏi dạng trắc nghiệm khách quan -Phản biện câu hỏi trong nhóm (có điều chỉnh bổ sung) -Chuẩn bị các dạng câu hỏi trắc nghiệm tương tương để thử nghiệm -Trắc nghiệm thử -Phân tích câu hỏi Chương I : Tổng quan về phương pháp trắc nghiệm khách quan I.1. Đại cương về phương pháp trắc nghiệm khách quan I.1.1.Phân loại các phương pháp trắc nghiệm Trắc nghiệm là một phép lượng giá cụ thể mức độ khả năng thể hiện hành vi trong lĩnh vực nào đó của một người cụ thể nào đó (thí sinh).Phương pháp trắc nghiệm có thể được chia ra làm ba loại lớn: loại quan sát, loại vấn đáp và loại viết được minh hoạ qua sơ đồ dưới đây: Các phương pháp TN nghi nghiê cc nghiệm Quan sát Viết Vấn đáp Trắc nghiệm khách quan Trắc nghiệm tự luận Tiểu luận Cung cấp thông tin Ghép đôi Điền khuyết Trả lời ngắn Đúng sai Nhiều lựa chọn I.1.1.1. Phương pháp quan sát: Là phương pháp giúp các định những thái độ, sự phản ứng vô ý thức, cách giải quyết vấn đề trong một tình huống đang được nghiên cứu. I.1.1.2.Phương pháp vấn đáp: Thường thích hợp với trẻ em, có lợi khi nêu câu hỏi một cách tự phát trong một tình huống cần kiểm tra. I.1.1.3.Phương pháp trắc nghiệm viết: Là phương pháp thường được sử dụng nhiều nhất vì nó có một số ưu điểm cơ bản sau đây : -Kiểm tra được nhiều học sinh trên một lần thi -Cung cấp một bản ghi rõ ràng các câu trả lời của học sinh để dùng cho việc chấm điểm. -Dễ quản lý hơn vì bản thân người chấm không tham gioa vào bối cảnh kiểm tra. I.1.2.Các dạng câu hỏi trắc nghiệm khách quan I.1.2.1.Câu mở (Open endecl): Loại câu này đòi hỏi học sinh phải nhớ lại kiến thức hơn là nhận biết. Ví dụ: “Người vợ thứ ba của Henry VIII là ai ?”. Hoặc có những câu có chỗ trống để điền vào hoặc có sự hướng dẫn để học sinh cung cấp thông tin đáp ứng với câu dẫn như “Bên cạnh tên mỗi nước trong danh mục này, hãy viết tên thủ đô nước đó” I.1.2.2.Câu điền khuyết (Supply items): Học sinh phải nhớ lại kiến thức do đó trả lời bằng một hay một số từ cho một câu hỏi trực tiếp hay một câu nhận định chưa đầy đủ. Các loại câu này còn gọi là loại câu hỏi điền vào chỗ trống (com pletion items).Ví dụ: Tên của một dụng cụ dùng để đo nhiệt độ là gì? Loại câu hỏi này có ưu thế hơn các loại câu hỏi khách quan khác ở chỗ đòi hỏi học sinh phải tìm kiếm câu trả lời đúng hơn là nhận ra câu trả lời đúng bằng các thông tin đã cho. I.1.2.3.Loại câu đúng sai (true False): Đó có thể là những phát biểu được đánh giá là đúng hay là sai hoặc chúng có thể là các câu hỏi trực tiếp để trả lời là “có” hay “không”. Các phương án trả lời là thích hợp để gợi nhớ lại kiến thức và một khối lượng kiến thức đáng kể có thể được kiểm tra một cách nhanh chóng. Tuy nhiên câu dẫn của loại câu hỏi này phải thật hoàn toàn rõ ràng để có thể trả lời dứt khoát là “có” hay “không”. Điều này tạo ra sự khó khăn khi áp dụng loại câu hỏi này để kiểm tra trình độ hiểu biết cao hơn, nó không tạo cơ hội cho học sinh phân biệt những sắc thái tinh tế có ý nghĩa hay nhiều cách trả lời khác ở trình độ cao hơn. I.1.2.4.Loại câu hỏi nhiều lựa chọn (Multiple choice-MCQ): Loại này thường có hình thức của một câu phát biểu không đầy đủ hay một câu hỏi dẫn được nối tiếp bằng một số câu trả lời mà học sinh phải chọn.: - Trả lời đúng rõ rệt -Câu trả lời tốt nhất trong nhiều câu chọn hợp lý, -Câu trả lời kém nhất hay câu trả lời không có liên quan gì nhất, hay có nhiều hơn là một câu trả lời thích hợp. Những câu trả lời không đúng được gọi là các câu nhiễu (distracter). Câu dẫn có thể có dưới dạng sơ đồ hay đồ thị và không nhất thiết thuần tuý bằng lời. Loại câu MCQ cần được xây dựng một cách thận trọng để tránh chỗ không rõ nghĩa, nhưng chúng có thể được dùng để kiểm tra những trình độ cao hơn về nhận thức tiện hơn các loại câu hỏi khách quan khác. I.1.3.Ưu điểm cơ bản của phương pháp trắc nghiệm khách quan với phương pháp tự luận. Loại câu hỏi tự luận thường đòi hỏi học sinh phait viết nhiều câu để trả lời, nó không có một câu trả lời đúng haty một kiểu trả lời. Để đánh giá được một cách chính xác và có chất lượng, một bài tự luận phải được chấm bởi một người có kinh nghiệm và hiểu biết về lĩnh vực của môn học tương ứng. Bài trắc nghiệm tự luận không thể đánh giá một cách tuyệt đối là đúng hay là sai. Như vậy ưu điểm của các câu hỏi khách quan so với dạng câu hỏi tự luận được thể hiện ở bảng sau đây : Vấn đề Ưu thế thuộc về phương pháp Trắc nghiệm Tự luận ít tốn công ra đề x Đánh giá được khả năng diễn đạt, đặc biệt là diễn đạt tư duy trừu tượng x Việc sáng tạo khi trả lời không bị hạn chế bởi một khung câu hỏi sẵn x Đề thi phru kín nội dung môn học x ít may rủi do trung tủ, trật tủ x ít tốn công chấm thi x Khách quan trong chấm thi x áp dụng được công nghệ mới trong việc nâng cao chất lượng đề thi, giữ bí mật đề thi, hạn chế quay cóp khi thi, hạn chế tiêu cực trong chấm thi và giúp phân tích kết quả thi. x I.1.3.1.Câu hỏi trắc nghiệm khách quan đánh giá khách quan hơn các câu hỏi tự luận Bởi vì các câu hỏi khách quan có đáp án chính xác, rõ ràng nên việc chấm điểm thường rất chính xác. Kể cả những người không hiểu gì về chuyên môn cũng có thể chấm điểm được nếu như cho sẵn đáp án. Việc chấm điểm các câu hỏi loại này có thể được sử dụng vào quét bằng máy tính vừa nhanh mà rất chính xác. Còn việc chấm các câu hỏi tự luận rất phụ thuộc chủ quan vào người chấm. Những yếu tố chủ quan như tình cảm, thời tiết … sẽ ảnh hưởng tới điểm thi. Nên cùng một bài thi nhưng nếu cùng một người chấm có thể sẽ cho số điểm khác nhau ở các thời điểm khác nhau. I.1.3.2.Câu hỏi trắc nghiệm khách quan kiểm tra được lượng học sinh lớn hơn câu hỏi tự luận trong một lần thi. Xuất phát từ một lý do là dạng câu hỏi tự luận chấm điểm dễ dàng hơn, có thể chấm được hàng nghìn bài thi trong khoảng thời gian ngắn bằng cách sử dụng máy chấm nên khi cần kiểm tra một lượng lớn học sinh thì phương pháp dùng câu trắc nghiệm khách quan có ưu thế hơn hẳn vì các câu hỏi dạng tự luận chấm điểm tốn rất nhiều thời gian vì người chấm là chủ quan. I.1.3.3.Câu hỏi trắc nghiệm khách quan ít chệch tủ hơn, ít may rủi hơn các câu tự luận. Thật vậy, do các câu hỏi dạng khách quan bao quát, trải rộng toàn bộ kiến thức, một đề thi lại có rất nhiều câu hỏi nên việc chệch tủ là ít hiếm xảy ra. Học sinh cần phải học bao quát toàn bộ kiến thức không như loại câu hỏi tự luận, học sinh sẽ dễ học tủ vì đề thi dạng này ít câu hỏi không xuyên suốt được toàn bộ kiến thức đã học. Nhiều người rất mơ hồ rằng cứ nghĩ khi khoanh ngẫu nhiên câu trả lời thì có khả năng là đúng vì vậy dễ ăn điểm hơn loại câu tự luận. Nhưng nếu hiểu theo ý đó thì hết sức sai lầm và thực sự người đó chưa hiểu gì về câu hỏi khách quan hết. Ví dụ nếu ta trả lời đại một câu hỏi trắc nghiệm dạng nhiều lựa chọn (5 lựa chọn chẳng hạn) thì xác suất chọn hú hoạ như vậy sẽ là 20%. Mà thường bài thi dùng câu hỏi dạng này quy định nếu xác suất xấp xỉ 20% câu trả lời đúng lấy mốc là điểm không. Như vậy một người chọn hú hoạ cũng chỉ có số điểm lân cận điểm không mà thôi. Tuy nhiên chúng ta không được khẳng định phương pháp đánh giá nào có ưu thế tuyệt đối so với phương pháp kia. Tuỳ vào điều kiện, yếu tố ảnh hưởng và yêu cầu của mục tiêu giáo dục mà lựa chọn phương pháp kiểm tra thích hợp chứ không phải là đo được cái cần đo, trong trường hợp đó thi bài trắc nghiệm có độ tin cậy cao nhưng độ giá trị rất thấp. I.2.Những yếu tố đặc trưng để đánh giá một bài kiểm tra hay bài thi bằng trắc nghiệm khách quan. I.2.1.Độ khó, độ phân biệt của một câu hoặc một bài trắc nghiệm. 1.1.Độ khó của câu trắc nghiệm. Độ khó của câu trắc nghiệm thức được định nghĩa bằng tỷ số của tổng số người trả lời đúng câu trắc nghiệm so với tổng số ngươì làm câu trắc nghiệm ấy. Độ khó P của câu thứ i = Nếu độ khó có giá trị nằm trong khoảng 0,25 đến 0,75 thì câu trắc nghiệm vừa sức với học sinh. Còn nếu giá trị độ khó xa số 0,25 và 0,75 thì câu trắc nghiệm là quá khó hay quá dễ với thí sinh. Khi chọn lựa các câu trắc nghiệm theo độ khó người ta thường phải loại những câu quá khó (không ai làm đúng) hoặc quá dễ (ai cũng làm đúng). Một bài trắc nghiệm tốt khi có nhiều câu ở độ khó trung bình. Ví dụ một câu trắc nghiệm có 50 thí sinh tham gia trả lời thì có 30 thí sinh trả lời đúng, vậy độ khó của câu trắc nghiệm đó sẽ là : P = = 0,6 Giá trị 0,6 nằm trong khoảng (0,25, 0,75) nên đây là câu trắc nghiệm vừa sức với đối tượng dự thi. I.2.Độ phân biệt của câu trắc nghiệm Độ phân biệt của câu trắc nghiệm đo lường mức độ khác nhau giữa các đối tượng khác nhau hay đo được năng lực làm bài giữa học sinh giỏi và học sinh kém. Để tính độ phân biệt của câu trắc nghiệm thường chúng sta làm theo phương pháp cổ điển như sau: Trong một tập hợp thí sinh tham gia trả lời câu hỏi, dựa vào tổng điểm thô của thí sinh người ta sẽ chia thành 2 nhóm khác nhau, một nhóm gồm những học sinh giỏi đạt điểm cao từ trên xuống, còn một nhóm gồm những học sinh kém đạt điểm kém từ dưới lên. Gọi C là số thí sinh làm đúng câu hỏi thuộc nhóm giỏi, T là số thí sinh làm đúng câu hỏi thuộc nhóm kém, S là lượng thí sinh của một trong 2 nhóm trên (đều chiếm số phần trăm về tổng số thí sinh nhất định) độ phân biệt D của câu hỏi được tính theo công thức sau: D = VD:Trong 100 thí sinh tham gia trả lời câu hỏi, chọn mỗi nhóm giỏi và kém là 20 người. Xét một câu hỏi nào đó nhóm giỏi có 15 người trả lời được, nhóm kém có 6 người trả lời được, vậy độ phân biệt của câu trắc nghiệm này là : D = = 0,45 Phương pháp trên để tính độ phân biệt tương đối đơn giản, có thể tính bằng tay, nhưng tính độ phân biệt của câu trắc nghiệm ở mức độ khái quát hơn, đó là hệ số tương quan giữa các điểm của câu trắc nghiệm đó với tổng điểm của bài trắc nghiệm xét trên toàn bộ thí sinh làm bài trắc nghiệm (hay còn gọi là hệ số tương quan nhị phân) thông thường trị số độ phân biệt của câu hỏi có thể chấp nhận được phải lớn hơn 0,2 ứng vớimức ý nghĩa 0,05 trong phép thử. I.2.2. Độ tin cậy và độ giá trị của một bài trắc nghiệm I.2.2.1.Độ tin cậy của bài trắc nghiệm Người ta có thể tính độ tin cậy của bài trắc nghiệm bằng các cách sau: -Phương pháp trắc nghiệm -trắc nghiệm lại. Tức là dùng một bài trắc nghiệm cho một nhóm thí sinh làm hai lần và tính hệ số tương quan giữa hai bộ điểm. -Phương pháp các bài trắc nghiệm tương đương: Cho một nhóm thí sinh làm hai bài trắc nghiệm tương đương nhau, rồi tính độ tương quan giữa hai bộ điểm, nhưng phương pháp này phải tốn rất nhiều công sức để soạn các bài trắc nghiệm thực sự tương đương nhau., -Phương pháp phân đôi bài trắc nghiệm : Tạo 2 bài trắc nghiệm tương đương nhau, mỗi bài là một nửa bài trắc nghiệm. Khi ấy độ tin cậy của nửa bài trắc nghiệm bằng hệ số tương quan giữa hai bộ điểm của 2 nửa bài trắc nghiệm, còn độ tin cậy của toàn bài trắc nghiệm thu được khi hiệu chỉnh việc tăng độ dài gấp đôi. Sự phụ thuộc của độ tin cậy của bài trắc nghiệm vào độ dài của nó được tính theo công thức tổng quát Spear man Baoun Pn = Trong đó Rs là độ tin cậy của bài trắc nghiệm ngắn xuất phát Rn là độ tin cậy của bài trắc nghiệm có độ dài gấp n lần. Như vậy trong trường hợp bài trắc nghiệm có độ dài gấp đôi, ta dùng công thức: R = -Phương pháp Kuoler- Richardson- 20 để tính độ tin cậy bài trắc nghiệm : R = 1 - Trong đó: k - Số câu hỏi bài trắc nghiệm p- Tỷ lệ trường hợp trả lời đúng cho 1 câu q- Tỷ lệ trả lời sai cho một câu, q = 1-p 62 - Phương sai của tổng điểm mọi thí sinh đối với toàn bài TNo Trong trường hợp độ khó của các câu không khác nhau nhiều, tính độ tin cậy bởi công thức dễ tính hơn - công thức k - R - 21 R = 1- M là giá trị trung bình của điểm số bài trắc nghiệm I.2.2.2. Độ giá trị của bài trắc nghiệm Độ giá trị của bài trắc nghiệm thành quả học tập thường được phân loại thành các loại sau đây: +Độ giá trị tiên đoán: một bài trắc nghiệm dùng để xét tuyển thường có giá trị tiên đoán, tức là bodfọ điểm số của nó tương đối tốt với một bài trắc nghiệm đánh giá hạc các tiêu chí để đánh giá theo mục tiêu. Ví dụ, bộ điểm bài trắc nghiệm tuyển sinh đại học đối với một nhóm thí sinh nào đó phải tương quan tốt với kết quả học tập cuối giai đoạn 1 học đại học. +Độ giá trị đồng thời: tương tự giá trị tiên đoán, nhưng chỉ khác về thời gian tức là bài trắc nghiệm đánh giá hoặc các tiêu chí để đánh giá xảy ra đồng thơì với bài trắc nghiệm tiên đoán. +Độ giá trị cấu trúc: liên quan đến các loại trí năng và mức kỹ năng cần đo theo các mục tiêu cụ thể của môn học. +Độ giá trị nội dung: phản ánh đầy đủ các mục tiêu xác định cho môn học, bao trùm đầy đủ nội dung của môn học. Để xác định độ giá trị về nội dung không thể chỉ dựa vào các tính toán thống kê như độ giá trị tiên đoán hoặc giá trị đồng thời, mà phải phân tích tỷ mỷ và công phu bài trắc nghiệm đối chiếu với mục tiêu và nôị dung môn học. R chính là độ phân biệt của câu trắc nghiệm hay hệ số tương quan điểm nhị phân mà chúng ta sẽ xét kỹ ở phần sau. Hệ số tương quan là một đại lượng để đo mối quan hệ tuyến tính giữa hai biến ngẫu nhiên, có giá trị phân bố trong khoảng từ -1 đến +1. I.3.Các loại điểm trắc nghiệm. Vì phân bố tần suất năng lực của một tập hợp học sinh về một chuyên môn nào đó thường theo dạng chuẩn nên phân bố tần suất của điểm thi của thí sinh (nếu phản ánh đúng năng lực) cũng tuân theo dạng chuẩn. Chúng ta sẽ xét một số loại điểm sau đây: I.3.1.Điểm thô. Một đề thi TNKQ thường bao gồm nhiều câu hỏi. Mỗi câu hỏi được gán một điểm số nào đó, thường là điểm 1 nếu làm đúng, điểm 0 nếu làm sai. Cộng điểm số của từng thí sinh lại được gọi là điểm thô (rav score) I.3.2.Điểm tiêu chuẩn tuyệt đối:Là cách cho điểm thường được dùng thuộc loại này là điểm phần trăm đúng. Điểm được tính theo tỷ lệ phần trăm số câu làm đúng trên tổng số câu của bài trắc nghiệm X = 100 x Ví dụ một thí sinh làm đúng 35 câu hỏi trong tổng số 50 câu hỏi thì điểm tiêu chuẩn tuyệt đối của thí sinh đó là x = 100 = 70. Tuy nhiên việc cho điểm theo kiểu này thường rơi vào tình trạng tuỳ tiện, không có tính khách quan. I.3.3.Điểm tương đối dựa vào phân bố điểm: Giả sử điểm thô thu được từ kết quả trắc nghiệm trên một nhóm nào đó có phân bố tần suất gần với dạng phân bố chuẩn với giá trị trung bình là Xt và độ lệch tiêu chuẩn là 6s thường thì người ta sẽ biến đổi các điểm thô này sang một thang điểm với giá trị trung bình là Xs và độ lệch chuẩn là 6s.Để thực hiện phép biến đổi này chúng ta phải dãn đường cong phân bố chuẩn ứng với thang điểm thô sao cho độ lệch chuẩn của đường cong đạt giá trị 6s, sau đó dịch chuyển đường cong thu được sao cho điểm gốc của nó dịch chuyển đến vị trí giá trị trung bình Xs trên trục số. Phép co giãn và dịch chuyển đó được thực hiện bằng hệ thức sau: = Suy ra Xs = Xt - Xt + Xs. Với một phân bố chuẩn có giá trị trung bình được đặt tại 0 và độ lệch chuẩn được chọn bằng 1, thì điểm chuẩn này được gọi là điểm Z. Điểm chuẩn Z được tính với hệ thức sau đây: Z = . Đường cong phân bố chuẩn ứng với điểm Z là tần suất xuất hiện các trường hợp nằm trong khoảng giưã điểm trung bình Z =0 và các điểm Z bằng một số nguyên lần độ lệch chuẩn. Đường cong phân bố chuẩn này được biểu diễn bởi hình 3 dưới đây, thì thấy với một phân bố chuẩn lý thuyết khoảng (- 36, + 36) bao gồm 99,8% các trường hợp của phân bố tức là trên thực tế là bao gồm toàn bộ các trường hợp. 0,1% 2,1% 13,6% 34,1% 34,1% 13,6% 2,1% 0,1% 36 -26 -16 0 +16 +26 +36 Các độ lệch tiêu chuẩn Điểm t: -3 -2 -1 0 +1 +2 +3 I.3.4.Các loại điểm khác. I.3.4.1.Điểm trắc nghiệm tiêu chuẩn hoá của ETS ETS (Edu cational testing Services - ETS) “Các dịch vụ trắc nghiệm giáo dục” là công ty tư nhân lớn ở Hoa Kỳ, sản xuất các đề thi và tổ chức các đề thi trắc nghiệm tiêu chuẩn hoá. Ví dụ như trắc nghiệm một số học sinh xác định; trắc nghiệm tuyển sinh sau đại học ngành quản lý, trắc nghiệm ngoại ngữ tiếng Anh (TOEFL…). Các trắc nghiệm này đều sử dụng cùng một loại thang điểm với giá trị trung bình gán vào điểm 500, và độ lệch chuẩn 6 được chọn bằng 100 đơn vị nguyên. Vậy thì khoảng (-36; +36) ứng với khoảng điểm (200, 800) I.3.4.2.Điểm trắc nghiệm trí thông minh IQ (Intclligen J Quotient) Trắc nghiệm IQ sử dụng thang điểm với giá trị trung bình gán vào điểm 100, độ lệch chuẩn được chọn là 15 đơn vị nguyên. Với cách quy định như vậy khoảng (-36, +36) ứng với khoảng điểm (55, 145) I.3.Thang điểm được sử dụng ở nước ta. Thang điểm đang được sử dụng phổ biến ở nước ta là điểm 10, điểm tuyệt đối là 10, điểm tối thiểu là 0, điểm trung bình nằm ở khoảng 5, chứ không phải là điểm tiêu chuẩn dựa vào phân bố chuẩn và độ lệch. Vì vậy đối với kỳ thi tuyển sinh đại học hiện nay người ta xét tuyển dựa vào tổng điểm thô của 3 môn đó, mà thực tế phân bố điểm của 3 môn thường là rất khác nhau, do đó giá trị trung bình và độ lệch chuẩn cũng hoàn toàn khác nhau. Cách tính điểm mà chúng ta đang sử dụng không đánh giá chính xác được chất lượng làm bài của thí sinh vì nó không dựa vào cơ sở khoa học tiến bộ về đo lường đánh giá mà các nước tiên tiến đã sử dụng. Với thang điểm 10 đang được sử dụng phổ biến ở nước ta hiện nay có thể sử dụng thang điểm tiêu chuẩn với điểm trung bình là 5, độ lệch chuẩn bằng 2, khi ấy khoảng (-2,56; +2,56) sẽ ứng với khoảng điểm (0; 10) I.4.Thuyết ứng đáp câu hỏi và mô hình Rasch. I.4.1.Thuyết ứng đáp câu hỏi I.4.1.1.Khái niệm chung về thuyết ứng đáp câu hỏi Muốn đánh giá một loại năng lực nào đó của thí sinh và câu hỏi người ta dựa vào mô hình toán học về phép đo lường trong giáo dục, người ta xét mối tương tác nguyên tố giữa thí sinh và câu hỏi, thuyết đó gọi là thuyết ứng đáp câu hỏi (Item Response thcory - IRT). Để phản ánh quan hệ các mối tương tác nguyên tố TS-CH, người ta xây dựng mô hình toán học dựa trên 2 giả định sau làm cơ sở : +Giả định thứ nhất về tính đơn thứ nguyên (Undimen Sionclity). Nghĩa là chỉ một thuộc tính hoặc một năng lực được đo bởi các câu hỏi tạo nên bài trắc nghiệm. Thực tế lại có rất nhiều yếu tố ảnh hưởng đến chất lượng làm bài trắc nghiệm của thí sinh (sự hồi hộp, khả năng làm nhanh…) ngoài năng lực chính được đo bởi bài trắc nghiệm để đạt được giả định về đơn thứ nguyên cần xây dựng bài trắc nghiệm sao cho gần như các thành phần chính ảnh hưởng lên việc làm bài trắc nghiệm. Điểm số đánh giá năng lực của thí sinh có thể thay đổi theo thời gian do học thêm, quên bớt hay do các yếu tố khác. +Giả định thứ hai là: có một hàm đặc trưng của câu hỏi phản ánh thực giữa các biến không quan sát được (năng lực) và các biến quan sát được (việc trả lời câu hỏi) I.4.2.Các thao tác tiến hành để xây dựng thuyết ứng đáp câu hỏi. Để xây dựng thuyết ứng đáp câu hỏi người ta công nhận 2 giả thuyết : 1-Việc trả lời của một thí sinh đối với một câu hỏi có thẻ dự báo bởi năng lực của thí sinh. 2-Quan hệ giữa việc trả lời câu hỏi bởi thí sinh và năng lực làm cơ sở cho việc trả lời đó có thể được mô tả bằng một hàm tăng đơn điệu được gọi là hàm đặc trưng câu hỏi. Với mô hình IRT, nó có thể chưa một hay nhiều tham số để mô tả câu hỏi cũng như chưá một hay nhiều tham số để mô tả thí sinh. Vấn đề là để ứng dụng IRT thì bước quan trọng đầu tiên là ước lượng các tham số đó của mô hình, thứ hai là đánh giá sự phù hợp giữa mô hình và số liệu thực tế. Trong phạm vi sai số đo lường, các giá trị ước lượng về năng lực thí sinh thì được từ nhiều bài trắc nghiệm khác nhau sẽ như nhau, và các giá trị ước lượng về tham số câu hỏi thu được từ các nhóm đánh giá khác nhau sẽ như nhau. Như vậy, thuyết IRT các tham số của câu hỏi và năng lực thí sinh phải là bất biến. Tính bất biến đó thu được bằng cách kết hợp thông tin về câu hỏi trong quá trình ước lượng năng lực thí sinh và bằng cách kết hợp thông tin về năng lực thí sinh trong quá trình ước lượng tham số của câu hỏi. Hình 3 trên minh hoạ đặc điểm đó. Các thí sinh có cùng năng lực, dù ở nhóm đánh giá 1 hay 2 cũng có xác suất trả lời đúng câu hỏi như nhau, vì xác suất để 1 thí sinh với năng lực đã biết trả lời đúng câu hỏi được xác định bởi các tham số của câu hỏi, nên các tham số của câu hỏi cũng phải như nhau trong 2 nhóm.Ngoài ra IRT còn có thể cho phép ước lượng các sai số chuẩn của các giá trị ước lượng năng lực của mỗi thí sinh, chứ không phải là một ước lượng sai số duy nhất cho mọi thí sinh như trong lý thuyết cổ điển. I.4.2.Mô hình Rasch. I.4.2.1.Giả thiết của Rasch về việc ứng đáp câu hỏi. Nhà toán học người Đan Mạch Georg Rasch đã đưa ra một mô hình “ứng đáp câu hỏi” để mô tả mối tương quan nguyên tố giữa một thí sinh với một câu hỏi của bài trắc nghiệm và dùng mô hình đó để phân tích các dữ liệu của bài trắc nghiệm. Đó là mối quan hệ trong đó thí sinh tài sản vô hình có một mức năng lực bv nào đó về lĩnh vực được đo ứng trước CHi có một độ khó đi.Mô hình của Rasch được phát biểu như sau : “Một thí sinh có khả năng hơn thí sinh khác phải có một xác suất lớn hơn để trả lời đung fmột câu hỏi bất kỳ, cũng tương tự như vậy, một câu hỏi khó hơn một câu hỏi khác có nghĩa là đối với bất kỳ thí sinh nào xác suất để trả lời đúng câu hỏi sau là lớn hơn so với câu hỏi trước (1960).Từ đó Rasch đã xây dựng hàm ứng đáp câu hỏi và đường cong ứng đáp câu hỏi tương ứng. Để biểu diễn các mối quan hệ này Rasch đã sử dụng thủ thuật để có thể biểu diễn được năng lực và độ khó trên cùng một thang đo. I.4.2.2.Hàm ứng đáp câu hỏi theo Rasch. Theo Rasch, xác suất của tài sản vô hình trả lời đúng câu hỏi i, phụ thuộc vào độ chênh lệch giữa năng lực bv của thí sinh và độ khó di của câu hỏi, tức là hiệu số (bv - di). Khi bv = di thì xác suất trả lời đúng câu hỏi là 112. Khi bv >di thì xác suất trả lời đúng câu hỏi gần bằng 1. Vì vậy hàm ứng đáp câu hỏi tăng đơn điệu từ 0 - 1 khi hiệu (bv - di) biến đổi từ - Ơ đến + Ơ hàm, xác suất được Rasch chọn với biểu thức toán học đơn giản nhất có dáng điệu biến đổi như vậy. Pi (bv) = (1Trong đó P(bv) là xác suất của thí sinh có năng lực bv trả lời đúng câu hỏi có độ khó di. I.4.2.3. ứng dụng của mô hình Rasch Trong các mô hình ứng đáp câu hỏi, mô hình Rasch được sử dụng nhiều nhất vì nó mô tả quá trình ứng đáp câu hỏi tương đối đơn giản mà kết quả khá phù hợp với dữ liệu thực tế. Trên thế giới người ta đã soạn thảo nhiều phàn mềm máy tính để tính toán các phép đo lường trong giáo dục dựa vào các mô hình được xây dựng bởi lý thuyết ứng đáp câu hỏi như các phần mềm: Bigstep, pascal … Việc nghiên cứu và áp dụng lý thuyết ứng đáp câu hỏi, đặc biệt là mô hình Rasch trong những năm qua phát triển rất mạnh mẽ. Thực tế, để đơn giản chúng ta đã hạn chế làm quen với sử dụng mô hình Rasch đối với mô hình các câu hỏi lưỡng phân, tức là kết quả của việc trả lời câu hỏi chỉ là 0 hoặc 1. Người ta đã mở rộng mô hình Rasch cho các loại mô hình câu hỏi với kiểu thang đo (rất không đồng ý, không đồng ý, trung lập, đồng ý, rất đồng ý) và các loại thang đo khác mà câu trả lời có nhiều mức phân cách khác nhau. Sự mở rộng này là rất quan trọng, giúp hoàn thiện nhiều công cụ đo lường của nhiều loại trắc nghiệm và nghiên cứu khác._.