Minggu, 30 Juni 2013

L.TESTING-AUTHENTICITY


A. Definition of Authenticity
Bachman and Palmer (1996, p. 23) define authenticity as "the degree of correspondence of the characteristics of a given language test task to the features of a target language task and then suggest an agenda for identifying those target language tasks and for transforming them into valid test items.
Other authors also have stressed the importance of authenticity as one of the decisive characteristics of a good test (e.g. Carroll, 1980; Bachman, 1990; Bachman & Palmer, 1996; Weir, 2005). They derive the idea from the widely accepted notion of validity and relate it to the validity of testees’ future performance in real-life situations. Focusing on the naturalness of the test tasks, Carroll (1980: 11) emphasized that all test tasks should sound real-life, interactive and communicative, rather than being typical routine examination responses to the tester’s stimuli; that the language of the test should be the day-to-day discourse; and that the rating of a performance should be based on its effectiveness and adequacy as a communicative response and rely on non-verbal as well as verbal criteria. The elements stressed by Carroll are included and developed in Bachman and Palmer (1996: 49-50) in the form of a framework to ensure the authenticity of a test task. This framework elaborates on the characteristics of the setting, the test rubrics, the input, the expected response and relationship between the input and the response to a given task.
More about Authenticity
AuthenticMaterials:
Nunan (1989): “any material which has not been specifically produced for the purpose of language teaching.” (as cited in Macdonald, Badger &White, 2000).
Bacon & Finnemann (1990): “authentic materials are texts produced by native speakers for a non-pedagogical purpose.
B. Features of Authenticity
· The language in the test is as natural as possible
· Items are contextualized rather than isolated
· Topics are meaningful (relevant, interesting) for the learner.
· Some thematic organization to items is provided, such as through a story line or episode.
· Tasks represent, or closely approximate, real world tasks
· Reading passages are selected from real-world sources
· Listening comprehension sections feature natural language with hesitations, noise, and interruptions.
· More and more tests offer items that are "episodic" in that they are sequenced   to form meaningful units, paragraphs, or stories.
C. Comparison about Authentic Vs Non-authentic Materials 
Ø Authentic 
· Language data produced for real life communication purposes.
· They may contain false starts, and incomplete sentences.
· They are useful for improving the communicative aspects of the language.
Ø Non-authentic Materials
· They are specially designed for learning purposes.
· The language used in them is artificial. They contain well formed    sentences all the time.
· They are useful for teaching grammar .
D. Authentic tests
Authentic tests are often regarded as synonymous with ’communicative’ tests, ‘direct’ tests, and ‘performance’ tests, etc.  (Jian-lan, 2007). Lewkowicz (2000) believes that despite the importance of authenticity, there hasn’t been a marked body of research to demonstrate the characteristic. While authenticity is important for assessment theorists, this may not apply to other stakeholders in the testing enterprise. For instance, perceptions of testees from the notion, and whether the presence or absence of authenticity affects test takers’ performance, are not clear (Lewkowicz, 2000). On the contrary, Bachman and Palmer (1996) stress the potential effect of authenticity on test takers’ performance while the mechanism is elaborated neither by explanation nor by research evidence.
Other researchers hold different views on authentic language tests. From the very early references to authenticity (e.g. Carroll, 1961; Close, 1965), real-life performance has been at the heart of the debate.  Accordingly, a real-life approach to defining authenticity emerged (Bachman, 1990: 301) which essentially considered the extent  to which test performance replicated non-test language performance. Its primary concerns were: (1) the appearance or perception of the test and how things may affect test performance and test use (or the so-called  face validity), and (2) the accuracy with which test performance predicts future non-test performance (or the predictive validity). This approach was dominant throughout the 1970s and 1980s, particularly in testing oral proficiency in a foreign language, and its proponents have considerably contributed a lot to our understanding of the characteristics and uses of tests which attempt to mirror reality. Two main approaches to authenticity originated from these considerations, and we will discuss them below.
E. Approaches to authenticity
1. The Real-Life (RL) Approach
This approach began with the need to assess oral proficiency of learners in the 1970s. It defines language proficiency as the ability to perform language tasks in non-test situations, and authenticity as the extent to which test tasks replicate real-life language use tasks. Both proficiency and achievement tests are discussed in this approach but the major focus is on the proficiency tests. In fact, proficiency and authenticity are effectively synonymous (Bachman, 1990). Terms most frequently used by the proponents of this approach  to characterize authentic tests are  direct and performance-based. Clark (1978, 1987) portrays the distinction between direct and indirect tests of proficiency as follows:
“In direct proficiency testing, the testing format and procedure attempt to duplicate as closely as possible the setting and operation of real-life  situations in which the proficiency is normally demonstrated (Clark, 1978: 10). However, indirect measures are not required to reflect authentic language-use contexts, and in many cases they bear little formal resemblance to linguistic situations that the student would encounter in real life (Clark 1987: 26).”
However, replicating non-test or real-life performance in language tests was recognized as a difficult enterprise even by the proponents (e.g. Clark, 1978, 1987). Therefore, they adopted the concept of a continuum for direct-indirect testing, characterized by the extent to which test performance replicates non-test language use. However, there have been doubts on the possibility of full replicability of real-life non-test performance, or even its coming close to real life. This approach thus seeks to develop tests which strive to resemble as closely as possible the real-life language performance. Bachman (1990) lists three interrelated tenets that characterize the RL approach:
(1)  A view of language ability, or proficiency, as pragmatic ascription,
(2) The reference to real life performance as a criterion, and
(3) The belief that face validity, content relevance, and predictive utility are sufficient bases to justify test use (p. 303). 
The RL approach has dominated testing especially in testing oral proficiency in a foreign language for more than two decades and is still dominant in most testing practices. Interestingly, validity in the RL approach is nearly identical with authenticity. However, some researchers argue that the RL approach provides an inadequate basis for examining validity and fails to distinguish ability from behavior. A second criticism is that the RL approach provides an inadequate basis for reexamining validity (Bachman, 1990: 308). Since arguments supporting test appearance, content relevance and predictive utility do not by themselves provide sufficient evidence to justify test use, test validation is seriously threatened in this approach. However, despite serious criticisms against this approach, critics did not provide a viable alternative. But there have been attempts to solve this problem, e.g. attempts to (1) accept real-life as the criterion for authenticity and modify methods of testing (which is difficult to operationalize), and (2) accept that the test language is, by nature, inauthentic and distanced from the real life language. However, what was lacking in the equation was a theoretical framework to provide a coherent rationale in identifying and defining the critical features of language use, either in test or non-test contexts. Many researchers, however, have contributed to the construction of such a framework known as the interactive language use – and this serves as a lead up to the second approach.
2. The Interactional Ability (IA) Approach
In this model, authenticity is a function of the interaction between the test taker and the test task (Bachman, 1990: 317). One major difference between this approach and the RL approach to authenticity lies in the way we operationalize the concept. Bachman’s (1990) theoretical framework of the communicative language ability or CLA (p. 85) and test method facets (p. 119) can be considered as the basis for this approach. In short, the IA approach views authenticity as residing in the  interaction between the test taker, the test task, and the testing context. Indeed, the primary concern is to construct test tasks that reflect our knowledge of the nature of language abilities and language use.
This approach, advocated by Bachman and Palmer (1996), focuses on the interaction between the language user, the context, and discourse. In this regard, test authenticity is a notion that upholds an interactive dealing between the test taker, the test task and the Target Language Use (TLU) domain, and it becomes essentially synonymous with communicative language use. The IA approach is based mainly on measuring language as a  mental ability and uses a theoretical framework of factors affecting test performance to construct tests (Bachman, 1990: 85). In addition, the IA approach also considers the  abilities of the test taker. The ability part of this approach originates in the early theories of verbal ability, and is manifested in various forms from Lado (1961), Carroll (1961), and Oller’s (1981)  pragmatic expectancy grammar to Kramsch’s (1986) interactional competence (all cited in Bachman, 1990: 302).
Bachman (1991) divided authenticity into Situational Authenticity (the perceived  match between the characteristics of test tasks and TLU tasks) and  Interactional Authenticity (the interaction between the test taker and the test task). In so doing, he acknowledged that authenticity involved more than matching TLU tasks; he saw authenticity also as a quality arising from the test takers’ involvement in test tasks. Like Breen (1985), Bachman (1990) recognized the complexities of authenticity and avoided considering it as an absolute quality. 
Later on, Bachman and Palmer (1996) separated the notion of authenticity from interactiveness, defining authenticity as the degree of correspondence of the characteristics of a
given language task to the features of a TLU task – the same as the situational authenticity in Bachman (1991). They also replaced interactiveness for interactional authenticity –  as proposed in Bachman (1991). To approximate the degree of correspondence between the test and TLU tasks – i.e. to determine the authenticity of test tasks – they proposed a framework in Bachman and Palmer (1996: 49-50), as a checklist of task characteristics including the input provided in the test as well as the expected outcome arising from the input by characterizing not only test tasks but also test takers’ interaction with these.
F. Authentic Assessment
Since testing an isolated skill or a retained fact  does not effectively measure a student's capabilities, evaluating what a student has learned requires examining their collective abilities. The term authentic assessment is synonymous with various forms of assessment that account for student learning, achievement, motivation, and attitudes on instructionally relevant classroom activities. Often, traditional types of assessment (i.e. essays, multiple-choice, fill-in-the-blank, etc.) are heavily language dependent. Surprisingly, content assessments have occasionally become English proficiency tests rather than a measure of what students know. In fact, authentic assessment refers to assessment tasks that resemble reading and writing in the real world and in school (Hiebert, Valencia & Afflerbach, 1994). Its aim is to assess different types of abilities that underpin literacy in contexts that are similar to actual situations in which those abilities are used. For example, authentic assessments may ask students to read real texts, to write for authentic purposes about meaningful topics, and to participate in authentic  literacy tasks such as discussing books, keeping journals, writing letters, and revising a piece of writing until it works for the reader. Furthermore, authentic assessment values the thinking behind a work as well as the finished product (Pearson & Valencia, 1987; Wiggins, 1989; Wolf, 1989). It is mainly designed to engage the student in a simulation of a real-life problem that they must solve using the knowledge and skills they have gained in the course. A single project can be implemented to assess mastery of course content as well as language-oriented goals such as communication skills, learning and critical thinking skills, as well as social and educational values (Gabriel, 2005).
Working on authentic tasks can be beneficial in that it becomes an edifying experience of learning for the student (Wolf, 1989). From the teacher's standpoint, such tasks can go a long way in supporting students’ language learning skills and strategies (Wiggins, 1989). Students learn and practice how to apply important knowledge and skills for authentic purposes. They should not simply practice information recall or encircle isolated vowel sounds in words; they should apply what they know to new tasks. It is not difficult for us to see the pedagogic advantages of asking students to discuss why the author used particular metaphors and what effect they had on the story in a literary text rather than asking them to underline metaphors in it. Such an endeavor will require the students to use their knowledge and skills for  a better understanding of how their learning relates to their living.
Performance assessment is a term commonly used with, or in place of, authentic assessment. It encourages students to demonstrate their knowledge, skills, and strategies by initiating a response (Rudner & Boston, 1994; Wiggins, 1989). Far from selecting an appropriate item from an array of multiple-choice options, students might indicate their abilities by conducting a research and writing a report, interviewing as well as being interviewed, leading a discussion, telling a favorite story, re-telling a story or a lecture, or summarizing information in a writing or speaking prompt, and so on. Simply stated, it requires students to perform a task rather than take a test. It is, therefore, designed to judge students' abilities to use specific knowledge and skills and actively demonstrate what they know rather than recognize or recall answers to questions. It is sometimes called authentic assessment because it involves tasks in a real-life context or a context that simulates a real-life context. The protocols for performance assessment range from relatively short answers to long-term projects that require students to present and defend their work. These performances often demand students to do in higher-order thinking and to integrate many language skills. Consequently, some performance assessments become longer and increase in their complexities compared to traditional assessments. As such any complete assessment should have a balanced blend of longer performance assessments and shorter ones. O’Malley and Pierce (1996; pp. 9-32) contend that authentic assessment may include a variety of measures that can be adapted for different situations. Table 1 presents some examples of authentic assessments.
Table 1 - Examples and descriptions of some authentic assessments
Adapted from O’Malley and Pierce (1996; pp. 9-32)
Assessment
Description
Advantages
Oral interviews
Teacher asks students questions about personal background, activities, readings, and interests
-  Informal and relaxed context 
- Conducted over successive days with     each student
- Observations recorded on an interview guide
Story of text retelling
Students retell mean ideas or selected details of text experienced truth listening or reading
- Oral report are produced 
- Can be scored on content or language   components
- Scored with a rubric or rating scale 
- Reading comprehension and language development can be determined
Writing samples
Students generate narrative, expository, persuasive written output
- Written documents are produced 
- Can be scored on content or language components 
- Sored with a rubric or rating scale 
- Writing processes can be assessed
Projects/exhibitions
Students complete projects in content area, working individually or in pairs
-Students make formal presentation,    written report, or both 
-Oral and written products and thinking skills are obtained  
- Scored with a rubric or rating scale
Experiments/
demonstrations
Students complete experiment or demonstrate use of materials
-Students make oral presentation, written report, or both 
-Oral and written products and thinking skills are obtained 
- Scored with rubric or rating scale
Constructed-
response items
Students respond in writing to open-ended question
- Written reports are produced 
- Scored on substantive information and thinking skills  
- Scored with a rubric or rating scale
Teacher observation
Teacher observes student attention, response to instructional materials, or interactions with other students
- Setting is classroom environment 
- Takes little time 
- Observations are recorded with anecdotal notes or rating scales
Portfolios
Focused collection of student work to show progress over time
- Integrates information from a number of sources
- Gives overall picture of student performance and learning 
- Strong student involvement and commitment 
- Calls for student self-assessment
G. Authentic Assessment Tools
Skillful and effective teachers require students to analyze and synthesize information, apply what they have learned, and demonstrate their understanding of material according to specified criteria. They have developed learning and assessment experiences to engage students and teach them how to “produce,” rather than simply “reproduce” knowledge (Burke 1992, p. 5). There are three important aspects or concepts that should accompany any type of authentic assessment: connecting, reflecting, and feedback.
ü Connecting
Across the nation, considerable attention is being directed toward the reform of testing and assessment. Much of this thrust is designed to extend assessment beyond testing, with its emphasis on facts and fragments of information, to authentic methods of assessment. A key feature of many of these authentic strategies is that students are required to connect facts, concepts, and principles together in unique ways to solve problems or produce products. Cognitive research has challenged the belief that learning and learning transfer occur simply by accumulating and storing bits of information (Shepard 1989, p. 4). Contemporary learning theory holds that learners gain understanding as they draw on and extend previously learned knowledge, construct new knowledge, and develop their own cognitive maps (connecting diagrams) interconnecting facts, concepts, and principles. Research indicates that information learned and assessed as a linear set of facts fails to yield the kinds of in-depth understanding needed to function in our modern society.
Glaser (1988) describes a number of different types of evidence collected through assessment. One of the most important of these is “coherence of knowledge.” Glaser goes on to observe that beginners’ knowledge is spotty and superficial, but as learning progresses, understanding becomes integrated and structured. Thus assessment should tap the connectedness of concepts and the student’s ability to access interrelated chunks. Authentic assessments are almost always framed in the form of learning experiences. These experiences are typically sequenced from simple to complex and are progressive in nature. An important role of teacher-facilitators is to help students connect the knowledge and skills learned in previous tasks and then extend them to related or more complex tasks. Transfer of knowledge and skills is enhanced when students recognize the connectedness of learning. A number of authentic assessments such as graphic organizers, writing samples, and portfolios require students to connect (or synthesize) what they have learned to produce finished products. Many technical tasks presented in technology-based programs require students to connect their previous knowledge of mathematics, science, social studies, and English to solve problems and complete tasks and projects.
ü Reflecting
The range of available options for teachers wishing to improve student assessment extends beyond the cognitive and psychomotor domains to include assessment of attitudes and other affective behaviors. The key element here is to help students develop their self-awareness and reflective skills. Students need to learn how to assess their own work and to think about their thinking. A key aspect of many forms of authentic assessment is the opportunities that are provided for students to reflect on their thinking, practices, and learning. The technical term for this type of reflective process is metacognition.
Robin Fogarty (1994), in her excellent book The Mindful School: How to Teach for Metacognitive Reflectiondefines metacognition as a sense of awareness— “knowing what you know and what you don’t know” (p. viii). Barell (1992) extends Fogarty’s definition to include feelings, attitudes, and dispositions because thinking involves not only cognitive operations but also the dispositions to engage in cognitive activities.
Burke (1994) notes that metacognitive reflections provide students with opportunities to manage and assess their own thinking strategies. “Metacognition involves the monitoring and control of attitudes, such as students’ beliefs about themselves, the value of persistence, the nature of work, and their personal responsibilities in accomplishing a goal” (p. 96). These attitudes are fundamental to all tasks in varying degrees, whether academic or nonacademic. Teachers need to provide opportunities for students to engage in the kind of metacognitive monone situation to another, we must be aware of them; metacognitive strategies are designed to help students become more aware” (p.259). Fogarty, Perkins, and Barell (1992) define transfer as “learning something in one context and applying it in another” (p. ix).
In the constructivist view of learning, individuals absorb information and make sense of that information through metacognitive reflection. Reflection allows individuals to recognize the gaps that exist in their understanding. As gaps are recognized and become significant to students, they are motivated to locate, apply, and connect previous learning as well as to construct new knowledge.
Burke (1994) and Fogarty (1994), in their works on metacognition, detail a number of metacognitive strategies that can be used by classroom teachers. These include such techniques as Mrs. Potter’s Questions, KWL charts, PMI charts, transfer journals, wrap-around, reflection page, learning logs, seesaw thinking, pie in the face, stem sentences and many others.
• Mrs. Potter’s questions: What were you expected to do in this assignment? What did you do well? If you had to do this task over, what would you do differently? What help do you need from me?
•  The KWL strategy consists of a three-column chart in which one column (K) is devoted to what    I Know, the second (W) to what I Want to know, and the third (L) to what I Learned after finishing this lesson or assignment.
•  The PMI strategy is similar to the KWL chart except the first column (P) is devoted to the Plus or favorable things found about a learning experience, the second (M) focuses on the Minuses or unfavorable finding, and the third (I) is devoted to what the student found Interesting about the learning experience.
Descriptions of other metacognitive strategies can be found in Burke’s and Fogarty’s books. It is very important to provide opportunity for learners to reflect on what has been learned as teachers rush to “cover the content in the textbook” and prepare learners to “pass the test.” Many learners are unaware of their thinking processes while they are learning and trying to create personal meaning out of some learning experience. When asked to describe what they initially thought about a topic, how they began to create personal understanding about some content, and what they would be able to do with this new knowledge or skill, they can’t describe how they went about it and usually reply “I don’t’ know how I did it, I just did.” Students who are taught how to reflect on learning by using metacognitive reflection strategies should be able to monitor, assess, and improve their own thinking and learning performance.
ü Feedback
Another important outcome of authentic assessment has to do with providing feedback to learners related to significant objectives. Wiggins (1993) notes that many teachers erroneously believe they are providing feedback with test scores and coded comments such as “good work,” “vague,” and “awkward.” What is wanted and needed by learners is user-friendly information about performance and how improvement can be made. Learners need information that will help them self-assess and self-correct so that assessment becomes integrated throughout the learning experience.
Wiggins (1993) draws a subtle, but important, distinction between guidance and feedback. Guidance gives direction whereas feedback tells one whether or not they are on course. Guidance is typically teacher initiated and tends to be prescriptive.
By contrast, feedback actively involves and engages the learner. Frequently, the process is collaborative and reflective; the teacher and student become partners in the learning process. Figuratively, feedback techniques are those experiences that help students see themselves and their performance more clearly. Throughout the assessment process, students are provided with real-time information about the quality of their performance.
Wiggins (1993) notes that feedback is more like a running commentary rather than measurement. It enables learners to monitor their performance, thinking about whether or not they are on the right track without labeling or censoring their performance. From this feedback perspective, the emphasis shifts from “measurement” as an end goal to “assessment” as an ongoing and continuous process. To maximize the effect, feedback should occur while the performance is underway, not just after it is evaluated.
Mastery of complex, integrative learning activities extends well beyond simply responding to probing questions following performance. Rather, it involves continuous feedback throughout the process of solving complex problems. Successful performance requires concurrent feedback inherent in the task itself or in the context in which the task is performed that enables learners to self-assess and self correct as accurately as possible. Optimally, feedback is best when it becomes an integral part of students’ own mental processes, when they learn how to assess themselves. Similar to other real-life situations, feedback is comprised of a complex set of external (family members, friends, co-workers, and supervisors) and internal messages (reflective and metacognitive thinking).
H.  Limitations to authenticity
Overemphasis on authenticity as a determining factor could also be considered dubious. However useful the postulation of authenticity as one criterion among others may be, it is to be borne in mind that (1) a complete congruence (of the test to target language use) is impossible in practice, and (2) there are other demands that necessarily influence our search for optimal forms of testing and therefore relativize our attempts to construct authentic tests (Doye, 1986). While a language test is a social event that has the intention of examining the competence of language learners, it is a special and formulized event distanced from real life and structured for a particular purpose. The very fact that a language test seeks to find out whether the learner is capable of performing a language task distinguishes it considerably from the corresponding performance of this task outside the test situation. Even if we succeed in manipulating the testees to accept the illocutionary point of a test task they are supposed to perform, they will always have in mind the other illocutionary point that is inherent in a test, namely ‘to prove that they are capable of doing what is demanded of them’. Even put in direct testing situations, learners will always have another purpose of their verbal activity in mind: ‘to show  the teacher that they are able to perform the demanded task well enough to satisfy the teacher and to qualify the course requirements’. 
Also, there has been an emphasis on the specifics of real-life situations which are not included in the so-called inauthentic tests. We have to embed our tests in a realistic setting that contains all such specifics (e.g. background noises, hesitations, interruptions, etc.) so that the test looks plausible enough to the testee. However, the more we include those incidentals, the farther we move away from the reality since not all those peculiarities of the real life exist in all such situations. Therefore, we need not be sorry if we do not succeed in making a test situation absolutely authentic. Rather, we should endeavor to employ just the plausible-looking amount of realism in the construction of our tests. In other words, abstraction from those incidentals may seem inevitable for economic and practical reasons or purposes. Also, Weir (2005) contends that full authenticity of setting is obviously not attainable in the classroom or the language test, but the settings selected for testing and teaching should be made as realistic as possible (p. 56). Similarly, Douglas (2000) and O’Sullivan (2006) believe that every attempt should be made within the constraints of the test situation to approximate to situational authenticity.

2 komentar:

  1. Website paling ternama dan paling terpercaya di Asia
    Sistem pelayanan 24 Jam Non-Stop bersama dengan CS Berpengalaman respon tercepat
    Memiliki 9 Jenis game yang sangat digemari oleh seluruh peminat poker / domino
    Link Alternatif :
    www.arenakartu.cc
    100% Memuaskan ^-^

    BalasHapus
  2. 우리카지노 우리카지노 leovegas leovegas ボンズ カジノ ボンズ カジノ bet365 bet365 カジノ シークレット カジノ シークレット ラッキーニッキー ラッキーニッキー 메리트카지노 메리트카지노 クイーンカジノ クイーンカジノ betway login betway login 387

    BalasHapus