چالش‌ها و راهكارهاي ارزشيابي اثربخشي برنامه‌هاي اجتماعي

سال سوم، شماره دوم، پاييز و زمستان 1390، صفحه 139 ـ 155
Pazhuhesh, Vol.3. No.2, Fall & Winter 2011-12

احمد عابدي سروستاني*

چكيده

هر جامعه‌اي نيازمند آن است تا ميزان پيشرفت و دستاورد برنامه‌هاي اجتماعي‌اش به گونة مستمر بررسي و كاوش شود. اين كار با ارزشيابي امكا‌ن‌پذير است كه يكي از عناصر مهم هر الگوي برنامه‌ريزي مناسب را تشكيل مي‌دهد. يكي از مهم‌ترين پرسش‌هاي مطرح در باب ارزشيابي اين است كه يك برنامه چقدر به اهدافش رسيده يا كامياب بوده است. پاسخ به اين پرسش با ارزشيابي اثربخشي داده مي‌شود. البته ارزشيابيِ اثربخشي برنامه‌هاي اجتماعي با چالش‌هايي روبه‌روست.
در مقالة حاضر با روش توصيفي ـ تحليلي مي‌كوشيم تا ضمن معرفي اين چالش‌ها، راهكارهاي انجام آن را تبيين كنيم. درمجموع شناخت مفهومي اثربخشي و چگونگي سنجش و تعيين معيارهاي درخور براي آن در برنامه‌هاي اجتماعي، از مهم‌ترين چالش‌ها به‌شمار مي‌آيند و بهترين راهكار در ارزشيابي اثربخشي اين قبيل برنامه‌ها، سنجش تأثيرات اجتماعي آنها در محيط پيرامون است.

كليدواژه‌ها: ارزشيابي، اثربخشي، چالش‌ها، برنامه‌هاي اجتماعي.


* استاديار دانشگاه علوم کشاورزي و منابع طبيعي گرگان                                                                     abediac@yahoo.com
دريافت: 29/5/90 ـ پذيرش: 18/12/90


مقدمه

ارزشيابي علمي است كه به بررسي نظام‌مند رويه‌ها، اقدامات و ارزش و اهميت آنها مي‌پردازد.1 ارزشيابي در زمينة علوم اجتماعي با اين هدف انجام مي‌شود كه تعيين كند چه اتفاقاتي در برنامه‌ها و مداخله‌هاي اجتماعي رُخ مي‌دهند، و نيز مشخص سازد كه چه اموري موجب پديد آمدن پيامدهاي برنامه‌ها مي‌شوند. ارزشيابي عنصري است كه در طول فرايند برنامه‌ريزي وجود دارد و با مشخص كردن نقاط قوت و ضعف، به برنامه‌ريزان و مجريان كمك مي‌كند تا بهترين روش‌ها و تمهيدات را براي پيشبرد اهداف برنامه به‌كار بندند. در ارزشيابي ممكن است پرسش‌هاي گوناگوني از اين دست مطرح باشند: آيا مداخله‌هاي انجام‌شده در مقايسه با هزينه‌هاي آن، ارزشمندند؟ آيا در كنار نتايجي كه برنامه براي رسيدن به آن طراحي شده است، پيامدهاي ناخواسته و نامطلوب نيز دركارند؟ آيا در اجراي برنامه از روش خوبي استفاده شده است؟ آيا راه بهتري براي انجام كارهاي همانند وجود دارد؟ و سرانجام آيا معيارهاي اخلاقي در اجراي برنامه‌ها رعايت شده‌اند؟ پرسش‌هاي مطرح در ارزشيابي، به يكي از هشت قلمرو ارزشيابي، يعني ارزشيابي برنامه، ارزشيابي كاركنان، ارزشيابي عملكرد، ارزشيابي سياست‌ها، ارزشيابي نتايج (محصول)، ارزشيابي بين‌رشته‌اي و ارزشيابي از ارزشيابي (فراارزشيابي) مربوط مي‌شوند.2

اگر اين تعريف را بپذيريم كه ارزشيابي، فرايند ارزيابي طرح‌ريزي‌شده و ادامه‌داري است كه لازمة هر تصميم‌ يا انتخاب مهم در برنامه‌ريزي، طراحي و اجراي برنامه و يا تشخيص و ارزيابي نتايج و تأثيرات برنامه است،3 مي‌توان نتيجه گرفت كه ارزشيابي دو عملكرد متفاوت دارد: نخست اينكه ارزشيابي مي‌تواند موجب امكان‌پذير شدن تغييرات مورد نياز در طرح يك برنامة در حال اجرا يا طرح‌ريزي مراحل جديد ‌شود؛ دوم اينكه ارزشيابي مي‌تواند به يادگيري درس‌هاي كلي دربارة طراحي و اجراي برنامه‌ها بينجامد كه در طراحي برنامه‌هاي آتي از اهميت بسياري برخوردار است.4 بنابراين هدف از انجام آن، اصلاح و بهبود فعاليت‌ها و رفع كاستي‌هاست. درمجموع ارزشيابي يك ابزار مهم در مديريت برنامه به‌شمار مي‌آيد و انتظار مي‌رود كه نقشي بنيادين در حمايت از فعاليت دست‌اندركاران حوزة برنامه‌هاي اجتماعي داشته باشد و اجازه دهد تا تحليلي از فرايند اجراي برنامه‌ها و نتايج حاصل از آنها انجام شود. بنابراين ارزشيابي را مي‌توان موضوعي راهبردي براي توليد اطلاعات و دانش و همچنين تأييد يا رد فرضيه‌ها و فراهم آوردن برهان و ادلة كافي دربارة كارايي و اثربخشي برنامه‌ها دانست كه مبنايي براي تصميم‌سازي درست در سطوح مختلف اجتماع را فراهم مي‌آورد.5

ارزشيابي به سنجش ميزان شايستگي مي‌پردازد. به‌اين‌ترتيب هركس مي‌تواند داوري خويش را گونه‌اي ارزشيابي به‌شمار آورد؛ اما پرسش اين است كه چگونه مي‌توان اطمينان يافت كه اين داوري‌ها صحيح‌اند؟ چه‌بسا آنها از تجربه، آموزش‌ و يا وابستگي حرفه‌اي افراد تأثيرپذيرند. به بيان ديگر، اين احتمال هست كه داوري به صورت ذهني انجام شوند؛ درحالي‌كه در ارزشيابي، آن نوع داوري‌اي ارزشمند است كه عيني و مبتني بر اطلاعات درخور اطمينان باشد.6 به همين دليل، ارزشيابي مي‌بايد به صورت فرايندي نظام‌يافته و يا يك تحقيق انجام شود كه آن را تحقيق ارزشيابي مي‌نامند. تحقيق ارزشيابي، مجموعة گوناگوني از روش‌ها و دستورالعمل‌هاست كه براي جمع‌آوري، تجزيه، تحليل و تفسير اطلاعات دربارة اجراي برنامه‌ها و همچنين تأثير مداخله‌هاي انجام‌شده براي بهبود شرايط زندگي اجتماعي انسان به‌كار مي‌روند.7 اگرچه تحقيق ارزشيابي نسبت به ارزشيابي‌هاي غيررسمي، به هزينه و وقت بيشتري نياز دارد، در مواردي كه پيامدهاي ارزشيابي‌شده پيچيده باشند و يا تصميم‌هاي گرفته‌شده براساس ارزشيابي، مهم و پرهزينه بوده، براي متقاعد كردن ديگران نياز به شواهد و مدارك معتبر باشد، تحقيق ارزشيابي از اهميت بسياري برخوردار است و اطلاعات دقيقي را فراهم مي‌آورد.8

با اين همه، ارزشيابي ميزان موفقيت برنامه با چالش‌هايي روبه‌روست كه از مهم‌ترين آنها مسائلي‌اند از اين دست، كه موفقيت يك برنامه را چگونه مي‌توان تعريف كرد؟ از چه معيارهايي براي سنجش ميزان موفقيت برنامه مي‌توان استفاده كرد و چگونه اين معيارها مي‌توانند به‌گونة عملي و معتبر سنجيده شوند؟ ارائة نظريه‌ها و رهيافت‌هاي ارزشيابي را مي‌توان تلاشي براي پاسخ به اين قبيل پرسش‌ها دانست كه هركدام كوشيده‌اند با توجه به ديدگاهي كه نسبت به برنامه‌هاي اجتماعي، توليد و استفاده از دانش علمي، ارزش‌ها و چگونگي استفاده از نظريه‌ها و رهيافت‌ها در عمل دارند، اين كار را به انجام رسانند. در اين مقاله مي‌كوشيم با استفاده از روش توصيفي ـ تحليلي، پاسخ برخي از مهم‌ترين پرسش‌هاي مطرح را دراين‌باره، با مرور مهم‌ترين نظريه‌ها و رهيافت‌هاي مطرح در ارزشيابيِ اثربخشي برنامه‌هاي اجتماعي روشن سازيم تا ضمن آشنايي با مهم‌ترين مفاهيم مرتبط با موضوع مورد بحث، چالش‌ها و راهكارها را نيز تبيين كنيم.

اهميت ارزشيابي

رشد و گسترش تحقيق ارزشيابي9 را مي‌توان نتيجة مستقيم فشارهاي نظارتي براي مسئوليت‌پذيري10 و خِردگرايي در تخصيص منابع ملي دانست. علت نيز در محدود بودن منابع در هر اجتماع است كه موجب مي‌شود احتمالاً حمايت از يك برنامه، مانند برنامه‌هاي عمراني، به‌معناي كاهش حمايت و سرمايه‌گذاري در برنامه‌هاي ديگر باشد. حتي هنگامي كه سرمايه و منابع بسنده در اختيار باشد، باز هم افراد نسبت به كارايي و يا اتلاف آنها حساس‌اند و مي‌خواهند بدانند آيا از منابع به درستي استفاده مي‌شود يا خير؟ با افزايش هزينة دولت‌ها در برنامه‌هاي اجتماعي، آموزشي و بهداشتي، فشار روبه‌افزايشي از سوي مردم براي آگاهي‌يافتن از مصرف صحيح منابع مالي و بازگشت منافع آن به عموم وجود دارد.11 ازسوي ديگر، فراهم آوردن شواهد و مدارك معتبر دربارة ميزان مؤثر بودن يك برنامه، نقش مهمي در تقويت آن خواهد داشت. دراين‌باره، برخي معتقدند كه اهميت ارزشيابي براي برخي از سازمان‌ها به حدي است كه مي‌توان آن را از ضرورترين عوامل حيات آنها به‌شمار آورد و چنانچه اين سازمان‌ها قادر نباشند شواهد و مدارك بسنده دربارة اثربخشي و همچنين گزينش سياست‌هاي درست براي پشتيباني از ارباب‌رجوع ارائه كنند، آينده و بقاي آنها با خطر روبه‌رو خواهد بود.12 دراين‌باره، مي‌توان به پايين بودن جايگاه برخي از سازمان‌هاي مرتبط با توسعة روستايي اشاره كرد كه شايد يكي از علل آن، نبود يك نظام ارزشيابي درخور باشد؛ زيرا براي مثال، با اينكه تحقيقات نشان داده‌‌اند سرمايه‌گذاري در آموزش غيررسمي نسبت به سرمايه‌گذاري در امور زيربنايي (مانند جاده‌سازي و آبرساني) از نرخ بازگشت سرماية بالاتري برخوردار است، باز در بيشتر كشورها سهمي ناچيز از بودجة عمومي به اين قبيل آموزش‌ها اختصاص مي‌يابد.13

رهيافت‌هاي ‌ارزشيابي

رهيافت‌هاي فراواني در ارزشيابي برنامه مطرح‌اند و توسط افراد مختلف، به شكل‌هاي گوناگوني طبقه‌بندي شده‌اند. عمومي‌ترين اين طبقه‌بندي‌ها، ارزشيابي مرحله‌اي و ارزشيابي نهايي است كه اسكريون14 آن را مطرح كرده است. ارزشيابي نهايي پس از پايان يافتن برنامه و براي تعيين اثربخشي به‌كار گرفته مي‌شود؛ درحالي‌كه از ارزشيابي مرحله‌اي هنگامي استفاده مي‌كنند كه برنامه در حال اجراست و تغييرات يا توسعة بيشتر برنامه مدنظر است.15

رهيافت ارزشيابي مي‌تواند براساس تفكر مثبت‌گرايي16 شكل بگيرد كه در اين صورت براي انجام ارزشيابي به طرح‌هاي آزمايشي نياز است و تنها در صورتي مي‌تواند مورد استفاده قرار گيرد كه شرايط ايدئال ارزشيابي به روش آزمايش متحقق باشد؛17 اما معمولاً طرح‌هاي آزمايشي در ارزشيابي برنامه‌هاي اجتماعي با مشكلات گوناگوني مانند كنترل و دستكاري متغيرها روبه‌رويند. اين مشكلات عملاً استفاده از روش مزبور را محدود كرده‌اند. ساير رهيافت‌هاي مطرح در ارزشيابي برنامه‌هاي اجتماعي عبارت‌اند از:18

1. رهيافت عيني‌گرا:19 اين رهيافت بر اهداف كلي و جزئي برنامه تأكيد مي‌ورزد و در آن كوشيده مي‌‌شود تا ميزان موفقيت برنامه با توجه به اهداف آن اندازه‌گيري شود. در اين نوع ارزشيابي، نقش ارزشياب به صورت يك متخصص سنجش20 (اندازه‌گيري) است؛

2. رهيافت مديريت‌گرا:21 اين رهيافت به‌وسيلة تصميم‌هاي مورد نياز برنامه هدايت مي‌شود. در اين رهيافت، داده‌ها در ارتباط با مسائلي كه طي مراحل اجراي برنامه تغيير مي‌كنند، جمع‌آوري مي‌شوند. مديريت مؤثر برنامه، يك هدف است و ارزشياب بايستي به‌دنبال پيش‌زمينه‌هاي تصميم‌ها باشد تا بتواند مشخص كند چه اطلاعاتي براي بهبود فرايند تصميم‌گيري مورد نيازند؛

3. رهيافت مصرف‌كننده‌گرا:22 در اين رهيافت تأكيد بر فراهم آوردن اطلاعات سودمند براي افرادي است كه سرانجام بر پاية آن اطلاعات، كاري انجام خواهند داد. تأكيد اين رهيافت بر مردم است و ارزشياب، گروه‌هاي استفاده‌كننده از اطلاعات را در كل فرايند ارزشيابي درگير مي‌كند؛

4. رهيافت مشاركت‌كننده‌گرا:23 در اين رهيافت، ارزشياب به‌دنبال درك همة پرسش‌هاي ارزشيابي از ديدگاه تمام مشاركت‌كنندگان در برنامه، كاركنان، مديران و ديگر افراد است. اين رهيافت، بيشتر از روش‌هاي كيفي در جمع‌آوري اطلاعات استفاده مي‌كند و به همين دليل در آن، ارزشيابي‌هايي كاربرد دارند كه كمتر بر يك موضوع خاص متمركز مي‌شوند؛

5. رهيافت تخصص‌گرا:24 در اين رهيافت از يك فرد حرفه‌اي در يك زمينة ويژه خواسته مي‌شود تا برنامه‌اي را ارزشيابي كند. براي اين كار، يك متخصص يا گروهي از متخصصان، كه در يك زمينه تبحر دارند، نسبت به قضاوت‌ ذهني و حرفه‌اي دربارة برنامة مورد ارزشيابي، اقدام مي‌كنند؛

6. رهيافت رقيب‌گرا:25 اين رهيافت كه مبتني بر ايده‌هايي از قلمرو قانون است، مي‌كوشد ديدگاه‌هاي متضاد را دربارة برنامه به‌دست آورد و در عين حال، بين آنها تعادل ايجاد كند. در اين فرايند، اغلب ديدگاه‌هايي كه به صورت آزاد بيان مي‌شوند، به شكل باز كانون توجه قرار مي‌گيرند.

از آنچه گفته شد مي‌توان نتيجه گرفت كه ارزشيابي، عرصه‌اي نسبتاً جوان است و انتظار نمي‌رود كه به شكل نظامي رشد‌يافته باشد. رهيافت‌هاي مزبور، فاقد معيارهايي هستند كه به آنها همچون الگويي علمي نگاه شود. به‌علاوه اين رهيافت‌ها نظريه نيستند؛ زيرا نمي‌توان آنها را به سبكي كه داراي قاعده‌اي كلي باشند، بيان كرد و نمي‌توان از طريق اين رهيافت‌ها، به پيش‌بيني يا حدس و گمان اقدام كرد. رهيافت‌ها و نظرات ارائه‌شده در باب ارزشيابي، رو به رشد و گسترش‌اند و پيش از اينكه همة دانسته‌ها دربارة ارزشيابي بتوانند در قالب الگويي ارائه شوند، اين رهيافت‌ها و نظرات باز هم رشد خواهند كرد و بيشتر خواهند شد.

ارزشيابي اثربخشي

معمولاً در بررسي ميزان موفقيت يك نظام خدماتي و يا توليدي، شاخص‌هايي همچون بازدهي، بهره‌وري،26 كارايي27 و اثربخشي،28 مدنظر است. به‌همين‌ترتيب ارزشيابي مي‌تواند بر سه حوزه متمركز باشد: الف) كارايي مالي و اقتصادي برنامه؛ ب) تأثيرات، ستانده‌ها و نتايج نهايي برنامه؛ و ج) اثربخشي.29 با اين حال، يك واقعيت دربارة ارزشيابي اثربخشي نبايد از نظر دور داشت و آن اينكه مطالعات ارزشيابي اثربخشي بسيار محدودند.30 از علل اين مسئله، مي‌توان به طرز تلقي متفاوت ارزياب و مجريان از برنامه، و نيز اين موضوع اشاره كرد كه ارزشيابي اغلب داراي بار سياسي است. اين موارد موجب شده‌اند تا ارزشيابي، كاري دشوار به نظر آيد.31 علاوه بر اين دشواري ناشي از شناخت مفهومي، كيفي بودن شاخص اثربخشي، دشواري سنجش اثربخشي و تعيين معيارهاي مناسب براي آن، عواملي هستند كه موجب شده‌اند سازمان‌‌ها كمتر به ارزشيابي اثربخشي بپردازند.32

اثربخشي به معناي بررسي ميزان دستيابي به اهداف و سودمند بودن برنامه،33 درجة دستيابي به اهداف34 و درجة دستيابي نظام اجتماعي به اهداف خود35 آمده است. براي درك بهتر مفهوم اثربخشي، مي‌توان به تعريف آن در نظامي فيزيكي اشاره كرد كه بر مبناي قوانين فيزيك و ترموديناميك، اثربخشي به معناي نسبت ميزان كار عملي
يا انجام‌شده توسط يك نظام بر حداكثر كار انجام‌پذير يا پيش‌بيني‌شده است. به‌اين‌ترتيب معيار بنيادين در ارزشيابي اثربخشي، اهداف برنامه يا سازمان (انجام كار پيش‌بيني‌شده) است و با انجام آن به اين پرسش پاسخ داده مي‌شود كه اهداف مورد نظر تا چه حد
تحقق يافته‌اند ‌‌‌‌و يا برنامه با توجه به اهداف خود تا چه اندازه موفق بوده است. درعين‌حال نبايد فراموش كرد كه اثربخشي، بُرداري است كه ستاده‌هاي كمي و كيفي را هم‌زمان دربرمي‌گيرد و نشان‌دهندة كيفيت و ارتباط ستانده‌ها با طيف گسترده‌اي از اهداف كلي و جزئي سازمان است.36

چالش‌ها و راهكارها

نظريه‌هاي مطرح در باب اثربخشي سازماني را مي‌توان با توجه به دو رهيافت سيستمي37 و رهيافت اهداف38 بررسي كرد.39 در رهيافت سيستمي، سازمان در رابطه‌اي تبادلي با محيط در نظر گرفته مي‌شود كه در آن، بر رابطة سازمان با محيط پيرامون در دستيابي و فراهم آوردن منابع بسنده براي توانا كردن سازمان به عمل تأكيد مي‌شود. بازيگران40 در اين محيط، به گونة مستقيم يا غيرمستقيم، نهاده‌هاي مورد نياز سازمان را تأمين مي‌كنند و سرانجام ستانده‌هاي حاصل از كار سازمان را دريافت مي‌دارند. چنين محيطي مي‌تواند به شكل عرصه‌اي سياسي در نظر گرفته شود كه در آن، تصميم‌گيران اجازة تخصيص منابع، تأثير بر موانع و تعريف معيارهاي لازم براي اثربخشي را انجام مي‌دهند و خود دربارة اينكه آيا سازمان به اندازة كافي انجام وظيفه كرده است يا نه، داوري مي‌كنند. در مقابل، رهيافت اهداف بر عملكرد سازمان در دستيابي به اهداف تعيين‌شده تمركز دارد و براي تعيين اثربخشي، معيارهاي به‌دست آمده از اهداف41 با پيشرفت‌ سازمان مقايسه مي‌شوند. به‌طور كلي استفاده از رهيافت سيستمي در ارزشيابي اثربخشي، انتزاعي است و كاركردي كردن آن دشوار است؛ درحالي‌كه رهيافت اهداف، با تعيين و تعريف حد مطلوب پيامدها روبه‌روست. براي حل اين مشكل، مي‌توان از رهيافت بينابيني استفاده كرد كه در آن، سازمان‌‌ها به‌منزلة ابزاري از نتايج يا ستانده‌ها مدنظرند. به‌بيان ديگر، سازمان مؤثر آن سازماني است كه بهترين خدمت را به افرادي ارائه دهد كه آن را براي دستيابي به مقاصد خود در نظر گرفته‌اند. به‌اين‌ترتيب اثربخشي سازماني نه‌فقط بر مبناي نتايج مورد نظر (اهداف)، كه همچنين بر مبناي افراد در محيط پيرامون (سيستم) تعريف مي‌شود. اين رهيافت، اهميت محيط پيرامون در فراهم آوردن حقانيت سياسي را به رسميت مي‌شناسد و در عين حال، به دريافت‌كنندگان خدمات اجازه مي‌دهد تا عملكرد سازمان را بر مبناي توقعات خود ارزشيابي كنند. بنابراين اثربخشي برحسب دستيابي به اهدافي سنجيده مي‌شود كه از راه محيط پيرامون تعريف مي‌شوند.

برخي معتقدند برخلاف مفاهيمي مانند بهره‌وري و كارايي، محاسبة مستقيم اثربخشي امكان‌پذير نيست و به‌دليل كيفي بودن اين مفهوم، مي‌بايد از روش‌هاي كيفي و باواسطه بهره جست.42 اين در حالي است كه اغلب، به‌دليل ماهيت چندبُعدي مفهوم اثربخشي و ارتباط دادن متغيرهايي مانند اهميت اهداف، شمار كاركنان، سودمندي و رضامندي از آن، سنجش اثربخشي با دشواري‌هاي بيشتري روبه‌روست.43 حتي برخي بر اين باورند كه اثربخشي، نه يك مفهوم، بلكه ساخته‌اي اجتماعي است كه از برداشت ذهني نظريه‌پردازان برنامه و محققان سرچشمه مي‌گيرد.44 بنابراين پرسش اين است كه براي انجام ارزشيابي اثربخشي چه بايد كرد؟

در پاسخ بايد دانست كه نخستين گام در ارزشيابي اثربخشي، تعيين اهداف برنامه و حالت مطلوب كارهاست؛ اما معمولاً اين كار به آساني امكان‌پذير نيست؛ زيرا اين احتمال هست كه يا اهداف برنامه به صورت مبهم و در عبارت‌هاي كلي بيان شده باشند45 و يا جانشيني هدف‌ها روي داده باشد؛ به اين معنا كه هدف‌هاي سازماني طي زمان و در پاسخ به نيازهاي جديد تغيير يافته باشند.46 اين موضوع را نيز نبايد ناديده گرفت كه سازمان‌ها اغلب اهدافي گوناگون دارند كه حتي ممكن است با هم در تضاد باشند. به‌علاوه برخي از اهداف ممكن است مقاصد كلي سازمان را بيان كنند و يا به صورت انتزاعي طرح شده باشند و هر فرد، مفهومي ويژه را از آن درك كند. در اين حالت گفته مي‌شود كه شخص ارزشياب با مشكل نامحسوس بودن اهداف برنامه روبه‌روست.

يك هدف هنگامي نامحسوس است كه قابل كمّي شدن در عبارت‌هاي مشخص نباشد و بنابراين موجب كاهش توصيف قطعي از آن چيزي مي‌شود كه دستيابي به هدف مي‌بايد ايجاد كند. ازاين‌رو، تا آنجا كه ممكن است مي‌بايد از بيان هدف‌هاي مبهم و كلي دوري جُست و كوشيد تا از كلمات دقيق براي بيان آنها استفاده شود. هرچقدر هدفي مشخص‌تر باشد، بهتر مي‌تواند در سنجش ميزان پيشرفت مورد استفاده قرار گيرد. بنابراين بايد در صورت نياز از مديران و مسئولان برنامه خواسته شود ارتباط بين خدمات و فعاليت‌هاي ويژه را با نتايجي كه برنامه مي‌بايد به آنها دست يابد روشن سازند و علاوه بر اين، نتايج دلخواه (اهداف برنامه) را در عبارت‌هاي روشن و سنجش‌پذير بيان كنند. با اين حال، هميشه اين كار صورت نمي‌گيرد. براي مثال، بسياري از برنامه‌هاي اجتماعي دامنه‌اي گوناگون از اهداف مانند تشويق مشاركت مردمي، خودمختاري و خوداتكايي در بين مردم را دنبال مي‌كنند كه از اهداف نامحسوس به‌شمار مي‌روند. اين قبيل اهداف، ذاتاً و از نظر ماهيت، كيفي‌اند و با روش‌هاي ارزشيابي متداول نمي‌توان اثر يك برنامه را در تحقق آنها سنجيد. به‌اين‌ترتيب در كار با اهداف مادي،47 ارزشياب با نتايجي سروكار دارد كه كمّي و قابل بيان با آمارند؛ اما در كار با اهداف غيرمادي، به درك فرايندهايي نياز است كه تحقق يافته‌اند و طبيعتي كيفي دارند و ضرورتاً به صورت كمّي نمي‌توان آنها را اندازه گرفت. بنابراين اهداف غيرمادي، به راه‌حل‌هايي متفاوت نياز دارند. گفتني است كه در ارزشيابي مرسوم، به سنجش نتايج و سرانجام داوري دربارة آنها پرداخته مي‌شود؛ درحالي‌كه در ارزشيابي اهداف غيرمادي، توصيف و درنهايت تفسير اطلاعات مدنظر است.48

دراين‌باره مي‌توان به دو انگارة علوم طبيعي49 و كيفي50 در ارزشيابي اشاره كرد.51 در انگارة علوم طبيعي كه از روش‌شناسي فرضي ـ قياسي52 گرفته شده است، بر استفاده از روش‌هاي كمّي در ارزشيابي تأكيد مي‌شود و مشخصة بارز آن، طرح‌هاي آزمايشي، داده‌هاي كمّي و تجزيه و تحليل آماري است؛ درحالي‌كه در انگارة كيفي، كه به‌گونة مستقيم از روش‌هاي مردم‌شناسي و روش‌شناسي كل‌گرا ـ استقرايي53 گرفته شده است، بر استفاده از روش‌هاي كيفي در ارزشيابي تأكيد مي‌شود. از ويژگي‌هاي اين نوع ارزشيابي مي‌توان به تحقيق طبيعي، داده‌هاي كيفي و تجزيه و تحليل محتوايي اشاره كرد. با توجه به اين موضوع، ارزشيابي برنامه‌هاي اجتماعي مي‌تواند از دو ديدگاه، يعني رهيافت ابزاري ـ فن‌گرايانه54 و رهيافت تفسيري55 كانون توجه باشد. رهيافت ابزاري ـ فن‌گرايانه به‌دنبال درك ميزان تأثير مداخله‌هاي انجام‌شده در توسعة اجتماعي است و مي‌كوشد تا فعاليت‌هاي كمّي را به حوزة گستردة توسعة اجتماعي بسط دهد؛ اما رهيافت تفسيري به‌دنبال اين است كه با كشف علل توجه به ارزشيابي، عملكرد پنهان ارزشيابي‌ را در تقويت انواعي معين از كنترل بررسي كند. اين رهيافت، بر فرايندهاي سياسي ارزشيابي تأكيد مي‌ورزد و مبنايي را براي روش‌شناسي ارزيابي عملي56 فراهم مي‌كند كه گاه مسائل مرتبط با مشاركت، تواناسازي57 و پايداري را نيز دربرمي‌گيرد. هم‌اكنون از اين مسائل به‌منزلة كانون راهبردهاي توسعة مطلوب ياد مي‌شود.58

نظريه‌هاي اخير ارائه‌شده براي ارزشيابي، برخلاف مفاهيم دهة 1970 ميلادي كه بر روشن كردن اهداف كلي و ويژة برنامه‌هاي اجتماعي و همچنين تناسب اطلاعات به‌دست‌آمده از ارزشيابي براي استفاده در تصميم‌‌گيري تأكيد مي‌ورزيدند، بر اموري ديگر تأكيد دارند. اين موارد دربردارندة بهره‌برداران اطلاعات حاصل از ارزشيابي و متغيرهاي انساني است كه در فعاليت‌هاي برنامه دخيل‌اند. برخي محققان به اين نتيجه رسيده‌اند كه فعاليت‌هاي هر برنامه، معاني متفاوتي براي افراد گوناگون دارد و يك برنامة اجتماعي هنگامي مي‌تواند به بهترين وجه درك شود كه از جنبه‌هاي گوناگون، كه نشان‌دهندة سلايق مخاطبان مختلف است، كانون بررسي قرار گيرد.59 به‌اين‌ترتيب برخي به اين دليل بر استفاده از روش‌هاي كيفي در ارزشيابي اثربخشي تأكيد مي‌ورزند كه اين روش‌ها مي‌توانند به فراهم آمدن اطلاعاتي گسترده و عميق بينجامند كه با استفاده از رهيافت‌هاي كمّي دسترس‌پذير نيستند.60 اين موضوع به ارائة رهيافت‌هايي انجاميده است كه در ارزشيابي اثربخشي و به‌ويژه در ارتباط با اهداف غيرمادي و تأثيرات جانبي61 برنامه‌هاي اجتماعي كاربرد دارند. براي مثال، مي‌توان از رهيافت ارزشيابي پاسخ‌گو62 نام برد كه هدف از انجام آن، درك جرياني از ديدگاه‌هاي چندگانة همة افراد دخيل در برنامه و همچنين ارائة الگوهايي است كه بازتاب‌دهندة آراي گروه‌هاي مختلف باشند.63

همان‌گونه كه مطرح شد، ارزشيابي اثربخشي بر مبناي اهداف برنامه انجام مي‌گيرد و يكي از چالش‌ها پاسخ به اين پرسش است كه اهداف برنامه چيستند؟ معمولاً اين كار با دشواري‌هاي گوناگوني روبه‌رو است و اغلب موجب سردرگمي و يا ايجاد اشكال در ارزشيابي اثربخشي مي‌شود. اين موارد مي‌توانند همانند يك راهنما در تعيين اهداف برنامه به ارزياب كمك ‌كنند:64

1. گروه هدف: هدف و مقصود برنامه را چه كساني تشكل مي‌دهند؟
2. تأثيرات كوتاه‌مدت يا بلندمدت: آيا تأثيرات برنامه، بي‌درنگ پديدار مي‌شوند يا براي مشاهدة آنها مي‌بايد مدتي را صبر كرد؟
3. حد تأثيرات: چه حد و عمقي از تغييرات مدنظر است؟
4. ثبات تأثيرات: تا چه مدت انتظار مي‌رود كه تأثيرات پابرجا باشند؟
5. تأثيرات متضاد: اگر برنامه بيش از يك هدف دارد، آيا بعضي از آنها با هم در تضاد‌ند؟
6. سطح انتزاع: اهداف برنامه تا چه اندازه واقعي و ملموس‌اند؟
7. تشابه هدف‌ها: اگر بيش از يك هدف وجود دارد، آيا آنها با هم مشابه‌اند و يا مي‌بايد در جست‌وجوي تأثيرات متفاوتي از آنها در حيطه‌هاي گوناگون بود؟
8. اهميت: در بين اهداف، كدام‌يك از همه مهم‌تر است؟
9. پيامدهاي ثانويه: آيا برنامه داراي تأثيرات جانبي ناخواسته‌اند؟
10. محتوا: آيا برنامه، تغيير در رفتار را مد نظر دارد يا تغيير در موضوع‌هاي ذهني مانند دانش، عقايد و گرايش‌ها را؟

سرانجام در تهية فهرست هدف‌هاي برنامه مي‌بايد به اين نكته توجه شود كه هر هدف، بيانگر يك منظور يا مقصود باشد. بهترين حالت اين است كه هدف‌ها در عبارت‌هايي با فعل‌هايي قوي بيان شوند؛ يعني فعل‌هايي كه عمل‌گرا هستند و پديدة مشاهده‌پذيري را شرح مي‌دهند.

پس از تعيين هدف‌هاي برنامه، موضوع تعيين معيارهاي مناسب براي بررسي ميزان دستيابي به هر هدف مطرح مي‌شود. بهترين معيار در اندازه‌گيري اثربخشي يا دستيابي به هدف‌هاي برنامه‌هاي اجتماعي، تأثيرات اجتماعي65 اين‌گونه برنامه‌هاست. به بيان ديگر، تأثيراتي كه برنامه‌هاي اجتماعي در محيط پيرامون خود برجاي مي‌گذارند، معيار خوبي براي داوري دربارة عملكرد و همچنين مقايسة آن با هدف‌هاي برنامه‌اند. اين تأثيرات مي‌توانند در شش نظام مختلف مرتبط با محيط انساني66 بررسي شوند: محيط‌هاي فيزيكي، فرهنگي، اجتماعي، سياسي ـ قانوني، اقتصادي و روان‌شناختي. همچنين اين تأثيرات مي‌توانند در سه مرحله شامل مرحلة فرصت ـ تهديد،67 مرحلة گسترش ـ رويداد68 و مرحلة سازگاري ـ بعد از گسترش،69 كانون توجه باشند.70 مرحلة فرصت-تهديد، مرحلة پيش از اجراي برنامه است. در اين مرحله و با آگاهي يافتن افراد از نزديك بودن زمان اجراي يك برنامه، امكان ايجاد تأثير بر محيط انساني، حتي بدون اجراي برنامه نيز هست؛ زيرا همين آگاهي مي‌تواند موجب تحريك افراد به رقابت در تعريف فرصت‌ها و يا تهديدهاي احتمالي ناشي از اجراي برنامه شود. با اجراي برنامه در عمل و آغاز فعاليت‌ها، تأثيرات اجراي برنامه در مرحلة گسترش ـ رويداد بررسي مي‌شوند. در نهايت، اثر برنامه مي‌تواند پس از پايان فعاليت‌ها نيز ادامه يابد كه اين كار با بررسي تأثيرات بلندمدت و در مرحلة سازگاري و بيش‌سازگاري،71 انجام مي‌شود.

يكي از مسائل مطرح در ارزشيابي تأثيرات برنامه‌هاي اجتماعي، مسئلة عليت و نسبت دادن است؛ زيرا در اينجا زمينة ارزشيابي72 به‌طور هم‌زمان هم به‌منزلة متغير مستقل و هم به‌مثابه متغير وابسته عمل مي‌كند. اين موضوع موجب شده است تا متخصصان ارزشيابي، به فرايندها و رهيافت‌هاي مناسب روش‌شناسي سنجش تأثيرات اجتماعي به‌منظور تعيين علت‌ها و معلول‌ها توجه كنند. به همين دليل، جهت‌گيري تئوريكي ارزشيابي، موضوعي مهم و گريزناپذير است و بسياري بر به‌كارگيري هم‌زمان روش‌هاي تحقيق كمّي و كيفي در ارزشيابي تأثيرات اجتماعي تأكيد مي‌كنند تا بهتر بتوان معاني، برداشت‌ها و جنبه‌هاي فرهنگي برنامه‌ها را درك كرد.73 با اين حال، در بررسي اثرات اجتماعي برنامه‌ها توجه به چند موضوع مهم است:74

1. وجود تأخير زماني بين ستاده‌هاي برنامه و ايجاد تأثيرات: براي مثال، نه‌تنها ترسيم تأثير توزيع درآمد در بين گروه‌هاي مختلف اجتماعي به آساني امكان ندارد، بررسي تأثير افزايش درآمد بر بهداشت، آموزش، رفاه اجتماعي و يا مشاركت، نيازمند گذشت زماني نسبتاً طولاني از افزايش درآمد است. همچنين بعضي هدف‌ها، مانند عدالت اجتماعي، حالت مستمري دارند و در طول يك دورة زماني تصورپذير، محقق نمي‌شوند؛

2. عدم مطالعة اوليه75 پيش از اجراي برنامه: ازآنجاكه در سنجش تأثير اجتماعي برنامه‌ها، تغيير بين موقعيت گذشته و حال مد نظر است، اگر شرايط اجتماعي، اقتصادي و محيطي پيش از اجراي برنامه نامشخص باشد، صحبت كردن دربارة تغييراتي كه بر اثر اجراي برنامه روي داده است، مشكل خواهد بود؛

3. مشكل جدا كردن عوامل مؤثر بر تأثيرات اجتماعي و نسبت دادن آن به برنامه: در برنامه‌هاي اجتماعي، برخلاف علوم تجربي، متغيرهاي فراواني دخالت دارند. بنابراين كوشش در ساده‌ كردن موقعيت آزمايشي، به‌گونه‌اي كه تنها با يك متغير براي دست‌كاري سروكار داشته باشيم، امري غيرواقعي و يا حتي ناممكن است. براي مثال، اين احتمال هست كه بسياري از سازمان‌ها، برنامه‌هاي همانندي را دنبال كنند. از‌اين‌رو نمي‌توان تغييرات ايجادشده در محيط را با اطمينان به يك سازمان يا برنامة ويژه نسبت داد. بهترين كار در اين حالت اين است كه فرض شود برنامه‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌هاي ديگري نيز وجود دارند كه در ايجاد اين تغييرات سهيم‌ بوده‌اند.

به دليل موارد مزبور، طرح‌هاي نيمه‌تجربي76 و سري‌هاي زماني77 از بهترين طرح‌ها براي انجام ارزشيابي اثربخشي برنامه‌هاي اجتماعي به‌شمار مي‌روند.78 همچنين از تحقيقات علّي ـ مقايسه‌اي79 نيز در ارزشيابي اثرات اجتماعي استفاده مي‌شود؛ به اين صورت كه با مقايسة اثرات ناشي از اجراي يك برنامه‌ در يك موقعيت ويژه با يك موقعيت كاملاً مشابه، كه فاقد آن برنامه بوده است، مي‌توان اثرات اجراي آن برنامه را بررسي كرد. استفاده از اين نوع تحقيق هنگامي سفارش مي‌شود كه نتوان متغيرهاي مورد نظر را به صورت آزمايشي دست‌كاري كرد.80 علاوه بر اين برخي افراد استفاده از طرح «پيش‌آزمون ـ پس‌آزمون با ـ بدون برنامه»81 را براي بررسي اثرات اجتماعي سفارش كرده‌اند كه نيازمند انجام دو سنجش از متغيرهاي مورد بررسي، پيش و پس از اجراي برنامه در دو محيط يكسان است كه در يكي از اين دو محيط، برنامة مورد نظر به اجرا درآمده و ديگري فاقد آن است. با اين روش مي‌توان قضاوت كرد كه تغييرات پديد آمده در محيط تا چه اندازه به اجراي برنامة مورد نظر ارتباط داشته است.82

نتيجه‌گيري

ارزشيابي اثربخشي ضمن نشان دادن ميزان مؤثر بودن تلاش‌هاي انجام‌شده در توسعة اجتماعي، يكي از ابزارهايي است كه با فراهم آوردن شواهد معتبر دربارة ميزان تحقق اهداف برنامه‌ها، به تصميم‌گيران كمك مي‌كند تا به تخصيص بهتر بودجه و منابع انساني به برنامه‌هاي گوناگون بپردازند. با وجود اين و به‌دليل چالش‌هاي سنجش معتبر اثربخشي، اين بُعد مهم در ارزشيابي برنامه‌هاي اجتماعي كمتر كانون توجه قرار گرفته است. از مهم‌ترين اين چالش‌ها مي‌توان به شناخت مفهومي اثربخشي، تعيين اهداف برنامه‌ و يافتن معيارهاي درخور براي سنجش اثربخشي اشاره كرد. اگرچه رهيافت اهداف و رهيافت سيستمي براي پژوهش در اثربخشي برنامه‌هاي اجتماعي مورد استفاده‌اند، به‌دليل مشكلات هريك از اين رهيافت‌ها، مي‌توان اثربخشي اين قبيل برنامه‌ها را بر مبناي اهدافي ارزشيابي كرد كه با مشاركت بازيگران كليدي در محيط اجتماع تعيين مي‌شوند. اين در حالي است كه بهترين معيار براي اثربخشي برنامه‌هاي اجتماعي، بررسي تأثيراتي است كه اين برنامه‌ها در اجتماع برجاي مي‌گذارند. ازآنجاكه اثرات اجتماعي مي‌توانند دربردارندة مجموعه‌اي از شاخص‌هاي كمّي و كيفي باشند، نياز است كه پژوهشگران از مهارت لازم در استفادة هم‌‌زمان از تحقيقات كمّي و كيفي برخوردار باشند. با وجود اين، هنوز علاقة بسياري به استفاده از روش‌هاي كمّي در ارزشيابي اثربخشي وجود دارد. به اين دليل، پيشنهاد مي‌شود محققان براي تشويق انجام ارزشيابي اثربخشي، روش‌هايي را در ارزشيابي اثربخشي برنامه‌هاي اجتماعي گسترش دهند كه ضمن مبتني بودن بر تعيين و تبيين متغيرها و معيارهاي مناسب، بتوان از آنها به‌منزلة يك واسطه استفاده كرد تا بتوان با توجه به مقادير عددي يا نسبي اطلاق‌شده به آنها، به سنجش اثربخشي اين قبيل برنامه‌ها‌ پرداخت.


پي‌نوشت‌ها:

1. W. R. Borg and M. D. Gall, Educational Research. p.733.

2. M. Scriven, “The nature of evaluation part I: Relation to psychology”, Practical Assessment, Research & Evaluation, Vol.6, No.11.

3. E. J. Boone, J. Pettitt and R. D. Safrit, “Program evaluation in extension”, Journal of Extension Systems, No.1, p. 87.

4. A. Dorward, “The classification and organization of monitoring and evaluation activities in agricultural development projects”, Agricultural Administration & Extension, Vol.30, P.163.

5. A. I. Carvalho, R. C. Bodstein, Z. Hartz, and A. H. Matida, “Concepts and approaches in the evaluation of health promotion”, Rev. Ciencia & Saude Coletiva, No.3, p. 527.

6. سازمان خواروبار جهاني، بهبود کيفيت آموزش: راهنماي مربي براي ارزشيابي، ص10.

7. R. A. Jones, Research Methods in the Social and Behavioral Sciences. P. 252.

8. C. H. Weiss, Evaluation Research: Methods of Assessing Program Effectiveness, p. 8.

9. Evaluation Research.

10. Accountability.

11. R. A. Jones, Op.Cit, p. 251.

12. J. A. Christenson and P. D. Warner, “An assessment model for the cooperative extension services”, Rural Sociology, Vol. 47, p. 369.

13. جيمز. ا. بافورد و آ. جي. بديان، مديريت در ترويج، ص431؛

A. W. Van den Ban, “Extension policies, policy types, policy formulation and goals”, In Investing in Rural Extension: Strategies and Goals, p. 94.

14. Scriven.

15. M. Scriven, “The methodology of evaluation”, In Perspectives of Curriculum Evaluation, p. 45.

16. Positivism.

17. C. T. Fitz-Gibbon, and L. L. Morris, How to Design a Program Evaluation, p. 18.

18. K. M. Costner, S. Wagner and D. T. Owens, “Content-responsive program evaluation: An integrated preservice example”, Presented at Annual Meeting of the Association for Mathematics Teacher Education, p. 3.

19. Objective Oriented.
20. Measurement Specialist.
21. Management Oriented.
22. Consumer Oriented.
23. Participant Oriented.
24. Expertise Oriented.
25. Adversary Oriented.
26. Productivity.
27. Efficiency.
28. Effectiveness.

29. J. Murphy, and T. J. Marchant, Monitoring and Evaluation in Extension Agencies, p. 2.

30. M. Ravallion, Evaluation in the Practice of Development, p. 4.

31. R. A. Jones, Op.Cit, p. 252.

32. گوئل کهن، «مدلي چهار وجهي در تعيين اثربخشي سازماني: يک روش‌شناسي علمي براي محاسبه اثربخشي سيستم‌ها»، مطالعات مديريت، ش20، ص50.

33. C. H. Weiss, Op.Cit, p. 3.

34. I. A. Akinbode, “The organization and effectiveness of the agricultural extension service in Nigeria”, Agricultural Administration, p. 271.

35. Ibid.

36. گوئل کهن، همان، ص51و52.

37. System Approach.
38. Goal Approach.
39. J. A. Christenson and P. D. Warner, Op.Cit, p. 371.
40. Actors.
41. Goal-Statement.

42. گوئل کهن، همان، ص53.

43. I. A. Akinbode, Op.Cit, P.272.

44. Y. M. Mensah, K. C. Lam, and R. H. Werner, R. H. “An Approach to Evaluating Relative Effectiveness in Non-Profit Institutions”, Presented at: American Accounting Association Governmental and Nonprofit Section Midyear Conference, P.2.

45. B. M. Stecher, and W. A. Davis, How to Focus an Evaluation, p. 38.

46. I. A. Akinbode, Op.Cit, p. 273.

47. Material Objectives.

48. P. Oakley, “The monitoring and evaluation of non-material objectives of extension”, In G. E. Jones (ed.), In Investing in Rural Extension: Strategies and Goals, p. 248.

49. Natural Science Paradigm.

50. Qualitative Paradigm.

51. M. Q. Patton, How to Use Qualitative Methods in Evaluation, p. 7.

52. Hypothetic-Deductive.
53. Holistic-Inductive.
54. Instrumental-Technocratic.
55. Interpretative.
56. Practical.
57. Empowerment.

58. D. Marsden, and P. Oakley, “Future issues and perspectives in the evaluation of social development”, Community Development Journal, vol.26, p. 316.

59. B. M. Stecher, and W. A. Davis, Op.Cit, p. 36.

60. L. Robson, H. S. Shannon, L. M. Goldenhar, and A. R. Hale, Guide to Evaluating the Effectiveness of Strategies for Preventing Work Injuries: How to Show Whether a Safety Intervention Really Works, p. 2.

61. Side Effects.

62. Responsive Evaluation.

63. R. E. Stake, Program evaluation particularly responsive evaluation, p.1; M. Q. Patton, Op.Cit, p. 44.

64. R. A. Jones, Op.Cit, p. 255.
65. Social Impact.
66. Human Environment.
67. Opportunity-Threat.
68. Development-Event.
69. Adaptation-Post Development.

70. R. Gramling, and W. R. Freudenburg, “Opportunity-threat, development, and adaptation: Toward a comprehensive framework for social impact assessment”, Rural Sociology, vol 57, p. 217.

71. Over Adaptation.
72. Context.

73. A. I. Carvalho, R. C. Bodstein, Z. Hartz, and A. H. Matida, “Concepts and approaches in the evaluation of health promotion”, Rev. Ciencia & Saude Coletiva, No.3, p. 526.

74. E. L. Hyman, “Monitoring and evaluation of forestry projects for local community development”, Agricultural Administration, vol.19, p. 141.

75. Base Line Study.
76. Quasi-Experimental Design.
77. Time Series.
78. L. Robson, H. S. Shannon, L. M. Goldenhar, and A. R. Hale, Op. Cit, p. 4.
79. Causal-Comparative Research.
80. W. R. Borg and M. D. Gall, Op. Cit, p 533.
81. Pre-Post With and Without Project.

82. R. Bond, “Summary of Key Issues in Impact Assessment Methodology”. Available at: http://www.sed.manchester.ac.uk/research/iarc/ediais/pdf/summarykeyissues.pdf, P.3.


منابع

بافورد، جيمز ا. و آ. جي بديان، مديريت در ترويج، ترجمة محمد چيذري، تهران، معاونت ترويج و مشاركت مردمي وزارت جهاد سازندگي، 1375.
سازمان خواروبار جهاني، بهبود كيفيت آموزش: راهنماي مربي براي ارزشيابي، ترجمة محمد چيذري، تهران، مركز مطالعات برنامه‌ريزي و اقتصاد كشاورزي، 1374.
كهن، گوئل، «مدلي چهاروجهي در تعيين اثربخشي سازماني: يك روش‌شناسي علمي براي محاسبه اثربخشي سيستم‌ها»، مطالعات مديريت، ش،20، زمستان 1377، ص 48ـ74.

Akinbode I. A, “The organization and effectiveness of the agricultural extension service in Nigeria”, Agricultural Administration, vol 3, 1976, p. 271-284.

Bond, R, “Summary of Key Issues in Impact Assessment Methodology”, Available at: http://www.sed.manchester.ac.uk/research/iarc/ediais/pdf/summarykeyissues.pdf, Accessed: March 9, 2009.

Boone E. J., Pettitt J. and Safrit R. D, “Program evaluation in extension”, Journal of Extension Systems, n 1, 1994, p. 87-121.

Borg W. R. and Gall M. D, Educational Research, London, Longman, 1983.

Carvalho A. I., Bodstein R. C., Hartz Z. and Matida A. H, “Concepts and approaches in the evaluation of health promotion”, Rev. Ciencia & Saude Coletiva, n.3, 2004, p. 521-529.

Christenson J. A. and Warner P. D, “An assessment model for the cooperative extension services”, Rural Sociology, vol 47, 1982, p. 369-389.

Costner K. M., Wagner S. and Owens D. T, “Content-responsive program evaluation: An integrated preservice example”, Paper presented at the Annual Meeting of the Association for Mathematics Teacher Education, February 10-12, 2000, NC, Charlotte.

Dorward A, “The classification and organization of monitoring and evaluation activities in agricultural development projects”, Agricultural Administration & Extension, vol 30, 1988, p163-175.

Fitz-Gibbon C. T. and Morris L. L, How to Design a Program Evaluation, California, Sage, 1987.

Gramling R. and Freudenburg W. R, “Opportunity-threat, development, and adaptation: Toward a comprehensive framework for social impact assessment”, Rural Sociology, vol 57, 1992, p. 216-234.

Hyman E. L, “Monitoring and evaluation of forestry projects for local community development”, Agricultural Administration, vol 19, 1985, p. 139-160.

Jones R. A, Research Methods in the Social and Behavioral Sciences, Massachusetts, Sinauer Associates, 1985.

Marsden D. and Oakley P, “Future issues and perspectives in the evaluation of social development”, Community Development Journal, vol 26, 1991, p. 315-328.

Mensah Y. M., Lam K. C. and Werner R. H, “An Approach to Evaluating Relative Effectiveness in Non-Profit Institutions”, Paper presented at: American Accounting Association Governmental and Nonprofit Section Midyear Conference, Feb 21-26, 2006, Miami, Philadelphia.

Murphy J. and Marchant T. J, Monitoring and Evaluation in Extension Agencies, Washington, World Bank, 1988.

Oakley P, “The monitoring and evaluation of non-material objectives of extension”, In G. E. Jones (ed.), Investing in Rural Extension: Strategies and Goals, London, Elsevier Applied Science Publishers, 1986, p. 247-253.

Patton M. Q, How to Use Qualitative Methods in Evaluation, California, Sage, 1987.

Ravallion M, Evaluation in the Practice of Development, Policy Research Working Paper no. 4547, World Bank, 2008.

Robson L., Shannon H. S., Goldenhar L. M. and Hale A. R, Guide to Evaluating the Effectiveness of Strategies for Preventing Work Injuries: How to Show Whether a Safety Intervention Really Works, Cincinnati, National Institute for Occupational Safety and Health, 2001.

Scriven M, “The nature of evaluation part I: Relation to psychology”, Practical Assessment, Research & Evaluation, vol 6, 1999, no.11.

Scriven M, “The methodology of evaluation”. In R.E. Stake (ed.), Perspectives of Curriculum Evaluation, Chicago, Rand McNally, 1967, p. 39-83.

Stake R. E, Program evaluation particularly responsive evaluation (Occasional Paper Series), University of Illinois at Urbana-Champaign, Center for Instructional Research and Curriculum Evaluation, 1975.

Stecher B. M. and Davis W. A, How to Focus an Evaluation, California, Sage, 1987.

Van den Ban A. W, “Extension policies, policy types, policy formulation and goals”. In G. E. Jones (ed.), Investing in Rural Extension: Strategies and Goals, London, Elsevier Applied Science Publishers, 1986, p. 91-97.

Weiss C. H, Evaluation Research: Methods of Assessing Program Effectiveness, New Jersey, Prentice-Hall, 1972.