october 2018 evaluation milestones – survey results · 2018. 11. 23. · april 2018 milestones...

ABCPhD DOCTORAL PROGRAMME in ARCHITECTURE, BUILT ENVIRONMENT and CONSTRUCTION ENGINEERING

OCTOBER 2018 Evaluation Milestones – Survey Results Version 23/11/2018

April 2018 Milestones – Survey Results pag. 2/16


OCTOBER 2018 Milestones – Survey Results

A foreword Come accade da diverse edizioni, al termine delle milestone dottorali, svolgiamo un sondaggio finalizzato a comprendere l’efficacia degli incontri di valutazione e revisione del lavoro dei dottorandi, in maniera indiretta, sulla base delle opinioni di coloro che vi hanno partecipato, docenti inclusi; da questo sondaggio traiamo utili informazioni e preziosi suggerimenti su come continuare il processo di ottimizzazione dell’intero sistema dottorale.

Ne approfitto per ringraziare tutti quelli che hanno permesso lo svolgimento di questi incontri. I docenti che vi hanno preso parte, l’Ufficio Dottorato ABC, per il supporto fornito prima, durante e dopo le milestone, financo nell’impostazione di questo sondaggio. And thanks to the PhD Candidates, of course. The following document will show you few graphics and texts. The original notes from the candidates, the professors and the involved experts follow as attachment, with the few changes needed to make them anonimous. Let me just add that I will never organize other survey collecting only negative evaluations. Negative comments are always much more interesting than positive ones but, to be fully sincere, they are depressive. In conclusion, we still have few actions to be taken, but we have grown also in quality, in the last years and, in particular, some improvement actions are already clearly identified. Enrico De Angelis November 23rd, 2018



Main figures

Participants We kept the surveys open for a couple of weeks and we didn’t ask to take part to surveys more than once (we didn’t want to bother anyone): • The “Professors survey” collected 36 answers, that is a high percentage (>60%) of those,

from the Board Members and the Department, took part in the meetings, plus few other … sympathizers.

• The “Candidates survey” collected more than 60 answers. In this case too, it was a high percentage of the participants (>50%).

As you may see from below, the eleven Commissions received a reasonably uniform set of answers from Candidates, while the answers from professors are less uniformly distributed.

The questions As every year, we asked the PhD Candidates to say if they experienced (or not) something:

1. USEFUL 2. FAIR 3. PROPERLY ORGANIZED

This year we added two other new questions (not used in the past): 4. Was your meeting CONSISTENT WITH WHAT YOU EXPECTED? 5. Were you READY FOR THE MEETING?

Then we asked, as usual, to rate the MILESTONE PROCESS with a scale similar to what we use to rate them (0 = Insufficient; 1 = Sufficient; 2 = Good; 3 = Very Good; 4 = Excellent) and, eventually, to express their doubts, complains, suggestions about the whole process.

We asked to the professors:



1. Their opinion about the whole milestone process (“is it positive or negative?”) 2. What did they like and appreciate the most. 3. Any suggestion to improve these meetings.

The general satisfaction The distribution of the evaluation of the global satisfaction from the Candidates is shown in the following graph, comparing Candidates’ satisfaction in the last three meetings: October 2017 and 2018 (Evaluation Meetings, mainly) and April 2018 (Deep Review meetings). The improvement from 2017 is clear (although still far from the long-term objective represented by the “vision” grey bar). We still have to work to obtain a higher number of evaluations of excellency and October meetings are in general less positively rated than April meetings. In any case, the sum of highly positive evaluation (“excellent” + “very good”) is growing: OCT 2017 = 55.1% APR 2018 = 62.3% OCT 2018 = 64,5%

N.of ratings Average

Evaluation

01 - Chair Fulvio Re Cecconi 5 3.20

02 - Chair Valeria Pracchi 7 2.57

03 - Chair Andrrea Campioli 6 2.83

04 - Chair Marco Imperadori 5 2.20

05 - Chair Cristina Pallini 5 2.40

06 - Chair Claudio del Pero 7 2.00

07 - Chair Paola Caputo 5 2.60

08 - Chair Laura Malighetti 5 3.40

09 - Chair Andrea Ciaramella 6 2.50

10 - Chair Maria A. Parisi 4 3.00

11 - Chair Valter Carvelli 7 2.86

Average evaluation: 2.66



If we average the integer numbers associated with the evaluation given by the candidates (from 0 to 4), the Oct-2018 result (=2.66) is higher than the Oct-2017 result (=2.43) and slightly lower than April-2018 result (=2.72). The difference among the average global evaluations and the numbers we could associate to each of the eleven commissions is much higher. Of course, we are aware that this evaluation was not explicitly required and just inferred from associated commission; moreover the number of ratings for the commissions may be low in some cases and not a reliable sample. But numbers are enough to believe that there are not great anomalies (rating is between “good” and “excellent”) but still big differencies. For what concerns the rating given by professor, everyone gave a positive evaluation except one (the blue slice).

Other answers from the Candidates The following pie charts report the answers to more specific questions we asked to candidates. We can compare the answers given after October 2018 milestones (evaluation meetings) with those given after the meetings (deep reviews) held in April 2018. The survey was changed (to improve) and results are not completely comparable, but few comments are worth, just comparing the red slices . • USEFULNESS: something still doesn’t work perfectly. Candidates (but Professors too)

still haven’t completely understood the aim of the evaluation milestones, rated lower than deep review milestones. This is a weak point. Although we are confident that Evaluation milestones will be better understood, already in the next meetings, it is also clear that we have to make them more interesting and useful for candidates.

• FAIRNESS: The number of negative evaluation (like “The discussion during October

2018 Milestone was unfair”) are very close; a 10% of un-satisfied Candidates may even be acceptable. In previous meetings (when nothing was measured) many Candidates complained about low fairness, in few cases, this is no more a problem. The unsatisfied 10% of candidates may be a physiological percentage, in a PhD Program, but we can probably do something more.



Milestone oct 2018 Milestone apr 2018



NB: the Organization of the 2017 Deep Review was rated NO (negative) by the 45% of the participants. The Oct.2017 Evaluation meeting was not rated in detali.

Milestone oct 2018 (only)



• ORGANIZATION: it was the most critical point and it seems to be solved (about half of the Candidates complained about that, last april). We can still improve with rooms where people will feel more comfortable and even feel at home. Some Commissions suffered additional annoyance due to noise of a construction site. We expect this situation to be definitely solved in a close future.

• EXPECTATION AND READINESS: the survey confirm that a high share of Candidates

had different expectations. More actions about this are worth: we tried to explain the concept in more than one occasion but, clearly, it was not enough. Our fault is that few supervisors still haven’t fully understand or accepted the objectives of these meetings and, sometimes, the difference between Deep Reviews and Evaluation Milestones and their role (tutor, supervisor or external expert).

Synthesis of the comments I did my best to understand all the comments given and their main figures. I identified few points, and proposed few notes, still to be developed. In particular, we need:

1. More care for the work of every PhD Candidates 2. More stable Milestone Commissions … but open ones. 3. More uniform evaluations (ratings) 4. More synthesis (The slides, the synthesis and the poster)

Not enough care Still many candidates ask for more care (debate, review, comments … others – than their supervisors – showing some interest and providing help). This is an old problem, already identified and discussed1; it is still unresolved but my personal feeling (a feeling is not an objective measure but better than nothing) is that we are improving: a good practice has been created and it is bettering. While I fully legitimate asking for more, I also want to underline that this last series of meetings was not organized for Candidates and discuss their work (the DEEP REVIEW milestones are for Candidates) but for the Evaluator and to discuss the candidates. Nevertheless, although we could say that “it was not in the contract” (except for few ones), that you “can’t expect evaluation meetings to become deep reviews”, that “we don’t accept these complaints”, it is also true that if we can add value to a PhD Candidate’s works, we have to do. This is possible in every meeting, it happened in every Commissions – more or less – and for many Candidates and we have to try to give more. Moreover, if some Candidate may not completely understand the objectives of the meeting, we just have to explain and prepare them better: But this care is not only the duty of the Head of the program:

1 In the last comment about the survey results, I launched a 3R plan: «three non-circular Rs: hint to be discussed, … and implemented by the next Board and its next head/coordinator. The first R is for REVIEW: Review, more, review better, confront more and more openly. May be that “review” is not the best expression … but Candidates require more confrontation, at least they – not every Candidates but more or less one third is asking this – require to have more confrontation opportunities. I also think that they have to be pushed to organize their internal confrontation. A second R is for RESPECT. Candidates require a bit more formal care. We must not provide them excuses for gossiping about distracted demeanor or unfair attitude (in particular avoiding the review of their documents). I know that this happens rarely and that is quite always motivated. But we must prevent it. The third R is for RIGOUR. We must rise the bar of our Candidates. We must give formal alert if they don’t respect rules and if needed punish them. We must give our Candidates the opportunity to become excellent, as we want (and even more)».



• Supervisors are responsible (first to understand and accept this, then) to verify that

their Candidates know what to do, help them to be ready for the meeting and for its requirements.

• Tutors must not be strangers for the Candidates. Candidates must do their best to meet their tutors, tutors must facilitate these meeting (also require them, directly, to schedule one at least twice a year, a longer one before the Evaluation Milestones) and the Head of the Program too must periodically check that this happens, with the help of the Office. Let me add that we started differentiating the role of tutor from the role of supervisor few years ago and this change still have to be fully enforced. If majority of supervisors have accepted the need for an independent evaluation, tutors still have to accept their role. It is easy to be understood. Tutoring is a hard, non-profitable, sometime unappreciated, always uncomfortable work. An average of 120 Candidates (at least in some part of the year and taking into account delays) for less than 30 Board members mean 4-5 PhD Candidates each, costing at least 2 days per year each. Add meetings, add commissions, add, eventually, the Candidates we care as supervisors … all makes to be part of the Board a serious Job. Members of the Commissions cannot fall from clouds to discover planet Earth. This is not acceptable if members of the Board but, if not, their work too must be made easy escorting them in the doctoral practice by the Chair of the Commission (who is chosen by the Head of the Program and responsible in eligendo): (s)he should introduce freshmen and freshwomen to the “evaluation practice.

• Chairs of the Commission must have no doubts about the organization of these meetings; appoint a couple of reviewer per candidate, check that each member of the Commission have done the work and that they are the right persons also in terms of competencies about of the topic.

Some Candidates expected more useful comments and more competent persons to review and evaluate their work. To find independent experts are able to understand and to give a fair evaluation of the Candidate’s work is not easy: the more advanced his/her work is, the more difficult it is. But the End of the Year meetings don’t need so many competencies to understand the proficiency, the motivation and the work of a Candidate. Deep reviews need these competencies much more.

More stable Milestone Commissions … but open ones! Yes, I agree, to have more stable Milestone Commissions is an objective to be pursued. Nevertheless, I cannot accept complaints about the competencies of the people in a commission: Candidates who says that they were not happy with their meeting «because none of the Commissars deal with disciplines similar to my topic» are saying something unfair and disrespectful. Nor the Candidate may ask the supervisor to be part of the debate (if not explicitly requested by the Commission … but this happens mainly when the Candidate is to be … fired out! The supervisors organize the Deep Review but they DON’T HAVE TO PRESENT the research of the candidates: it is not a nursery: it is a PhD Program! Let me add that while keeping the members of a Commission stable is a reasonable request, it is not always feasible and some changes are often useful to enrich the evaluation: exchanges with experts from other disciplines and sectors may enrich, also if these exchanges don’t realize anything but doubts.



In conclusions, Yes for stable commissions, also if sometimes it not easy. Not too stable anyway: chairs for example, should rotate (because it is a hard work, to collect and to report everything while managing and promote debate) and additions are very often enrichments. But there are some fundamental points: • The evaluation must be from independent experts

The evaluation is given by Tutors who are not the Supervisors nor submissive to the Supervisors or by external experts.

• The evaluation must be based on the Supervisor evaluation as well as on objective and agreed data

More Uniform Evaluations (rating) It is the question of the A/B/C grades. Although the rating statistics is not updated, yet, it was evident during the milestones that there were many differences: some groups were too generous (and impervious to negotiate their evaluation) other ones less. The first solution I can propose, as far as I can say, is to establish a reasonable limit of A-s and B-s. Non rigid percentage of A-s could be ¼ of the candidates (25%) and of B the 50%. The second is about a rule about the clarity and completeness of the motivation when we propose a higher or a lower point than C (that means “good”) is given.

More synthesis (The slides, the synthesis and the poster) A professor proposed to ask Candidates to prepare a synthesis. I should reply that we already have one, that is the Candidate’s EoY Report! we can’t ask them to produce a second version of that document but we can improve it, its structure and its effectiveness, convincing candidates to use it as storyboard synthetizing themselves, their activities, their products and achievements: if a Candidate can’t do anything without tables, graphs or other images, (s)he may always take them with her/him or to insert them in the EoY Report. But the general aim of the request was correct: more synthesis is needed, to be more effective in explaining our research question and our answers in particular! After every October meeting, the request for longer talks and slides come. Slides are a potentially very effective media. Sides facilitate understanding (if well organized and designed). I personally think, nevertheless, that Candidates must be trained in alternative communication media. Moreover, I am sure that they must become able to explain themselves, their research questions and 1-2-3 years of work looking for an answer in few minutes, without boring, maintaining the momentum and stimulating their audience. It is an important skill for their future success and they can acquire that skill only practicing. We are asking them to practice it no more than three times in their PhD Life and they must be able to stand this effort. Moreover, slides don’t challenge Commissars to read Candidates’ work before meeting them, nor – sometimes – to listen to them (just watching slides). But we can do something else. We will soon try the first PosterSession (not mandatory but offered to every PhD Candidate. We could ask them to produce a Poster to support their speech during the EoY meeting. The proposal for the One slide per Candidate is a very good idea and I just changed its name in POSTER …



Comments

From the Candidates We collected a limited number of answers with some basic comments (16/62). Comments are in average more negative than positive (in effect, it was specified «Express HERE your doubts, complains, suggestions. It will be highly appreciated! ») the average commenters’ rating was 2.4, while the non-commenters rating was 2.8. For this, the comments that follow are more negative than positive and should not be taken as a general view but singular cases to take care of, in any case.

1. First of all, I would like to give thanks to all who organized the meeting sessions. I would like to share my opinion about what I expected from the previous milestone sessions. Milestone sessions could be good opportunity to have a regularly deep discussion on the topic. It is nice to receive positive feedbacks, but I think it would be also fine if we receive more prospective and instructive comments. I think that it would be even fine to invite more oriented experts in the field to the sessions (except supervisor and tutor). I am not sure that this is the aim of milestone sessions or not, but I thought that it is better to ask for more contribution from experts (except supervisor and tutor). In this way, I, as a PhD student, can mind the comments and improve my work. Thank you for your time.

2. Compared to the previous Milestones, I have to acknowledge and appreciate this last year greater attention to the table’s organization. That's why I would like to thanks

3. The supervisor of the research should be involved too. Give at least 10 minutes to present the research.

4. I think everything went well in the last Milestone meeting, but, maybe, some slides of PPT will be helpful (not much maybe less than 5?), to both the professors and students to understand each other. Especially for some foreigner students... (for some Italian students they had the opportunity to communicate with professors after the speech if they hadn’t make themselves understood enough, then maybe they could got more useful suggest... ) and after all thank you for every effort you made for organising the whole event :)

5. I appreciate the feedback that I received. However, it'd be good to receive more of it. I got only one response from the board members. Still very useful.

6. I believe I was included in a group that was quite different from my research field. 7. This milestone was very good for the methodological part, but I expected more details

about the content. Maybe reviewers/members in the commission from the same SSD of the candidate can give a deeper look at the content of the research.

8. For the end of the year meeting it is quite hard to explain everything in just 5 minutes, perhaps increasing the time to 7’ or 10’ would not be counterproductive.

9. Only one among the 6 people I had in front of me have seen me before. None of them deals with disciplines similar to my topic. My tutor has been changed without telling me anything, I knew it from the online page one or two weeks before the milestone. Commission read only partially the materials uploaded. Main comments were about the fact that I'm late, even if it was the first thing, I said beginning the milestone. Other comments were already answered in the attached documents. I was not expected to be at the level of people discussing in March, so I didn't prepare the same kind of milestone according to the instructions. Anyway, I know how to proceed and some minor comments by one professor were useful. I don't want to be polemic, but these are the facts.

10. The milestone is a meeting where to discuss about progresses and/or accomplished results. I expect only comments about the research and, as an addition, about presentation, too. But the former should not be neglected, otherwise the milestone meetings are just a waste of time for both PhD candidates and professors which, as usually, have not probably read any document in advance.



11. Since it was my final milestone, I expected more comments and details about the thesis work and the process to get the thesis ready for the final exam. Anyway, the comments received were fair and helpful to improve the work.

12. The continue change of Commission and of the composition of the evaluation board through the Milestones Sessions does not permit the evaluation of the "path" of the Candidate, of its work through the months and years. It is often too much focused on what the Candidate is able to explain in 5 minutes, on the current impression he gives, and, on the paper, he is presenting right in that moment. Maybe, it could be better to have some "permanent" evaluator and some "external" one, to have both an "objective" and a "involved" evaluation for each Candidate.

13. The board have not commented my presentation. No questions, no discussions. I've got only one comment about my milestone the day after, from an external (not from the board) participant. I had the feelings that nobody read my document before the presentation that took me efforts and time to be written. Anyway, I have to admit that milestones are helpful to have a periodic track of the work done, a kind of checkpoint in order to record the job done step by step. I would have preferred maybe to have a "private" meeting with 2-3 professors dealing with my topic or similar in order to have a more fruitful discussion about, even if I realize that could bring to organizational chaos! It might sound polemic but I just reported my feelings about it.

14. Professors are not discussing/suggesting anything related with the content. They ask questions only because they are curious, but it is not a feedback for my study. I'm preparing myself 1 week before the presentation, but I feel that it is only losing time since I don't have any deep discussion. Maybe the commissions should also be more crowded, or professors coming there should be more related with our topics. It will be motivating for students. Thank you.

15. I would like to have my documents reviewed (research project) by the commission so that I can work on making it more communication effective

16. Grazie agli professori, in particolare per la professoressa dell'Istituto Confucio

The Professors’ positive comments (“Se hai suggerimenti nel merito ci piacerebbe sapere: 1) cosa (eventualmente) hai apprezzato e cosa ha funzionato meglio?”)

1. Ho apprezzato nello specifico le modalità di gestione della Commissione coordinata dalla prof.ssa Parisi. Come ho già detto nell'ultimo Collegio, trovo invece complessivamente dispersive e poco finalizzate le modalità di organizzazione delle Commissioni, che dovrebbero invece seguire un principio di continuità e attinenza disciplinare e tematica, in modo che il dottorando sia accompagnato e monitorato lungo il percorso da figure interessate ai temi della ricerca e competenti in materia.

2. Come è emerso stamattina nel consiglio assoluta continuità della composizione della commissione nelle successive in modo da avere un quadro preciso dei progressi fatti dal dottorando. Forse può cambiare a rotazione il presidente.

3. Rispetto dei tempi 4. Funziona l'idea delle commissioni ristrette che possano analizzare lavori

tematicamente correlati. 5. La collaborazione dei tutor, io in primis, è stata scarsa. Abbiamo dovuto rincorrere le

schede di valutazione 6. Organizzazione della commissione. Le tematiche affrontate dai candidati esaminati

erano affini. 7. servirebbe più tempo per valutare la documentazione; ho apprezzato lo spirito

costruttivo con cui hanno partecipato tutti i colleghi 8. La pertinenza dei commenti da parte dei colleghi 9. Mi pare che il clima sia stato positivo e anche il dibattito sia stato condotto con molta

disponibilità da parte di tutti 10. Organizzazione e rispetto dei tempi.



11. L'organizzazione 12. Direi che il format sia ormai consolidato 13. Serietà lavoro dottorandi 14. Nella diversa impostazione dei lavori della commissione da parte dei diversi Chair, ho

molto apprezzato lo stile di Andrea Campioli. 15. Nella commissione tutti i reviewer hanno letto con attenzione i prodotti scientifici dei

ragazzi; a loro volta questi sono stati messi a disposizione in anticipo e con modalità chiare.

16. Ottima gestione 17. Interdisciplinarità dell'approccio ai temi di ricerca proposti dai dottorandi. 18. Le tesi curate internamente hanno dato ottimi risultati, mentre excutive e dottorandi

senza borsa che devono autofinanziarsi hanno avuto prestazioni sotto media. Penso che questa cosa meriti una riflessione; partecipare alla scuola di dottorato facendo un secondo lavoro è sicuramente difficile, ma bisogna fare attenzione a non far scadere il livello scientifico delle ricerche anche.

19. La possibilità di confronto collegiale sui lavori di tesi. 20. Il clima rilassato e positivo, la non ingerenza dei docenti tutor/supervisor, l'obiettività

nella discussione finale 21. L'organizzazione e la tempistica gestita al meglio dalla chair 22. La partecipazione dei colleghi 23. Ho apprezzato lo spirito costruttivo della commissione e la professionalità della

maggior parte dei dottorandi (molti hanno portato una stampa della versione più recente dei loro report per tutti i membri della commissione in modo da facilitare il coinvolgimento di tutti durante le presentazioni)

24. Ho assistito purtroppo solo alla presentazione di un candidato, e la discussione è stata interessante, ma soprattutto il candidato ha potuto esprimere SENZA PPT! il suo punto di vista, dimostrando la sua preparazione. Credo che la capacità di esprimersi senza sussidio di una PPT a volte aiuti parecchio a capire se il candidato è consapevole di quello che dice.

25. Coordinamento scientifico Prof.ssa Parisi, collaborazione e sinergia tra i Componenti della Commissione, elevato livello dei contenuti di confronto.

26. Il lato positivo è il "fiato sul collo" che obbliga i dottorandi a seguire un percorso controllato che permette di rendersi conto di criticità

27. Grande serietà degli altri commissari e atteggiamento sempre costruttivo. 28. il confronto con la commissione è sicuramente utile ai candidati, ma è anche un

momento interessante di conoscenza di altri temi di ricerca per i membri della commissione

29. La partecipazione attiva dei membri della commissione 30. Suddivisione delle tesi fra i membri della Commissione, così da garantire la lettura di

almeno un paio di lavori da parte di ogni docente. In questo modo la discussione è proficua e non si basa solo sulla breve presentazione durante la milestone. Molto meglio rispetto ad altre occasioni in cui non c'erano responsabilità dirette e quindi nessun membro aveva letto a fondo alcun lavoro.

31. Sono state abbastanza efficienti dal punto di vista della tempistica 32. La interazione tra dottorandi e docenti mi è sembrata intensa e fruttuosa. 33. La mia opinione non può che essere positiva in ragione del fatto che abbiamo lavorato

a favore degli studenti.

The “less-positive” comments (“su cosa si deve lavorare ancora per migliorare l'efficacia di questi incontri?”)

1. Definizione di commissioni/gruppi di tutoring più stabili, a partire da interessi e competenze di ricerca realmente condivisi



2. Bisognerebbe trovare (anche se è difficile per la eterogeneità delle discipline coinvolte) una omogeneità di giudizio tra le diverse commissioni.

3. I collegamenti Skype. Serve un altoparlante altrimenti non si sente la presentazione 4. Il coinvolgimento dei membri della commissione è parso forzato e non tutti hanno

partecipato in modo attivo. Forse meglio ridurre il numero di persone coinvolte, dare maggior tempo per visionare i lavori dei candidati, e sollecitare maggior partecipazione attiva.

5. Occorre, a mio parere, impedire l’accesso ai supervisor, non si capisce perché i colleghi vogliano rispondere a domande che sono poste ai candidati. Inoltre, è da ricercare maggiormente l’uniformita Di valutazione tra le commissioni

6. Garantire un framework comune per tutti i candidati dello stesso ciclo in modo tale che tutti si presentino con documenti omogenei e raffrontabili tra di loro.

7. Commissioni permanenti che possano seguire le attività di ricerca dall'inizio 8. In molti casi una breve presentazione avrebbe aiutato la comprensione del tema 9. La cosa che credo bisognerebbe considerare con maggiore attenzione è la competenza

del revisore rispetto alla tesi da valutare 10. Tempo dedicato per ammissione esame finale. Valutazioni dei relatori. 11. Ho assistito ad una sola presentazione, ma avrebbe dovuto essere più breve e meglio

strutturata. 12. Un maggiore approfondimento 13. Raccomandare la permanenza di tutti i dottorandi per l'intera durata dell'incontro 14. Competenze, cultura, capacità di analisi e di coordinamento dei lavori da parte del

Chair. 15. Confermerei una commissione per più milestone e raffinerei ulteriormente i criteri

per la valutazione dei ragazzi. 16. Propongo di abbinare alla presentazione orale UNA (SOLO UNA) slide (tipo mappa

concettuale) capace di sintetizzare efficacemente contenuti e relazioni tra tema, scenario di riferimento, obiettivi, strumenti, metodo/i e risultato con modalità di applicazione

17. Migliorare la calendarizzazione degli incontri e posibilmente programmare fra i commissari pre-incontri preparatori in vista della milestone. Ciò potrebbe essere utile per meglio finalizzare i suggerimenti da dare ai dottorandi.

18. La logistica sicuramente va migliorata, anche se in questo caso specifico è legata a un fatto contingente, lavori di ristrutturazione, ma la sessione è stata di livello tecnico-logistico inaccettabile. Invece, dal punto di vista organizzativo in termini di documentazione fornita ai commissari il giudizio è più che positivo con solamente qualche ritardo nell'invio dei giudizi dei relatori.

19. Rafforzare i filoni tematici per poter costruire conoscenza su conoscenza nei cicli di dottorato che si susseguono.

20. Le modalità di presentazione dei lavori da parte dei candidati 21. Molte cose. occorre più chiarezza nei confronti dei dottorandi per rendere le

milestone più efficaci. è un momento di valutazione della ricerca svolta, non una sequenza di "spot pubblicitari". i dottorandi devono sapere bene che cosa presentare e come presentarlo. il collegio deve impegnarsi per avere elementi certi su cui basare la valutazione (insindacabile). il registro dei commenti deve essere consono: si tratta di un momento ufficiale, non di un colloquio amichevole. sarebbe più utile avere commissioni fisse almeno per 1 anno aventi come chair i tutor dei dottorandi.

22. Alcuni possibili spunti per migliorare l'efficacia di incontri futuri: (i) Proporre ai dottorandi di includere nel loro pitch di 5 minuti informazioni sintetiche su avanzamenti dello stato dei lavori (su diverse aree chiave della tesi: stato dell'arte, metodologia, applicazione etc.) rispetto alla milestone precedente (dovrebbe aiutare la commissione ed eventuali nuovi membri della commissione ad avere una panoramica sintetica ma comprensiva del loro lavoro di tesi). (ii) Avere una serie di criteri puntuali per supportare la discussione della commissione nella definizione della valutazione.



23. Ritengo l'esperienza completamente positiva, strutturata e organizzata in modo eccellente.

24. Preparazione dei docenti (essere sicuri che abbiano letto i documenti), più tempo per le esposizioni, raggruppamenti tematici più stretti (so che ha controindicazioni ma mi paiono ormai necessari)

25. Credo servirebbe avere un po’ più di tempo a disposizione per poter leggere con attenzione gli elaborati dei dottorandi. Ritengo che una settimana sia troppo poco, soprattutto se si hanno tesi intere da revisionare.

26. Non saprei - la scelta di un compromesso tra la scarsa disponibilità di tempo dei partecipanti e l'esigenza di un tempo adeguato per presentare e discutere i veri argomenti costituisce una ovvia difficoltà

27. La struttura delle Milestone a mio parere è in continuo miglioramento, un maggiore continuità nella composizione delle commissioni aiuterebbe specie nella valutazione dei lavori del terzo anno Valutazione

28. Come sopra, ridurre il carico di lavoro pro capite in preparazione delle milestone, così che i docenti siano più invogliati alla effettiva lettura dei lavori.

29. I criteri di valutazione non paiono sufficientemente oggettivi ne confrontabili. Troppo peso viene dato alle proposte dei tutor/supervisor che quasi sempre spingono troppo in alto.

30. Mi è parso che le presentazioni siano state troppo brevi per entrare nel merito del lavoro e di un eventuale commento. È stato detto cosa si è fatto, ma non si è discusso dei risultati del lavoro (per quanto provvisori, per chi è all'inizio o a metà), ovvero non si è esposta la ricerca o lo stato di avanzamento. Vero che sarebbe lungo, ma anche più interessante discutere di risultati invece che solo enunciare gli argomenti (ovviamente lo dico anche per confronto con ciò che si fa a Venezia, nel collegio di cui faccio parte). Se il fine è la valutazione allora basta lo scritto, stato di avanzamento e abstract. Se il fine è invece una discussione sul lavoro (e poi anche una valutazione, a questo punto più precisa) a me pare più interessante entrare nel merito: tra l'altro così si impara sempre qualcosa.

31. Temo che non abbiamo suddiviso il tempo a disposizione in modo del tutto equilibrato tra i candidati.

32. Occorre dare più tempo all'esposizione degli studenti. 33. credo che vada perfezionata la forma di presentazione della sintesi della ricerca in

corso da parte dei dottorandi - per esempio 10 slide proiettate e un breve libretto (10-16 pagine A5) a disposizione della commissione durante la presentazione.

Annotazioni aggiuntive Di seguito, le note critiche di Elena Mussinelli, inviatemi a chiusura di una serie di richieste che verranno sicuramente soddisfatte, la collega citata mi ha chiesto di sottoporle al collegio le riposto qui anche se poi la stessa ha provveduto, su mio invito, a diffonderle all’intero dipartimento.

In merito alla criticità < nella gestione del dottorato >, tra le più rilevanti ritengo vi sia quella relativa alla gestione de del lavoro dei dottorandi e dei momenti di verifica periodica (milestone, review di paper, ecc). In questi anni ho preso parte se non proprio a tutte a molte di queste attività e ho registrato una certa confusione, soprattutto a fronte della crescente numerosità dei dottorandi. Le commissioni sono state organizzate con impegno e spesso con fatica da parte di Enrico, sia per la non sempre piena disponibilità dei docenti, sia per l’oggettiva difficoltà di questi a convergere su date comuni. In alcuni casi le commissioni hanno fatto riferimento ai “tavoli” della ricerca dipartimentale (ma esistono ancora? tutti?), in altri con criteri



disciplinari (situazione molto frequente per alcuni SSD, quasi mai verificata per altri), in altri ancora sulla base delle effettive disponibilità dei docenti, quindi senza uno specifico riferimento alle competenze. Ne è un esempio la mia presenza alla milestone dello scorso 16 ottobre nella commissione della Prof.ssa Parise: ho cercato di dare il mio contributo, il clima è stato più che positivo e collaborativo, ma mi sembra lampante che non fosse quella la sede scientifica ideale per valorizzare un mio possibile apporto, sia di metodo sia di contenuto. E ancora, da un lato ho dedicato tempo a dottorandi - del mio e di altri SSD - che poi non ho mai avuto modo di ritrovare in successivi incontri, e dall’altra non sono in condizione di avere una visione chiara e completa delle ricerche sviluppate dai colleghi nel mio SSD… Credo di non essere la sola, e questo certo non agevola la “cumulatività” della ricerca. Insomma, fatto salvo il ruolo del tutor e del relatore, c’è poca chiarezza e molta discontinuità nel lavoro di assistenza critico-propositiva ai dottorandi, che credo invece abbiamo l’esigenza e il diritto di essere seguiti nel loro percorso triennale in modo non saltuario/occasionale da docenti effettivamente interessati alle tematiche affrontate dalle tesi e competenti nella materia. Siamo tutti interdisciplinari e competenti su tutto, soprattutto sul piano del metodo, ma indubbiamente maggior continuità/focalizzazione sarebbe di aiuto. Mi sembra quindi importante conoscere il punto di vista del/i candidato/i al ruolo di coordinatore relativamente a questo modello organizzativo e le sue proposte migliorative.

october 2018 evaluation milestones – survey results · 2018. 11. 23. · april 2018 milestones...

Documents