Developing the Guide to Retaining Essential Consultant-Developed Knowledge Within DOTs (2017)

Below is the uncorrected machine-read text of this chapter, intended to provide our own search engines and external engines with highly rich, chapter-representative searchable text of each book. Because it is UNCORRECTED material, please consider the following text as a useful but insufficient proxy for the authoritative book pages.

Developing the Guide to Retaining Essential Consultant‐Developed Knowledge    Within DOTs  7  3. FRAMEWORK DEVELOPMENT 3.1 Initial Framework Development  Development of guidance for state DOTs on capture and learning essential consultant‐developed  knowledge was a multi‐step process.  It began with development of an initial framework for stating  the problem (i.e., need for knowledge capture and learning) and the solution (i.e., knowledge transfer  techniques).  Based on the literature review, the following “story line” for the framework was  developed:   State DOTs are increasingly using consultants for project delivery functions that have historically been performed in‐house.  This means that the knowledge that used to be gained by the agency during the conduct of these activities is now being gained by the consultants that perform them.  Without conscious efforts to capture and transfer this knowledge to DOT staff, the agency increases its risk exposure.  There are many techniques available that can be used for knowledge capture and transfer – these techniques should be tailored based on the agency’s objectives and the nature of the knowledge involved.  However, agencies are likely to face a number constraints or barriers as they pursue strategies to capture and transfer consultant knowledge. It is important to anticipate these constraints in order to plan an effective set of knowledge capture and transfer strategies. Figure 1 illustrates this story line and presents the different elements to be included in the framework.   It consists of three different sections:   At the top, three core activities are shown: build knowledge, transfer knowledge and apply knowledge.  In the center, risks associated with lack of knowledge transfer are identified.  At the bottom, constraints or barriers to knowledge transfer are called out. Each of the elements in Figure 1 is briefly described below. 

FDe igure 1.  Ca veloping  pture and T the Guide  ransfer of E to Retaini ssential Con ng Essent sultant‐Lea ial Consult rned Knowl ant‐Deve edge  loped Kno Withi wledge    n DOTs  8 

Developing the Guide to Retaining Essential Consultant‐Developed Knowledge    Within DOTs  9  Build Knowledge  The “Build Knowledge” element represents the process by which the consultants acquire knowledge  through the work activities they perform.  The work types included in the scope of this research  include project scoping, survey, design, construction, construction engineering, and right‐of‐way  acquisition. Within these work types, there are specific activities – e.g. cost estimation, scheduling,  inspection, etc. that require specialized skills and experience to perform effectively.  Some of these  activities are routinely performed by well‐trained engineers and project managers across the industry.   Other functions, however, are more specialized and rely on unique expertise.    Construction Engineering, as an example, may entail quality assurance and quality control, inspection,  and design review that, for large projects, may be undertaken by any particular staff engineer only a  few times in a lengthy career. While such skills may be detailed in an entry level engineer’s job  description, others are not. A project manager trained in engineering may spend as much time  practicing negotiation techniques when acquiring right‐of‐way from savvy commercial businesses,  deliberating cost share with local agency partners or with FHWA, and engaging contractors on project  elements negotiated after award. These and other talents can be hired to the agency, trained at the  agency, or consulted out. They are less uniformly instilled in staff across agencies.  Transfer Knowledge  The “Transfer Knowledge” element represents the process by which consultant knowledge is captured  and then learned by the state DOT staff.  Depending on the type of knowledge, this may be  accomplished via person‐to‐person interaction or through techniques that involve documenting  essential information that can be applied in the future.    Several Knowledge Types can be distinguished, including the following two ends of the spectrum:    Historical factual knowledge of what was done and how. For example: what materials were utilized, what the sequence of installation was, what agreements were established between the project owner and other stakeholders.  This type of knowledge may be important to guide future maintenance and construction work at the project location, and to ensure that the agency honors commitments over time.  Knowledge of why work was done the way it was, why key decisions were made, and what was learned from a particular experience. Why was this bargaining chip conceded to the railroad while that one was preserved? Why did we accept that change order but hold firm on other proposed scope adjustments? This second type of knowledge can be more elusive to describe – it is generally classified as tacit  knowledge.  However, if a project manager gains this type of knowledge his or her ability to act  effectively in multiple situations is increased.  A new project manager does not instinctively know these  things and no amount of schooling can teach every capability.  Understanding the circumstances  surrounding the facts can be as important as the facts themselves.  Who influenced this decision?  Did  the decision prove right or wrong?  What would be done differently on the next project?  All of these  are pieces of knowledge that are not available in blueprints or manuals.  Different Knowledge Transfer methods are appropriate for different types of knowledge.  Several  mechanisms present themselves to agencies for transferring knowledge in‐house, and retaining key 

Developing the Guide to Retaining Essential Consultant‐Developed Knowledge    Within DOTs  10  expertise. Written documentation through detailed as built plans can be used to document project  specifics.  Manuals can help inform an entire program.  These methods help ensure transfer of factual  information but do not necessarily transfer judgement or understanding about how to perform a given  task in different situations. This second type of knowledge is built over time through training,  apprenticeships, and other active learning methods.  Sharing knowledge between consultant and DOT  staff during the course of project activities can build staff experience and an understanding of how to  utilize that skill in similar context on future projects.   Apply Knowledge  Applying knowledge is an essential yet sometimes overlooked element of knowledge management.   The reason to make the effort to capture and transfer knowledge is to use this knowledge to produce a  benefit for the organization.  Simply documenting findings and lessons learned from prior projects does  not do any good unless these findings and lessons are reviewed and used to influence future activities.   The Federal Aviation Administration, for example, utilizes before‐action reviews to consider lessons  learned on prior projects before beginning the next project.   Risk Reduction from Building, Transferring and Applying Knowledge  This element is a fundamental part of the guidance to be produced – it provides the motivation for  agencies to invest time and effort into capturing and learning consultant‐developed knowledge.  The  hypothesis – which is supported in a general way by the literature review – is that agencies that heavily  rely on contractors face an erosion of their in‐house knowledge base, which can reduce their internal  effectiveness over time.  This creates several different types of risks.    First, there is a risk that agencies will not be sufficiently prepared to take on responsibility to operate  and maintain what is delivered.  When the contractor completes their assignment, agency staff will  need to have an understanding of what was done, how, and why.   Knowledge of the types of issues  that may arise in the future related to the work and how to respond to these issues is of critical  importance.  For example, maintenance crews taking over a newly constructed stormwater  management facility need a good understanding of the inspection and maintenance requirements for  the facility, and how these impact its proper function. Without sufficient attention to knowledge  transfer, there is the potential for suboptimal decisions, leading to higher costs and poorer  performance.  These risks will be highest where the outsourced work is complex, non‐routine, and not  well‐specified or documented, and where the agency’s base of pertinent expertise is already thin.    In addition to potential risks associated with an agency’s ability to take over proper stewardship of a  work product delivered by contract, lack of knowledge transfer can also mean lost opportunities for re‐ use of important lessons learned and effective practices developed.  For example, an agency may  change vendors or consultants for a function as a result of a contract re‐compete.  If there was no  knowledge transfer from the original contractor to the agency, the new contractor will need to start  from scratch, without the benefit of prior experience that the agency has paid for.  A third type of risk relates to agency capabilities to oversee contract work.  Over time, some DOTs have  shifted certain agency functions (e.g. design) to being predominantly outsourced.  Effective knowledge  transfer from contractors can help to sustain and build employee capabilities, providing a richer base  of experience from which they can draw upon for future initiatives.    

Developing the Guide to Retaining Essential Consultant‐Developed Knowledge    Within DOTs  11  Constraints and Barriers  There are real constraints to effective capture and transfer of consultant‐developed knowledge.  These  must be recognized and addressed explicitly in the guidance.    One important constraint is limitations on agency staff capacity to receive and utilize consultant‐ developed knowledge.  Perhaps the most commonly cited reason for outsourcing among state  agencies today is the restriction on DOT staff size or new hires. But other factors also drive agencies to  hire consultants in perpetuity. A task may be repeated so infrequently that the dedication of even a  single full‐time staff person cannot easily be justified. Likewise, capabilities may be so specialized that  an agency deems it impractical to hire, train, and retain a small number of technical resources finding  that the private sector can far better provide those capacities as needed. Even where staff are  available that can receive and absorb consultant‐developed knowledge, knowledge transfer may be  inhibited by staff time constraints.  In particular, knowledge transfer opportunities may coincide with  spikes in workflow given the seasonality of construction work.   Another important constraint is willingness on the part of the consultant to share their knowledge.   From the perspective of the consultant, knowledge transfer may not be desirable. Providing staff with  the ability to perform that task diminishes the probability of gaining future work on similar projects. It  may also encourage staff to seek competing consultants with the knowledge to transfer to the new  vendor who has unseated the incumbent. This research will examine these constraints and recommend  ways to overcome such obstacles.  Figure 2 illustrates the preliminary framework developed for the guidance.  It organizes the elements  described above into four key questions for state DOTs to consider:   Question 1: What could be learned from consultants that the agency should capture?  Question 2: What are the risks from not transferring this knowledge?  Question 3: What knowledge transfer techniques should be considered?  Question 4: What barriers will we face in implementing these techniques, and how do we overcome or minimize them? Question 1: What can be learned?  This component of the framework considers the types of knowledge that might be gained by  consultants through various types of outsourced activities, and will help agencies consider the  potential application of these different knowledge types to add value to future activities.  This assists  agencies to identify initial candidate areas for potential knowledge transfer activities.  Question 2: What are the risks?  This second component of the framework considers risks associated with failure to undertake  knowledge transfer for the candidate areas that have been identified.  At a minimum, categories of  risks will be identified in a qualitative fashion.  However, during the course of the research we will seek  more specific (and ideally, quantifiable) examples of risk.  Once types of risks are identified, an  approach to prioritizing these risks will be presented – using the risk matrix displayed in Figure 2.  This 

Developing the Guide to Retaining Essential Consultant‐Developed Knowledge    Within DOTs  12  approach involves classifying each risk based on both the likelihood that it will occur and its  consequences.  This can help agencies to prioritize the candidate areas for knowledge transfer.   Question 3: What knowledge transfer techniques should be  considered?  The third component of the framework covers identification of knowledge capture, transfer and  application techniques that are appropriate to the targeted highest risk areas.  This will include person‐ to‐person techniques for the tacit or procedural types of knowledge, and codification‐dissemination  methods for the explicit or declarative types of knowledge.    Question 4: What barriers will we face?  The fourth component of the framework identifies the barriers associated with different types of  knowledge transfer techniques, and suggests ways to minimize these barriers.  

Developing the Guide to Retaining Essential Consultant‐Developed Knowledge    Within DOTs    13      Figure 2.  Preliminary Framework 

Developing the Guide to Retaining Essential Consultant‐Developed Knowledge    Within DOTs  14  3.2 Review of Initial Framework with Focus Groups  Purpose and Methodology  Specific objectives of the focus groups were to:   Determine if the basic “story line” resonated with both state DOT and consultant participants  Understand types of knowledge transfer currently being used  Identify specific examples where lack of knowledge transfer back to agency staff had negative consequences  Understand agency experience with respect to project, consultant and staffing‐related barriers to knowledge transfer Focus groups were selected to cover different types of outsourcing arrangements and to reflect  diversity with respect to program size and geographic location.  The groups consisted of individuals  responsible for key functions where significant outsourcing occurs in central office and field/district  office locations, as well as individuals responsible for workforce planning and development.  DOTs also  were asked to invite representatives of current contractors/consultants to join in the discussion.  During the focus groups, the research team asked participants to identify specific examples of recently  completed outsourced projects where successful knowledge transfer occurred.    Focus groups were held at Virginia DOT, Colorado DOT, and Oregon DOT.   Two separate focus groups  were held at each agency in order to keep groups small and cover varying perspectives and functions.    At the start of each focus group, members of the research team stated the project objectives and  summarized the framework.  Focus groups were structured into four parts – one for each element  of the framework.  The facilitator posed the central question (e.g., “What essential knowledge is  important to capture from consultants?”) and provided an opportunity for each participant to  comment.  At the end of the focus group, participants were asked if they thought guidance on this  topic would be helpful, and if they had specific suggestions for what should be included in this  guidance.  Results of the focus groups are presented below.  Synthesis of Results  The focus groups provided an excellent opportunity to have a productive discussion about methods  currently in use for capturing essential knowledge from consultants and contractors.  Useful input was  received for each of the four framework elements.    Perceptions of Risk  The most significant finding was that focus group participants – particularly those in engineering roles  did not perceive capture of consultant knowledge to be a major area of concern.  It was recognized as  something that should be done – but was not viewed as a high priority – more than “nice to have” but  not “urgent”.  To the extent that risks were recognized by participants, it appeared that such risks were  overshadowed by larger concerns about: (1) loss of in‐house agency capabilities due to downsizing and  resulting dependencies on consultants, (2) ability to effectively supervise consultants doing work in 

Developing the Guide to Retaining Essential Consultant‐Developed Knowledge    Within DOTs  15  areas where the agency lacked in‐house expertise, and (3) general erosion of the available pool of  seasoned, experienced engineers – and construction inspectors and managers in particular.   Participants generally felt that while consultant knowledge capture could play a supporting role in  building or sustaining agency expertise, the agency’s overall staffing and outsourcing strategy is the  primary lever for addressing these concerns and managing risks associated with outsourcing.    Just because participants of the focus groups didn’t perceive knowledge transfer from consultants as a  major issue doesn’t necessarily mean that it isn’t valuable or needed.  In fact, case studies conducted  later in the project did identify many valuable knowledge transfer practices in use at DOTs.   Focus  group perceptions did, however, signal that “consultant knowledge capture and learning” is a multi‐ dimensional, nuanced topic that needed to be carefully described using concrete examples.     Types of Critical Knowledge to Capture   Responses to the questions about what knowledge is important to capture and learn were primarily  (though not exclusively) related to negotiation, people skills and judgement rather than to hard  engineering expertise or project‐specific knowledge.  Participants pointed out that these softer skills  are built through experience and day to day working relationships.  Participants emphasized the fact  that project design and construction are governed by highly regimented processes with extensive  documentation requirements.  Several participants identified understanding of other agencies’  practices as a valued type of knowledge that the agency gained as a result of using consultants.   However, they were most interested in benefiting from this knowledge in terms of making good design  decisions for a particular project – as opposed to educating agency staff about new techniques.   Knowledge Capture and Learning Practices   While some participants recognized the value of capturing lessons learned for the benefit of future  projects, they did not make a distinction between capture of knowledge from consultants and  contractors, versus capture from agency employees before they retire, change jobs or move on to  other projects.  Many focus group participants had not given considerable thought to a prescribed  practice or method for capturing consultant knowledge.  During the focus groups, participants began  to formulate ideas on how to go about implementing such practices and often broadened the topic to  include staff‐to‐staff, staff‐to‐consultant, or consultant‐to‐consultant transfer. Discussions often  moved to succession planning for staff retirements, perhaps reflecting more significant concerns or  professional development related topics more familiar to the focus group members.  Participants acknowledged that in many instances, the concept of knowledge transfer from consultants  and contractors had simply not been considered. In other instances it had been rejected as too costly  or of too little value given the department’s tendency to continually outsource certain activities. When  participants had previously considered the need, lack of resources was cited most frequently as the  barrier to instituting deliberate knowledge transfer methods. Nevertheless, participants from all three  states reported anecdotal examples in transferring knowledge and expertise of consultants to staff,  while acknowledging the lack of a structured approach or organization‐wide resources for this.     A participant from Colorado DOT noted pre‐DOT experience with the military in utilizing an “after  action” database to document lessons learned in the field. But Colorado DOT participants, perhaps  more than participants from the other two states, underscored the importance of explicitly dedicating 

Developing the Guide to Retaining Essential Consultant‐Developed Knowledge    Within DOTs  16  staff time and funding outside the core business of the state DOT. Project managers are so focused on  delivering the current project that the impacts to the next project or other projects in the state are not  generally considered. CDOT University and the Innovative Contract Advisory Committee have been  created by the department to ensure that critical skills and information be disseminated throughout  the organization and outside the delivery of the individual project. Within CDOT University,  professional trainers rather than construction project managers are charged with ensuring that  dissemination.  Oregon focus group participants highlighted the benefits of technology in helping to support transfer  of important project information, with document and project management systems facilitating the  exchange. Technology barriers imposed by statewide technology offices or rules (e.g. obligatory  firewalls) were more easily overcome by consultants and could then be transitioned to staff, enabling  the use of engineering document management and team collaboration systems to retain and transfer  project‐specific information from consultants to the DOT.  In Virginia, several participants highlighted the “ecosystem” of shared consultant and staff resources  that help support delivery of projects. Individuals frequently transfer between VDOT and consulting  firms, taking the skills they have acquired in both environments with them when they do – benefiting  both the DOT and the consulting community.  Both groups exchange ideas of mutual interest at an  annual contractor forum. And on a recent project a senior construction inspector with VDOT  experience was hired to play a mentoring role with the primary task of working with less experienced  construction inspectors.    Despite these examples, transferring knowledge from consultants to staff does not appear to be a  formalized practice involving guidance or dedication of specific resources.  Within the participating  agencies, this is not perceived as a concerning problem or risk, especially when framed in the abstract.   However, there are specific areas of opportunity and applied practice that should draw additional  focus within this research.  Virginia DOT Focus Groups  In Virginia, two focus groups were conducted with VDOT staff.  Supplemental telephone interviews  were conducted following the focus group with consultants and contractors.  Findings from the focus  groups and private sector interviews are presented separately below.  Focus Group Participants  Group 1: Preliminary Engineering   Group 2: Construction, Maintenance and Operations  Topic 1: Knowledge of Value to Transfer  Industry Best Practices   Ability to innovate and come up with good solutions to unusual situations;  Knowledge about design techniques that have been used in other states – for example, ways to eliminate bridge joints to make structures longer lasting and easier to maintain;  Knowledge about different procurement approaches being used in other states;

Developing the Guide to Retaining Essential Consultant‐Developed Knowledge    Within DOTs  17   In Maintenance, VDOT central office staff is only “one level deep.”  Consultants are bringing expertise that VDOT staff does not currently have.   While much could be learned from these consultants, the issue is capacity within VDOT to receive and make use of this knowledge. People/Judgement Skills   In the Operations area, the work is very specialized and is currently 100% outsourced.  Given rapid evolution of techniques and use of new technology, experience in other states brings a  great deal of value.  However, rapport and relationships are the key to making sure that work is  properly managed and executed.  Site and Project‐Specific Information:   In Right‐of‐Way, of most value is specific information about properties that aren’t visible – for example, the location of a septic system or the location of an underground gas tank on an  agricultural or business site.   In Construction standard processes are in place for capturing what happens on a project on a daily, weekly, and monthly basis – daily logs are completed to document everything.  The same  procedures are followed regardless of whether work is being done by internal or external staff.   (Things aren’t as formalized within the PE phase.)  Even though VDOT currently outsources 75%  of construction inspection (CI), there is very effective oversight because there is a responsible  charge engineer for all projects.  In the CI area, consultants and VDOT staff tend to be  somewhat interchangeable, although the consultant group often has the most experience.  This  is because many are former VDOT employees.  One participant noted that knowledge transfer goes both ways – not just from consultant to VDOT,  but from VDOT to consultants as well.  Topic 2: Risks of not Transferring Knowledge  Agency’s Ability to Validate and Defend a Consultant‐Developed Solution   Sometimes consultants come up with a great solution or alternative but they don’t tell us why. Although this isn’t a big risk, we do have to work with them to get documentation and support for their solution.  There are risks associated with depending on a specialty consultant without the internal expertise to review what they are recommending.  This can be mitigated, in part, through hiring a second consultant to review the work of the first.  In one design‐build project, the initial concept development phase looked at several options (including a diverging diamond interchange or DDI) but did not select the DDI.  However, in the end, the DDI was selected as the correct solution.  The lesson there was that we perhaps didn’t ask enough questions initially about the thought process applied during concept development. If more questions had been asked or if there was better communication, then perhaps the risk of not getting to the right solution could have been lowered. Ability to Negotiate Right‐of‐Way Agreements    In the negotiation phase of Right‐of‐Way there is a risk that the consultant may not be as sensitive as VDOT staff would be to interactions with landowners.  They may not always share  key pieces of information or understand the subtleties that can help get to an effective 

Developing the Guide to Retaining Essential Consultant‐Developed Knowledge    Within DOTs  18  agreement and avoid a condemnation proceeding. (This risk is more related to transfer of  knowledge from VDOT to consultants rather than the other way around.)  Maintaining Control of Project Scope, Schedule and Budget   Biggest risks are when there is insufficient communication between all parties on Scope, Schedule, and Budgets.   Maintaining Objectivity   In Operations, consultants are sometimes managing other consultants, which is a potential risk. Other Comments   Construction: Can’t think of anything catastrophic that might happen due to lack of knowledge transfer.  98% of our consultants are “on‐calls” and they have the same expertise as our  own staff. "You can't tell the consultant from our staff until they get in the truck.”     Operations and Maintenance: Although there is some risk in this area, we have not had problems in getting enough information and knowledge to new consultants to get them up to  speed on projects.   We’ve been able to capture enough information from the prior consultants  to pass on to the new ones.  These responses indicate that risks of most concern are VDOT’s ability to ensure that consultants are  performing effectively – rather than risks related to insufficient knowledge transfer from consultants.   Topic 3:  Knowledge Transfer Techniques   Blended Project Teams/Mentoring   There was an opportunity on a recent project to hire a senior consultant inspector who was a former VDOT employee into a mentor role.  Their job was to work with less experienced construction inspectors and coach them.  The group agreed that this was a great way to transfer not just technical knowledge, but the softer skills needed to negotiate and de‐escalate issues with contractors.  (This example is a potential case study topic for the final Guidebook.) Agency/Industry Relationship Building   VDOT holds an annual construction forum to discuss topics of mutual interest.  Because of the size of the program there, Northern Virginia holds their own.  Structure and Bridge Division has monthly lunch meetings that we invite consultants to.  We also have joint technical committees (as part of the Virginia Transportation Construction Alliance – VTCA) to develop and foster innovation.  For Operations, conferences and getting together are among the most important ways to share knowledge and build relationships.  Conversations often migrate to things that are of significance and the informal setting is often better than a formal list of “lessons learned,” especially if it is not easily searchable.  We’ve had consultants approach us and offer to do presentations and training using lessons learned.  Some of this is for marketing purposes – but it is helpful and substantive nonetheless.

Developing the Guide to Retaining Essential Consultant‐Developed Knowledge    Within DOTs  19  Project Meetings and Reviews   We conduct post project design quality reviews that include all the relevant parties (Preliminary Engineering, Right‐of‐Way, Bridge, and Construction Inspection).  The results of the review are documented in a standard format (Form LD‐433) and maintained in a database.  This database is reviewed annually to assess the need for policy changes.  (Note: these reviews are not consistently completed or filed.)  Regional Right‐of‐Way managers have weekly meetings to review project status; we also have annual consultant forums.  In Construction, we don’t have a formal process for lessons learned; however we do assess the experience at project close.  Because we use many consultants, they are very much part of our team ‐ the staff is virtually seamless. Documentation   Every Right‐of‐Way project has an RW‐24 that captures who does what on each parcel.  Alternative Project Delivery keeps an internal list of lessons learned and use for training purposes. Ideas for Future Consideration   It would be very good if we had someone in each district focusing on technical issues and lessons learned; documenting lessons learned is not useful if you do not have the resource capacity to take advantage of these lessons.  We need to connect this to development programs for younger staff as well as consultants.  The bottom line is that transferring knowledge whether from consultants to staff, or the other way around are two sides of the same coin…the key is how do you do it.  Having a knowledge transfer system similar to Wikipedia, similar to something like Missouri DOT’s wiki‐based engineering manual would be of great value. Topic 4:  Barriers and Constraints to Knowledge Transfer  Time Limitations   Time limitations are the biggest constraint.  At the end of a project there is a need to move on to the next project rather than taking the time to look back and document lessons learned. Consultant Willingness to Share   There are some consultant disincentives to sharing knowledge – though contracts clearly state that all work products belong to VDOT.  In general, the good relationships between consultants and VDOT makes learning as we go easier. Summary Observations  It is clear from the focus groups that in Virginia there is a strong symbiotic relationship between the  consultant community and VDOT staff and there is often a substantial movement of staff back and 

Developing the Guide to Retaining Essential Consultant‐Developed Knowledge    Within DOTs  20  forth between the public and private sectors.  This may be a mitigating factor in reducing risk that  might be associated with lack of knowledge transfer among the parties. For the most part outsourcing  at VDOT is seen as an extension of internal staff – i.e., it is done to add capacity rather than add  specialized expertise.  Exceptions were noted however – for example, VDOT outsources the design of  moveable structures because it does not maintain in‐house expertise in this area.  VDOT also  selectively outsources certain central office maintenance functions where in‐house staff expertise (and  bandwidth) is not available.  There was a brief discussion about the products of this study.  Participants expressed preferences for  a concise, to the point document with reusable templates (e.g., for lessons learned).  Supplemental Private Sector Telephone Interviews:   Representatives of Bryant Contracting and the Lane Construction Corporation Topic 1: Knowledge of Value to Transfer  Innovative techniques from other agencies:   Construction techniques/practices from other states or those that are not “typical”  (e.g. alternative interchange techniques) o Example: diverging diamond interchange was constructed (based on initial application in Utah) – now it is part of standard practice to consider this technique when traffic counts justify it. Learning from Project Mistakes/Experience   Each project is unique – something is learned on each one – project‐specific knowledge is important  Common errors in design – provide feedback to the designers (but note that the least experienced staff do the bulk of the routine design work)  Utility issues are most common – need to improve communication and information sharing on this People/Judgement Skills   Common sense/judgement (we are too reliant on checklists – need to be able to do a common sense evaluation of a situation)  When to escalate and who to call (e.g. don’t accept a 2 week delay to resolve a pile driving issue) Topic 2: Risks of Not Transferring Knowledge   Repeat mistakes – same issue arising multiple times  Project delays  Increased claims

Developing the Guide to Retaining Essential Consultant‐Developed Knowledge    Within DOTs  21   Missed opportunities to reduce impact on traveling public – travel delay and safety impacts o Example: I‐495 HOT Lanes project – through open dialog, project team worked with stakeholders and got agreement to close down a bridge for a weekend in order to accelerate the construction.  Saved time, money and inconvenience. Topic 3: Knowledge Transfer Techniques  Agency/Consultant Relationship Building   VTCA committee meetings – very helpful for relationship building.  “We would be lost without it.”  Active committees include design‐build, bridge, and leadership.  Would be helpful to send more District staff to these meetings. Project Meetings and Reviews   Have both formal and informal Partnering Process – established by a former VDOT Commissioner; required on all design‐build projects.  Formal process involves a facilitator who ensures an open, constructive dialog.  Monthly partnering sessions are held, in which participants are asked to “leave your ego at the door” and work together to find better solutions.  Successful partnering sessions have the right people in the room (District Engineer, Construction Engineer, Area Construction Engineer, lead project staff on both sides). Partnering costs money, but always ends up saving time in the end. o Example: NOVA hike/bike trail project involving ramp into Herndon – figured out how to compress construction from one month to one week – involved three design meetings with all of the key players to work it out.    All participants are now big supporters of this type of process. o Current project on Route 29 – highly complex – involves VDOT Chief Engineer and Commissioner in the Partnering Meetings.  Project closeout meetings with all stakeholders participating (varying levels of effectiveness)  Face‐to‐face meetings to identify and resolve issues – regular progress meetings and open communication is very helpful  District construction engineers need to be at the table and made aware of red flags. Documentation   Documentation of lessons learned – make available to district staff in a database (not currently happening as much as it could)  There is a great deal of formal documentation – but the full picture doesn’t always get communicated up the chain of command. Topic 4: Barriers and Constraints to Knowledge Transfer  Turnover and Staffing Limitations   Lots of turnover in agency staff – revolving door

Developing the Guide to Retaining Essential Consultant‐Developed Knowledge    Within DOTs  22   VDOT staffing very thin – have lost key “go to” people that could help to solve problems  Less experienced agency staff who aren’t as comfortable making decisions o Difficult to address this problem – industry‐wide issue attracting engineers who are willing to stay for a long time and learn ‐ “the best experience is experience” Lack of Receptivity   Increased use of consultant designers – difficult to provide feedback that succeeds in improving practice (given that the design consultants will move on to other agencies).  Sometimes agency staff may not be open to new ideas that could save time or money – because of a concern about avoiding liabilities.  This is more of an issue in the districts than in the central office.  VDOT’s Performance Dashboard is having unintended consequences – decisions are too focused on avoiding “going red” – even where the long term impact is greater cost to the agency.  Not the original intent – in fact, the original expectation was that if the performance got too high (e.g. > 85%) then something was wrong.  Sometimes people don’t want to hear about mistakes made in the design process because they don’t want to offend the designers.  Sometimes staff are hamstrung by contract provisions and don’t have flexibility to implement new ways of doing things.  Younger generation: people don’t read.  Even when there is copious documentation, it doesn’t get absorbed.  Can be resistance to doing things a new way.  But through persistence and dialog, this can be overcome. Colorado DOT Focus Groups  In Colorado, two focus groups were conducted, both involving a combination of staff and consultants.  In several cases, the consultants had previously worked for CDOT or the CDOT staff had formerly  worked as consultants.  The first group was focused on professional development and project delivery,  with most participants having some responsibility for training CDOT staff. The second group included  mostly engineers and project managers.  Focus Group Participants  Group 1: Professional Development and Project Delivery  Group 2: Engineering and Project Delivery  Topic 1: Knowledge of Value to Transfer  Project and Contract Management  

Developing the Guide to Retaining Essential Consultant‐Developed Knowledge    Within DOTs  23   Understanding how to estimate and manage costs, handle quality and project controls, anticipate schedule snafus and avoid costly delays  Personnel management and coordination of multiple contractors and stakeholders  Contract negotiation  (owner’s representative consultants provided staff with this skill on innovative and complicated projects)  The “softer” management skills are learned through experience, more difficult to transfer but are vital to effective project delivery. Industry Best Practices   Consultants can help transfer best national practices to the client state.  Industry standards and common language were noted as important for building a CDOT institutional knowledge base.  Industry standards or best practices could become more firmly entrenched at the state and consultants can help accomplish this.  Specialized skills (e.g. hydraulics engineering) need not necessarily be transferred back to agency staff. Topic 2: Risks of Not Transferring Knowledge  Degradation of Agency Staff Capabilities   Inability for the agency to re‐establish responsibilities in‐house that were performed by consultants.  Bridge Enterprise is an example of how lack of knowledge transfer forced the DOT to retain the consultant much longer than anticipated.  Loss of talent was a concern for many participants – though this risk was associated with outsourcing in general, not lack of knowledge transfer.  DOT employees may feel undervalued when the most challenging opportunities are outsourced.  This may result in staff decisions to leave the organization. The best talent at the state DOT wants to learn and develop professionally. Planning Effectiveness   Historical knowledge can be lost when consultants are present. This historical context is key for understanding future planning activities. Loss of Efficiency and Consistency   Loss of efficiency on a project when staff does not understand the consultant role and when consultant does not understand the staff role.  Loss of consistency in administration from region to region or project to project.

Developing the Guide to Retaining Essential Consultant‐Developed Knowledge    Within DOTs  24  Loss of Advantage in Contract Negotiation   Staff risks losing an advantage in contract negotiation when they don’t have a full understanding of costs, budgeting, and scheduling. Maintaining Control of Project Scope, Schedule and Budget   Escalation of project cost when consequences of delay are not understood. Topic 3: Knowledge Transfer Techniques  Agency‐Industry Relationship Building   Use American Council of Engineering Companies and Colorado Contractors Association to host forums and share knowledge at the broader level (not project specific).  For example, Bridge Communication Day enabled effective interaction between consultants and staff and was followed with a social dinner. Blended Project Teams/Mentoring   Region 1 hired a consultant and required that the consultant provide office space for staff so that staff could learn from the consultant at the consultant’s place of business. The Santa Fe Highway project leveraged shared workspace.  Tacit learning is most effective in a blended environment, where people can share space and build trust/relationships.  Create an ecosystem of consultants with DOT experience and staff with consulting experience. Blend teams to include those types of resources. Informally, regions will move engineers through various phases of project delivery, providing the opportunity to work with design consultants and construction contractors. Documentation    Creation of tailored job aids  Document best practices once successfully deployed in a project. Formal Handoff Process   Formalize the project handoff between project managers from phase to phase and stipulate in scope assistance from the consultant or contractor. Training   CDOT University and Kiewit University both offer formal project delivery classes. Other   The Owner’s Rep model (a consultant managing consultants) should serve as the vehicle for capturing knowledge back to the owner.

Developing the Guide to Retaining Essential Consultant‐Developed Knowledge    Within DOTs  25   Innovative Contract Advisory Committee (ICAC) comprised of CDOT staff is intended to impart contracting knowledge as innovative projects arise. Ideas for Potential Future Application    Learned knowledge is not transferred with written documentation. It is best transferred at CDOT in a partnership scenario when an individual staff member is assigned to an individual consultant and can observe behavior, practices, thought processes.  Assign a primary resource to developing lessons learned and creates a repository of historical knowledge of projects in various forms, whether written documentation, videos, presentations, and training documentation.  Hire a historian that tracks lessons learned on unique projects.  Utilize a military tactic known as JULLs – Joint Universal Lessons Learned. At the end of deployment in Afghanistan, officers were required to get key knowledge into the JULLs terminal.  Formalize job shadowing, mapping career development, determining prerequisites for advancement, and strategically assigning staff to the right consultant‐led project assignments.  With a well‐developed project plan in a region or program, the lead manager can allow staff to select the better projects to fill their schedule.  Use a skills bank to register skills learned by staff and call upon them when needed.  Consultants can be required by the DOT to include a percent of hours for on‐the‐job training.  Face‐to‐face interaction, report outs, presentations, and other active learning are far more effective than written documentation. YouTube videos will be more effective than written documentation for the next generation.  Human Resource effort to attract and retain employees with broad skill sets and an interest in learning. Topic 4: Barriers and Constraints to Knowledge Transfer  Time Limitations   Lack of resources was considered the biggest barrier, e.g. staff time and funds from a project for consultant‐led training. Lack of Receptivity    Resentment is a primary barrier for some individuals who see consultants as impediments to the process and are not as likely to share or learn necessary information. At times, staff may even refuse to work with consultants. Desire on the part of staff may be a related barrier.  Lack of experience can cause staff to rely too heavily on consultants and not seek to capture that knowledge.

Developing the Guide to Retaining Essential Consultant‐Developed Knowledge    Within DOTs  26  Lack of Support – through Policies, Processes and Tools   Inconsistent language is a problem when resources on a project are not sharing a common understanding of the project. Lack of uniformity and formalization can be a barrier. If there is no process in place to ensure knowledge sharing, then it might not occur on its own.  Automation and technology were noted as a barrier to knowledge transfer, due to the inherent loss of knowledge of process when technology takes over. Summary Observations  Colorado DOT has in place several mechanisms for capturing consultant knowledge but has seldom  dedicated the resources to make this a regular practice. CDOT University, for example, offers hands‐on  project management training to staff, traditionally by staff and with a focus on core project  management responsibilities rather than on consultant‐derived expertise. The Innovative Contract  Advisory Committee is intended to impart contracting knowledge as innovative projects arise.  Consultants may from time to time be required to provide on‐the‐job training or project‐end  knowledge transfer as part of their scope, but this was not a function commonly included in projects.   Both focus groups emphasized the need to improve staff skills in non‐technical areas such as contract  negotiation, particularly for large or innovatively delivered projects. Recognizing shortcomings in this  and related areas of need, CDOT often opts to retain an Owner’s Representative consultant to secure  the prime contractor for construction, information technology, or other large projects. The reliance on  consultants in this capacity benefited not only the current project but the staff able to work with the  Owner’s Representative.  Oregon DOT Focus Groups  In Oregon, two focus groups were conducted with ODOT staff. The first group focused on the Oregon  Transportation Investment Act of 2003 (OTIA), a $1.5 billion bridge replacement program that  delivered projects for more than a decade using just over 20 staff and 600+ consultants. That focus  group included former members of the consulting team who had subsequently become ODOT staff.  The second group narrowed its discussion to one specific bridge within the OTIA program, delivered  using a Construction Management / General Contractor (CM/GC) delivery method. Findings from the  focus groups are presented below.  Focus Group Participants  Group 1: Staff and former consultants with the Oregon Transportation Investment Act of 2003 (OTIA)  Oregon Bridge Delivery Partners (major bridge program staffed with 600 consultants)  Group 2: Staff involved with the Willamette River Bridge (WRB) Construction Management / General  Contractor project 

Developing the Guide to Retaining Essential Consultant‐Developed Knowledge    Within DOTs  27  Topic 1: Knowledge of Value to Transfer  Program Management    Program Management was the skill or capability most frequently noted by staff as of value to ODOT.  This included activities involving more than a single project. o Bundling projects for efficiencies is an uncommon task for staff, often falling outside the authority of a single project manager. o Resource‐loading to ensure that some staff are not over‐worked while others sit idle. At a DOT, work backlogs can build up significantly when resources are not balanced. o Environmental programming at the statewide or program level was vital to the success of OTIA.  ODOT obtained blanket conditional approval for several environmental processes once the initial process was approved. o Staff could benefit from consultant foresight: “We need to be thinking that the southbound bridge will get negotiated while the north bound bridge is being built.” Project and Contract Management and Delivery   Project Delivery skills can take several projects and many years to develop if not transferred from consultants to staff. o Staff noted that “Contract Management is a skill, but is treated as an activity,” meaning that successful contract management requires more than simply following a process. It requires artful negotiation, diplomacy, clarity in communication, and creative means of finding solutions. o Staff must learn innovative delivery practices, whether knowing when to select Design‐ Build (D‐B) or cost estimating and understanding of Fair Pricing in CM/GC (as opposed to Low Bid). Negotiation and Communication Skills   Collaboration, Communication and Public Relations offered several examples: o Communication with the trucking industry and working to increase participation of small firms are atypical but helpful staff skills. o Public involvement on individual projects is done well by region staff, but less consistently by central staff on large statewide projects.  Specialty (e.g. right‐of‐way) and utility work (e.g. negotiation with utility companies or railroads) Specialized Analysis   Risk analysis (e.g. performance bonding) and analysis of traffic impacts to a project were examples of essential knowledge transferred to staff. Prior to OBDP’s leadership of OTIA, staff

Developing the Guide to Retaining Essential Consultant‐Developed Knowledge    Within DOTs  28  needed 4‐5 hours to analyze a single construction traffic scenario. With OBDP’s tool, it took  only minutes.  Topic 2: Risks of Not Transferring Knowledge  Financial risks and risks with significant potential cost implications were of greatest concern to ODOT.   Loss of Efficiency and Consistency   Costs would have varied in the design processes if ODOT did not have consultants overseeing consultants to ensure consistency. Maintaining Control of Project Scope, Schedule and Budget   Suddenly escalating costs on steel and fuel were better managed by consultants.  Risk of lost program management opportunities included the loss of understanding of impacts of multiple projects across multiple districts. Worse still, there is a risk of not understanding the level of staff effort and staff requirement of innovative project delivery. Design‐Build and CM/GC are very labor intensive.  Relationships such as those with small businesses and locals could deteriorate if staff do not maintain collaboration developed by the consultants. Loss of Advantage in Contract Negotiation   Several risks were associated with the WRB delivery by CM/GC: o Risk of not having necessary specificity of contract language; o Risk of not having competitively bid prices; and o Risk that we would spend too much effort negotiating scope, schedule, and budget on individual work orders if both staff and consultant did not have enough knowledge of the program. Reduction of Legal and Compliance‐Related Risk   Consultants help reduce audit risk with improved documentation of processes, decisions, and project details.  Involvement of attorneys could be avoided if at negotiation staff understood the importance of clarity in the contract. Topic 3: Knowledge Transfer Techniques  Documentation and Electronic Record Keeping   A two‐page document of risk management framework has helped transfer knowledge of risk management outside of OTIA.  Technology developed by consultants and transferred to staff include:

Developing the Guide to Retaining Essential Consultant‐Developed Knowledge    Within DOTs  29  o An electronic document management system came out of OTIA, with a transition from boxes of paperwork to folks requesting electronic use of FileNet. o Started using tablets in the field that staff wholly rejected at first. Now used widely. o Department of Administrative Services used OTIA’s technology system to do American Recovery and Reinvestment Act (ARRA) reporting. o ProjectWise is now being developed for use throughout ODOT. Process Standardization   Consultants helped develop an environmental permitting recipe that worked for all projects.  Formal process for managing change orders was developed by consultants. Blended Project Teams/Mentoring   Initially everyone from OTIA was located in the same building. This helped build relationships and was instrumental in spurring innovation.  Co‐located office of Design Consultant, Contractor, and ODOT was a key advantage for WRB.  ODOT staff meets regularly even if an innovative project is not eminent. Younger staff are brought to these meetings to gain exposure to project practices. Training   Context Sensitive and Sustainable Solutions training was delivered by OBDP consultants and staff.  Multnomah County received a daylong presentation on CM/GC from ODOT, ADOT, and UDOT CM/GC experts plus contractors and consultants. Other   ODOT hired consultants from OBDP (consultants became ODOT employees). Ideas for Potential Future Application   Project Management through On‐the‐Job Training: The State Radio project (legislature moved two‐way communications throughout state government to the DOT) captured project management requirements from OTIA.  OBDP and ODOT needed a model for formally handing off program and project management.  Improving processes to enable hiring of positions in advance of the project would allow staff project managers to learn from consultants on prior phases to better understand the project.  Staff recommended, when allowed by procurement rules, collaborating with consultants even before the proposal when consultants may be more incented to share knowledge in hopes of winning the project.

Developing the Guide to Retaining Essential Consultant‐Developed Knowledge    Within DOTs  30  Topic 4: Barriers and Constraints to Knowledge Transfer  Time Limitations   HR processes make it difficult to find time for folks who need to get trained to actually get trained. Lack of Receptivity   Some staff resent that work is being consulted out.  Some staff resist changing the way they do business. Trust   On OTIA, it took time for working relationships, comfort‐level and trust to be established between ODOT staff and consultants. Technology   Information Technology such as firewalls was cited as a barrier to information sharing between ODOT and its consultants. Summary Observations  As in Virginia and Colorado, Oregon staff noted the importance of utilizing consultant expertise in “soft  skills” such as public relations, process documentation, and contract negotiation. For example, having  the OTIA consultant initially lead the process of applying for regional and national awards helped  attract significant recognition for the OTIA program and the DOT. Transferring such skills was rarely  practiced as a deliberate action, with just more than 20 ODOT staff overseeing more than OTIA 600  consultants. But ODOT staff have now become mindful of the importance in seeking department  recognition when available.   Technology was noted by ODOT representatives as one area where staff did benefit from consultant  initiation and transfer. Several systems and the expertise in those systems transitioned successfully  from the OTIA program to other parts of ODOT. Such systems included document management,  project management, and ARRA reporting. Staff noted human resource laws or rules as occasional  barriers, preventing staff from returning as consultants or complicating the process of bringing in new  staff to observe practices of outgoing staff and consultants on specific projects.   3.3 Revisions to Framework  The preliminary framework provided a useful structure for guiding the focus groups. The key questions  about what is important to capture, what are the risks if this isn’t captured, how it can be captured and  learned, and what are the barriers to this are fundamental to this research and information gained  from the focus groups was valuable for shaping the final guidance.  However, the framework was  

Developing the Guide to Retaining Essential Consultant‐Developed Knowledge    Within DOTs  31  difficult for some participants to understand.  For example in Colorado, one focus group was presented  with the framework at the outset of the two‐hour discussion and struggled to provide insight or  suggestions.  On the other hand, the second group was presented with the framework at the  conclusion of the discussion and was able to tie personal experiences and discussion highlights back to  the framework.  In general, focus group participants with significant job responsibilities that included  professional development (e.g. trainers, human resources staff) better understood the framework and  focus of this research than did participants charged primarily with delivering DOT projects.   Additional findings from the focus groups to be considered for guidance development were:   Connect to a broader perspective. The need for knowledge transfer from consultants was viewed as part of a larger need to address succession planning, professional development and knowledge transfer in general – including from staff‐to‐staff, consultant to staff, and consultant‐to‐consultant (transferring knowledge from one consultant to another who is taking on similar responsibilities).  Each of the needs and strategies included in Table 1 can be viewed in this broader context.  While the guide will focus on knowledge transfer from consultants, it should communicate that the techniques presented can and should be part of an agency’s larger staff development and knowledge management strategies.  Distinguish information and knowledge.  As anticipated, focus group participants were not familiar with the distinction between information and knowledge.  The guidance should provide a clear definition of terminology and emphasize techniques for learning and building knowledge (which may involve creation, storage and provision of access to documentation.)  Recognize different audiences.  The guidance should be directed at both DOT professional development staff as well as those with direct involvement in project development and delivery.  Provide concise and practical guidance.  When focus group participants were asked about what they would like to see in the guidance, they emphasized brevity and ease of use.  Some mentioned that sample lessons learned templates or checklists would be helpful. In order to ensure that the guidance would be relatable for both engineering and training/HR  audiences, a new framework organization was developed.  This framework, shown in Table 1 is a  matrix in which the rows are the “why” and the columns are the “how”.   Rows describe three different  “needs” for consultant knowledge capture and learning:   Remembering what was done and why – this covers retaining essential project and site‐ specific knowledge to inform future work.  From the focus groups, we heard that while there are typically copious requirements for project documentation, it is not necessarily easy to mine this documentation for essential facts about the project.  Improving future practice based on experience – this addresses the importance of learning from past mistakes, and identifying particularly effective techniques.  Developing seasoned program managers and project engineers – this addresses one of the major concerns that were raised during the focus groups – that the “softer” management skills were most important to build.   While one participant noted that “the only way to build experience is through experience”, deliberate strategies can be pursued to accelerate and shape the process of providing less experienced engineers with opportunities to learn from consultants.

Developing the Guide to Retaining Essential Consultant‐Developed Knowledge    Within DOTs  32  Each need can be addressed through one or more of the three major types of knowledge capture and  learning strategies shown in the columns:   Mentoring and Interaction – one on one mentoring relationships between consultants and DOT staff, as well as group learning opportunities involving both consultants and staff  Lessons Learned ‐ Capture of key project lessons as well as activities to ensure that these lessons are learned so that they can be applied to future work – e.g. “before‐action reviews”  Documentation and Handoff Processes ‐ formalized documentation and handoff processes that ensure that essential information is highlighted and accessible to those who might need it. The framework recognizes that more than one strategy may be required to meet a given need.  For  example, mentoring and interaction would be the primary types of strategies to consider for  developing seasoned engineers, though participation in efforts to identify and apply lessons learned  would certainly play a supporting role in building their base of experience and knowledge.  Table 1. Presentation Framework for Consultant Knowledge Capture and Learning  Purpose/Need  Strategies Mentoring &   Interaction   Lessons Learned Documentation &  Handoff Processes  Remembering what was done  and why  Retaining site‐ and project‐specific  knowledge to inform future  maintenance, operations, design,  construction and customer liaison  related to that project/location  Improving future practice based  on experience   Avoiding repeat mistakes,  identifying and replicating  effective engineering, design and  construction practices.   Developing seasoned program  managers and project engineers  Building program and project  management experience including  negotiation, contractor oversight,  stakeholder liaison, issue  identification and resolution,  schedule/scope/budget control.