Development and Management of Sustainable Enterprise Information Portals (2018)

Below is the uncorrected machine-read text of this chapter, intended to provide our own search engines and external engines with highly rich, chapter-representative searchable text of each book. Because it is UNCORRECTED material, please consider the following text as a useful but insufficient proxy for the authoritative book pages.

85      3 Task 3 – Develop Best Practices in EIP Design and Management This chapter describes the work performed in Task 3 of NCHRP Project 20‐103, “Guidance for Development and  Management of Sustainable Information Portals.”  The purpose of Task 3 was to develop best practices in EIP  design and management.  The intent of Task 3 was to first identify current EIP technologies and practices and  then assess their adequacy against the requirements of a sustainable DOT EIP.  The technologies and practices  recommendations were developed based on a benchmarking approach.  The objectives of Task 3 are as follows:      Develop benchmark criteria   Collect EIP technology practices   Score and rate each identified EIP practice   Summarize and review EIP practice scores   Recommend EIP best practices  During April of 2016, the research team distributed an online survey to a wide audience of technology experts.   Once the survey was complete, the results were consolidated, analyzed, and organized into this single  document.  This document presents an overview of the survey development, distribution, analysis, and resulting  recommendations.   Enterprise portals are evolving; portal customer needs and desires are continually changing, and the number of  applications portals support and the amount of data they handle are growing exponentially.  In addition, IT  companies are delivering less‐expensive and improved technologies at an increasing pace. Consequently,  applications deployed as part of a portal are becoming obsolete quickly, and adapting the portal to the new  requests and technologies is often costly and time consuming, making it very difficult to keep pace.   While demands on EIPs are increasing, the budget for the development and management of EIPs is often not  following suit, leaving IT managers with the challenges of increasing storage capacity, increasing user capacity,  maintaining more portal applications, and/or implementing new unforeseen applications at a low cost and in a  very short timeframe.   To remedy these challenges, new IT applications and services have been developed leveraging service‐oriented  architecture (SOA) models and system‐of‐systems approaches.  EIP frameworks have followed this trend and  started incorporating technologies such as hardware as a service (i.e., cloud computing) and component‐based  software to allow portals to be more flexible and scalable, while maintaining a low cost.  To circumvent large expenses while still being able to respond to higher demands, IT companies have also  started relying on a shared hardware approach through cloud computing.  Companies migrate their applications  to external server farms with pay‐as‐you‐go services where they can scale them up and down in real time  without ever having to invest in new hardware.   Cloud computing services have now become the de facto solution for hosting sustainable web applications, even  in a secured environment.  These services offer more than just hardware by providing features (e.g., automated  scaling, automated recovery, backup, and performance tracking) that greatly facilitate the development and  management of web applications.  Lately, cloud computing providers have developed entirely new web  frameworks by leveraging older virtualization technologies, such as software containers, and by developing  radically new server‐less frameworks.  These frameworks radically change the way web applications are being  developed and maintained.  These frameworks are sustainable by design and focus on smaller and ephemeral  on‐demand web applications that can be modified rapidly and scale within milliseconds.  The frameworks are 

86      designed and built to develop sustainable web applications without ever having to deal with hardware  redundancies, software failover, and load balancing.   The goal of Task 3 is to first identify these new EIP technologies and practices and then assess their potential at  fulfilling DOT EIP functional requirements.  During Task 2, the research team developed a list of DOT EIP  functional requirements and a high‐level framework for sustainable DOT EIPs, as shown in Figure 38, where  sustainable EIP technologies and practices could be implemented to fulfill the requirements of sustainable DOT  EIPs.  In Task 3, the team first established a list of criteria defining the sustainability of DOT EIP (non‐functional  requirements) and then developed a questionnaire based on DOT EIP functionalities to collect sustainable EIP  technologies.  The research team submitted the questionnaire to members of several computing IT industry  groups to collect possible sustainable DOT EIP technologies and practices.  The team then evaluated each  technology and/or practice suggestion against the list of non‐functional requirements to determine which of the  suggested EIP technologies best fit DOT EIPs.  Once the suggestions were evaluated, the research team reviewed  the scores of the suggested EIP technologies and practices as well as the notes and comments collected and  developed a list of recommended EIP technologies and practices to be considered for sustainable DOT EIPs.  3.1 Task 3.1 Develop Benchmark Criteria In Task 3.1, the research team developed a list of EIP technology evaluation criteria, characterizing the non‐ functional requirements of a sustainable DOT EIP.  The research team used Boehm’s general utility tree, shown  in Figure 39, as a guide to the development of the criteria.  The research team reviewed the business cases and  functional requirements developed in Task 2 as well as the content of the interview results and then derived a  list of EIP evaluation criteria relevant to sustainable DOT EIPs. 

  T c g b t 3 F f R p A d M r s hese criteria haracterize t roups: (1) a l usiness crite he research t .1.1 Techn unctionality unction ident eliability. Th erform its in vailability. T esignated fu aintainabili estored to its ystem, using  are intended he capabilitie ist of technic ria referring t eam identifie ical Criteria . The function ified in Task  e reliability c tended or req he availabilit nction, when ty. The maint  normal, ope the prescribe Figu  to represen s required by al criteria ref o matters su d and their a   ality criterio 2.  riterion in th uired functio y criterion in ever required ainability cri rable state w d practices a re 39. Boehm t the non‐fun  a sustainab erring to asp ch as cost or  ssociated de n in this rese is research re n, on deman  this research .  terion in this  ithin a given nd procedur 's general uti ctional requi le DOT EIP.  T ects such as p corporate cu finitions.  arch refers to fers to the a d, and witho  refers to the research refe  timeframe fo es.     lity diagram. rements of a he evaluatio erformance lture.  Below  the ability o bility of an EI ut degradati  ability of an rs to the abi llowing the f    sustainable  n criteria are and mainten  is a list of th f an EIP tech P technology on or failure.  EIP technolo lity of an EIP  ailure of equ DOT EIP and   divided into  ance and (2)  e evaluation  nology to per  to consisten    gy to perform technology t ipment, mac 87    two  a list of  criteria  form the  tly   its  o be  hine, or 

88      Security. The security criterion refers to the ability of an EIP technology to resist unauthorized attempts at usage  or behavior modification, while still providing services to its users.  Interoperability. The interoperability criterion in this research refers to the ability of an EIP technology to  collaborate with another system.  Usability. The usability criterion in this research refers to how effectively end users can use, learn, or control the  various components of an EIP technology.   Supportability. The supportability criterion in this research refers to the degree to which an EIP technology’s  design characteristics and planned logistics resources are capable of supporting operations and readiness needs  throughout the life cycle of a system at an affordable cost.  Scalability. The scalability criterion in this research refers to the ability of an EIP technology to successfully meet  increasing demands caused by higher usage and its ability to ensure that the various components of the portal  remain intact even when submitted to more stress than it was designed to handle.   Modifiability. The modifiability criterion in this research refers to the ability of an EIP technology to allow and  accept significant extension or changes to its capabilities without major rewriting of code or changes in its basic  architecture.   Portability. The portability criterion in this research refers to the ability of an EIP technology to run on numerous  platforms.  This is can include actual application hosting, viewing, and/or data portability.  Reusability. The reusability criterion in this research refers to the ability of an EIP technology to allow newer  components or applications to reuse existing EIP components or applications.  Integrability. The integrability criterion in this research refers to the ability of an EIP technology to make the  separately developed components work together.  Testability. The testability criterion in this research refers to the ability of EIP technology applications or  components to be easily tested and their ability to demonstrate their faults without affecting other applications  or components.  3.1.2 Business Criteria  Affordability. The affordability criterion in this research refers to the overall cost of a DOT EIP technology  including acquisition, implementation, and maintenance.  Marketability. The marketability criterion in this research refers to the extent to which the DOT EIP technology  is being used in a similar context in other organizations.   Appropriateness to the Organization. The appropriateness to the organization criterion in this research refers  to the ability of the organization regulations, expertise, and culture to align with the DOT EIP technology.  Note that the criteria listed above may not be appropriate for evaluating every possible EIP technology or  practice. Depending on the nature of the EIP technology/practice, some criteria may or may not be applicable.   For example, external audit practices may not be assessed using these criteria the way a cloud hosting EIP  technology would be assessed.  The research team ignored irrelevant criteria when assessing an EIP  technology/practice. 

  3 3 U o k a d 3 A e S G c D p M s C s 3 W D M d D d 3 C C C s 3 G a .2 Task 3 .2.1 Surve sing the DOT rganized into ept simple a udience. Bel efinitions.  Serv.2.1.1 PI Gateway. xposed to ot earching. Th IS Data Proc apable of pro ata Stream P rocess data s essaging. Th ervices.  ontent Deliv ervices.  User .2.1.2 eb Applicat OT EIP web  obile Applic eliver DOT E esktop Appl eliver EIP de Stor.2.1.3 ontent Arch ontent Cach ontent Tagg ervices.  Data.2.1.4 IS Database nd search GI .2 Collect y Question  EIP function  topic areas  nd open‐ende ow is the com ices   The API Gate her internal o e Searching t essing and R cessing GIS i rocessing. T treams from e Messaging ery. The Con Interface  ions. The We applications.  ations. The M IP mobile app ications. The sktop applica age  iving. The Co ing. The Cont ing. The Cont base   Services. The S data.  EIP Pract naire  al requireme to collect the d intentiona plete list of  way topic in r external ap opic includes endering. Th nformation a he Data Strea  sources such  topic includ tent Delivery b Application obile Applic lications.   Desktop App tions.  ntent Archivi ent Caching  ent Tagging t  GIS Databas ices nts develope  candidate su lly in order to topic areas th cludes the co plications.   EIP technolo e GIS Data Pr nd rendering m Processin  as traffic se es EIP techno  topic include s topic inclu ations topic  lications top ng topic inclu topic include opic include e Services to d in Task 2, t stainable EIP  avoid impo at the resea ntrol service gies that can ocessing and  GIS imagery g topic includ nsors.  logies that p s EIP techno des EIP techn includes EIP t ic includes EI des EIP tech s EIP technol s EIP technolo pic includes t   he research t  technologie sing specific t rch team crea s that allow b  be used to s  Rendering t .  es EIP techn rovide DOT E logies that p ologies that  echnologies  P technologi nologies that ogies that pr gies that pro he EIP techn eam develop s and practic echnologies  ted and thei ack‐end EIP  earch DOT E opic includes ologies that a IP message q rovide DOT E can be used t that can be u es that can b  provide arch ovide conten vide metada ologies that  ed a survey  es.  The surv or practices o r associated  resources to  IP content.   EIP technolo cquire, mana ueuing deliv IP content de o build and d sed to build  e used to bui iving service t caching ser ta managem can be used t 89  ey was  n the  be  gies  ge, and  ery  livery  eliver  and  ld and  s.  vices.  ent  o store 

  D u I i C F c S b 3 R t R p C c 3 I c   S s   N t p e 3 T ocument Da sed to store  mage, Video, ncludes the E AD drawings inancial Data an be used to ensor Data D e used to sto Man.2.1.5 esources an echnologies t esources Pro rovide resou ontent Audi ontent and c Secu.2.1.6 dentity and A an provide D ecurity Audi ecurity audit ote that for  he responde resents the s xamples of s .2.2 Surve he research   P  In se  In A  In  In of M tabase Servi and search d  and Binary  IP technolog .   Database S  store and se atabase Serv re and searc agement Too d Application hat can be u visioning an rces provisio ting. The Con an also ident rity and Iden ccess Manag OT EIP identi t. The Securit  services to D each of the t nt thought th urvey questi urvey respon y Audience team used th ractices ment put from AEM rvices, big da put from the EM—NOVA‐M put from me put from add  State Techn anagement ( ces. The Doc ocument dat Files Databas ies that can b ervices. The  arch financia ices. The Se h sensor data ls   Monitoring sed to monit d Scaling. Th ning and scal tent Auditing ify and locate tity  ement. The  ty and access y Audit topic OT EIPs.  opic areas, th e DOT EIP sh ons in full.  A ses.      e following s ioned by the  experts wh ta, requirem  members of EAN, DC Are mbers of uni itional trans ology Directo AIIM).  ument Datab a such as PDF e Services. T e used to sto Financial Data l data such a nsor Data Da  (e.g., road s . The Resourc or DOT EIP op e Resources  ing.   topic includ  mismanage Identity and   managemen  includes EIP  e survey que ould be built ppendix C pr ources to col  DOT represe o are special ents analysis  three IT com a JBoss User versity IT dep portation and rs (NASTD), D ase Services  s or Word do he Image, Vid re and searc  Database Se s payroll, acq tabase Servic ensor data). es and Appli erations, ava Provisioning  es EIP techno d content or  Access Mana t services.  technologies stions were f (i.e., cloud, o esents screen lect a list of E ntatives duri ized and exp , system eng munities tha s, and ACM W artments.   IT‐related o C Web Wom   topic include cuments.  eo, and Bina h images, vid rvices topic  uisition, and es topic inclu cation Monit ilability, and and Scaling to logies that c inappropriat gement topic  and method ramed based n premise/v shots of the  IP best pract ng each inte erienced in e ineering, and t were create ashington, rganizations, en, and Asso s the EIP tech ry Files Data eo, and bina includes the   contract dat des the EIP t oring topic in  log resource pic includes an audit and  e content pri  includes EIP s that can be  on what typ irtual, or mix web survey.  ices candidat rview.  nterprise sys  GIS.  d and are cu D.C.   including the ciation for In nologies tha base Services ry content su EIP technolog a.  echnologies  cludes EIP  s activities.  EIP technolo inventory DO vileges.   technologie  used to prov e of infrastru ed).  Append  Appendix D es:  tem design, c rrently mana  National As formation a 90  t can be   topic  ch as  ies that  that can  gies that  T EIP  s that  ide  cture  ix B  presents  loud  ged by  sociation  nd Image 

91      The NOVA‐MEAN community was created in 2013 and currently has 772 members who share an interest in the  development of better enterprise solutions using recent JavaScript frameworks, such as the MEAN stack.  The  membership of NOVA‐MEAN is composed of industry practitioners and open‐source evangelists.  NOVA‐MEAN  meets every month at AEM headquarters in Herndon, Virginia.  The DC Area JBoss Users community was created in 2011 and has 645 members who share an interest in the  development of enterprise solutions using the RedHat JBOSS Enterprise Application Platform.  The group’s  membership is composed of industry practitioners, open‐source evangelists, and Java developers.  The DC Area  JBoss Users Group meets every month at the AEM headquarters in Herndon, Virginia.   The ACM Washington, D.C., community was founded in 2012 and has 715 members who share an interest in  various computer science topics such as predictive analytics, applied machine learning, statistical modeling,  open data, data visualization, user experience, user research, and artificial neural networks.  The ACM  Washington, D.C., membership is composed of industry practitioners and academics.  The ACM community  meets in Washington, D.C., to discuss tools, new technologies, and best practices.  NASTD is a member‐driven organization whose purpose is to advance and promote the effective use of IT and  services to improve the operation of state government.  The organization was founded in 1978.  NASTD  represents information technology professionals from the 50 states divided into four regions and the private  sector.   DC Web Women was founded in 1995 to provide a community in which women in technology fields could  develop, nurture, and promote their leadership, technical, and professional skills.  DC Web Women currently has  more than 3,000 members located in the Washington, D.C., metro area.  The membership consists of  professional technologists, students, and enthusiasts who specialize in the fields of blogging, copywriting,  computer science, editing and proofreading, e‐marketing, graphic design, IT, marketing/communications,  multimedia, search engine marketing and optimization, social media, web analytics, web content, web design,  web development, and web editing.  AIIM is a global community for information professionals that was formed in 1943.  AIIM provides education,  market research, certification, and standards for information professionals.  AIIM’s mission  is to help its  members learn the skills to manage their information with vendor‐neutral research, step‐by‐step project  guidance, and a community of experienced professionals.   3.2.3 Survey Distribution  The research team developed an online survey from the aforementioned survey topics to gather input from IT  communities on what they consider to be sustainable EIP best practices.  The research team kept the survey  fairly short (i.e., approximately 10 minutes) in an attempt to increase the number of participants.  In order to  accomplish this, each respondent chose to answer questions related to the single topic area that best matched  his/her expertise. Participants could choose to answer additional questions if they were willing.  This online  survey was distributed on April 1, 2016, originally allowing 2 weeks for responses (i.e., closed April 15, 2016).  Appendix C shows screenshots of the online survey.  3.2.4 Survey Responses  The response rate to the survey was lower than expected, considering the large audience with which it was  shared.  The research team brainstormed ways to gain more responses and extended the survey timeframe and  shared it with additional audiences, including leading IT departments at universities and additional IT‐related 

  o r c k a p b r     I p o 3 T c T i a d 3. 3. T E rganizations equesting pa hallenge was nowledgeab ppeared to b rovide usefu rainstormed esponses the n Table 20, it remise) as th nly selected  .2.5 Surve he survey us onsequence,  Cited  Used  Provi deve  Resp he research  nto more gen s the potent escriptions d EIP T2.5.1 2.5.1.1 Ho hree choices IP:  (1) 100%  100% , as listed abo rticipation in  that respond le in the chal e trivial to th l feedback.  T  and put sign  team was ab Servi User  Stora Data Mana Secur Total  is interesting e infrastruct 3 times out o y Results  ed a free text  responses va  software na  generic term ded complet lop custom a onded by pro team collecte eric technolo ial technolog erived from  echnologies  sting   were presen  cloud based,  Cloud    ve.  The rese  the survey, i ers knowled lenges, restri e surveyed p he research  ificant effort  le to collect. T Topics  ces  Interface  ge  base  gement Too ity     to note that ure of choice f 33 provided  response fo ried widely i mes (e.g., AW s (e.g., cloud e sentences e pplication us hibiting tech d and analyz gy or practic ies/practices  the answers g and Methods  ted to the su  (2) 100% on 59%  arch team al ncluding in‐p geable in sus ctions and re arties, and it team reached into trying to   able 20. Com ls   survey respo  for hosting s  answers.  rmat, which  n their forma S S3)    storage)  xplaining the ing server‐les nologies or s ed each and  e description to be evaluat iven in each Suggested  rvey respond ‐premise, or  so reached o erson reques tainable IT te quirements o  was difficult  out to as m  collect feed pleted surve Cloud  5  7  0  3  2  1  18  ndents main ustainable D provided the  ts and conte  technologic s cloud archi oftware (e.g. every one of  s.  The three ed.  Below is  of the survey ents as a pos (3) mixed. Be   ut to the IT c ts at one of t chnologies a f state IT sys  to reach the any relevant  back.  Table 2 y results.  Focuses On Premise 0  1  0  1  1  0  3  ly selected c OT EIPs.  On‐ maximum am nt.  Some res al approach t tecture such  , anything bu the response  most comm  a list of the t  topic areas. sible hosting low are the s ommunities  he communi nd practices  tems.  Many   audiences th communities 0 shows the Mixed  4  4  1  0  1  2  12  loud or mixed premise host ount of resp pondents  hey would re as AWS lamb t ESRI)    s provided a on descriptio op three tec    solution for  urvey results multiple time ty meetings.  were often n of the questi at would be  as were   number of s  (i.e., cloud a ing infrastruc onse flexibil commend (e da)  nd classified  ns were then hnology/prac a sustainable :  92  s   The  ot  ons  able to  urvey  nd on  ture was  ity.  As a  .g.,  them   selected  tice   DOT 

93       100% On‐Premise  9%   Mixed      36%  3.2.5.1.2 Deployment and Maintenance  Application Deployment and Server Configuration  1. Open source configuration management tool (e.g., Chef, Puppet, Ansible + Capistrano)  2. Cloud‐based configuration management service (e.g., Amazon Web Services [AWS] Code Deploy)  3. Open source configuration management tool (e.g., Ansible and container architecture such as Docker)  Continuous Integration  1. Open source continuous integration tool (e.g., Jenkins, Hudson, and Travis)   2. Hosted continuous integration service (e.g., Codeship)  3. Proprietary continuous integration tool (e.g., Visual Studio Team Services)   3.2.5.1.3 Services  API Gateway  1. Cloud API framework such as the AWS API Gateway or the Google Cloud   2. Custom REST service API  3. Custom Java web services API  Searching  1. Standalone enterprise search platform such as Solr or Lucene  2. Cloud enterprise search platform such as Solrcloud, Elasticsearch, or found.io  3. NoSQL document database such as MongoDB, Cassandra, or CouchDB  GIS Data Processing and Rendering  1. Commercial standalone GIS server such as ESRI  2. Open source scale out GIS server using cloud storage such as OpenGeo + Apache Hadoop or distributed  PostGIS on cloud  3. Commercial scale out GIS server using cloud storage such as ESRI + Apache Hadoop  Note that one survey responder strongly suggested not using traditional GIS solutions, such as ESRI, in the  context of sustainable and scalable web applications.  Data Stream Processing  1. Cloud stream processing framework such as AWS Kinesis or AWS Firehose  2. Open source stream processing framework such as Apache Storm or Apache Spark  3. Commercial Hadoop streaming processing solution such as Cloudera Spark  Messaging  1. Open source enterprise service bus (ESB) queuing solutions such as Apache ServiceMix  2. Commercial ESB queuing solutions such as Active MQ or Message Queues provided by vendors like  Weblogic or IBM (Websphere)  3. Cloud‐based messaging framework such as AWS Simple Queue Service and AWS Simple Notification  Service   Content Delivery  1. Cloud provider content delivery solution such as AWS S3, AWS CloudFront, or Google cloud storage 

94      2. Commercial distributed content delivery solution such as Cloudflare  3. Plain cloud storage such as AWS S3  3.2.5.1.4 User Interface  Web Applications—Application Design  1. Commercial web service solution in combination with advanced client‐side framework such as ASP.NET  or JSP + AngularJS  2. Open source web framework solution in combination with advanced client‐side framework such as the  MEAN stack or Node.js + AngularJS + HTML5   3. Cloud‐based web framework solutions in combination with advanced client‐side framework such as  Heroku + AngularJS or WordPress + AngularJS  Web Applications—Application Monitoring  1. Distributed open source log analytics solutions such as Elasticsearch, Logstash, and Kibana (ELK)  2. Cloud monitoring services such as AWS CloudTrail or Azure log analytics  3. Distributed commercial monitoring and log analytics solutions such as AppDynamics or Splunk  Mobile Applications—Application Design  1. Mobile web development framework such as Ionic, PhoneGap, or Appcelerator  2. Cloud provider mobile application development services such as AWS Mobile Hub and Azure Mobile  Apps  3. Custom mobile web development using various languages such as PHP, ASP.NET framework, Node.js,  Ruby, and HTML5  Mobile Applications—Application Monitoring  1. Commercial or open source NoSQL stack such as the MEAN stack (MongoDB, E , Angular, and Node.js)  2. Cloud service mobile platform such as AWS Mobile Hub and AWS Mobile Analytics, Azure similar and  authentication services such as AWS Cognito  3. Custom mobile deployment solution using log analysis solution such as ELK  Note that no respondents suggested the development of native mobile applications.  Desktop Applications  1. CMS‐based web application developed on CMS such as Drupal  2. Web‐based desktop application framework such as Electron  3. Custom console or GUI web application using HTML5, NoSQL stack such as MEAN stack  Note that respondents suggested that no desktop applications should be developed using native OS libraries to  connect to the DOT EIP.  All EIP applications should be web based so that they can be deployed and maintained  more easily and rapidly.  3.2.5.1.5 Storage  Content Archiving  1. Mix of an on‐premise NAS solution such EMC and a cloud archive such as AWS Glacier  2. Open source storage solution such as GlusterFS in combination with cloud or on‐premise commodity  hardware  3. Commercial on‐premise storage solution such as EMC or Ceph  

95      Content Caching  1. Commercial caching and load balancing solution on premise or cloud such as Hazelcast or Couchbase  2. Cloud caching and load balancing solution   3. Open source caching and load balancing solution on premise or cloud such as Redis or Memcached  Content Tagging  1. Commercial metadata repository such as the ones offered by Informatica, IBM, or Oracle  2. Custom user‐generated metadata repository (folksonomy)  3. Semantic web solution (ontology mapping) such as Anzo or Poolparty  3.2.5.1.6 Database  GIS Database Services  1. Cloud or on‐premise open source GIS database such as PostGIS  2. Cloud or on‐premise commercial GIS database such as Oracle Spatial  3. Cloud or on‐premise NoSQL geo‐enabled database such as MongoDB, Cassandra, CouchDB, or Google  BigTable  Note that one respondent expressed the need to avoid traditional GIS solutions, such as ESRI, when designing  sustainable web portals.   Document Database Services  1. Cloud search service on cloud storage such as Google search API and Google Cloud Datastore  2. Open source distributed document analysis engine such as AWS Elasticsearch or found.io   3. Commercial document management solution such as Sharepoint or Oracle Webcenter  Image, Video, and Binary Files Database Services  1. Basic cloud storage solution such as AWS Simple Storage Service (S3) or Google Cloud Storage  2. On‐premise or cloud custom storage solution or Hadoop‐based storage solution  3. Commercial or open source NoSQL datastore in cloud or on premise such as MongoDB or Couchbase  Financial Data Database Services  1. Commercial on‐premise enterprise solution such as Oracle and SAP  2. Commercial cloud enterprise solutions such as Odoo or Workday  3. On‐premise or cloud custom enterprise solution using a relational database management system  (RDBMS) backend  Sensor Data Database Services   1. On‐premise or cloud open source streaming framework such as Apache Storm  2. Cloud streaming framework such as AWS Kinesis and AWS IOT  3. On‐premise or cloud open source or commercial OLTP setup such as Oracle  Note that one respondent stated that Hadoop‐based solutions only worked in very specific cases and that a  relational database solution was superior most of the time.  3.2.5.1.7 Management Tools  Resources and Application Monitoring  1. On‐premise or cloud open source monitoring solution such as ELK stack  2. Cloud‐monitoring services such as AWS CloudWatch or the Google cloud monitoring API 

96      3. Commercial solution such as Riverbed or Splunk  Note that some cloud‐monitoring services, such as the Google cloud monitoring API, are at the beta stage and  still being developed.  Resources Provisioning and Scaling  1. On‐premise or cloud commercial resource management solution such as OpenShift  2. Server‐less architecture only, pay‐as‐you‐go functions, avoid developing server‐based web solutions  requiring server management, and circumvent the need to manage resources by leveraging a scalable  server‐less architecture such as AWS Lambda or Azure Functions  3. Cloud and/or on‐premise container solution using resource management solution such as   Note that some cloud server‐less architecture, such as the AWS Lambda, is still rather new and can be limited in  its ability to support long processes or large amounts of data.  Content Auditing  1. Cloud‐based commercial or open source content auditing and inventory solution such as configuration  rules such as AWS AIM or Google Cloud AIM  2. On‐premise commercial or open source search engine optimization suite such as CA or NetIQ  3. Custom reports using search engine solution such as Elasticsearch  3.2.5.1.8 Security and Identity  Identity and Access Management  1. Cloud AIM solution such as AWS AIM or Google Cloud AIM  2. Cloud or on‐premise commercial AIM solution such as CA or NetIQ  3. Custom on‐premise AIM solution  Security Audit  1. External third‐party security assessment and penetration testing   2. Open source or commercial security evaluation and monitoring tools for network and software layer  3. Internal assessment and risk modeling  Note that respondents listed these solutions as non‐exclusive and emphasized the need to use them together.  They also noted that while software solutions can be effective, custom work performed by humans (e.g., third  security assessment and penetration testing) is still required.  3.3 Task 3.3. Score Each Identified EIP Practice In Task 3.3, the research team parsed the results of the survey and categorized them at a higher level.  Each of  the technologies/practices identified in the survey results was then scored against the criteria.    3.3.1 Evaluation and Scoring Methodology  The evaluation criteria developed as part of Task 3.1 were scored subjectively using five levels.  With regard to  meeting an evaluation criteria objective or characteristic, EIP technology alternatives were scored as follows:   “fully meet,” “mostly meet,” “somewhat meet,” “barely meet,” or “does not meet.” Table 21 provides the  numerical value of each score. 

97      Table 21. Criteria evaluation scoring.  Does Not Meet  Poor  Value of 0  Barely Meets  Fair  Value of 1  Somewhat Meets  Good  Value of 2  Mostly Meets  Very Good  Value of 3  Fully Meets  Excellent  Value of 4    Each evaluation criterion was assigned a weight denoting its relative importance in the overall scoring (see Table  22).  A score was assigned to each of the criteria for each of the EIP technologies.  The score multiplied by the  weight of a criterion resulted in a weighted score for each criterion.  The weighted scores were then added  together for each EIP technology, resulting in a total weighted score for each of the CMS.     The weighting of each criterion was limited to a two‐level scale: a basic weight of 3.7 and an elevated weight of  7.4 for criteria that are crucial to the establishment of DOT EIP sustainability at cost (i.e., Reliability, Security,  Interoperability, Usability, Scalability, Modifiability, Reusability, Integrability, Affordability, and Appropriateness  to the Organization).     

98      Table 22. Criteria weighting table.  Technical Criteria  Weight  Functionality  3.7 Reliability  7.4 Availability  3.7 Maintainability  3.7 Security  7.4 Interoperability  7.4 Usability  7.4 Supportability  3.7 Scalability  7.4 Modifiability  7.4 Portability  3.7 Reusability  7.4 Integrability  7.4 Testability  3.7 Business Qualities     Affordability  7.4 Marketability  3.7 Appropriateness to the Organization  7.4 Total  100    

99      3.3.2 Deployment and Maintenance  Table 23. Application deployment and server configuration.  Deployment and  maintenance tools  Weight  EIP technology alternatives  Comments  1  2  3  Application  deployment and server  Configuration  Open Source  configuration  management  tool   Cloud based  configuration  management  service   Open Source  configuration  management  tool +  Container  architecture  Technical Criteria           Functionality  3.7  5  4  5  Equivalent across alternatives  Reliability  7.4  4  5  4  Cloud based software have higher reliability  Availability  3.7  4  5  4  Cloud based software provide higher level of availability  Maintainability  3.7  4  5  4  Open Source solution may require more maintenance  Security  7.4  4  4  4  Equivalent across alternatives  Interoperability  7.4  5  5  5  Equivalent across alternatives  Usability  7.4  4  4  5  Containers solutions can be easier to use  Supportability  3.7  4  5  4  Cloud services require less support  Scalability  7.4  4  5  4  Cloud services have better scaling capabilities than on premise  Modifiability  7.4  4  4  4  Equivalent across alternatives  Portability  3.7  4  3  4  Cloud services are not really portable unless containerized  Reusability  7.4  4  4  4  Equivalent across alternatives  Integrability  7.4  4  4  4  Equivalent across alternatives  Testability  3.7  5  5  5  Equivalent across alternatives  Business Qualities           Affordability  7.4  4  5  4  Cloud based solutions are often provided for free  Marketability  3.7  5  4 5 Open Source and container solutions are most common Appropriateness to the  Organization  7.4  5  3  5  DOTs are less likely to use cloud services     

100      Table 24. Continuous integration.  Deployment and  maintenance tools  Weight  EIP technology alternatives  Comments  1  2  3  Continuous integration  Open source  continuous  integration  tool  Hosted  continuous  integration  service  Proprietary  continuous  integration  tool  Technical Criteria           Functionality  3.7  5  5  5  Equivalent across alternatives  Reliability  7.4  4  5  4  Cloud based software have higher reliability  Availability  3.7  4  5  4  Cloud based software provide higher level of availability  Maintainability  3.7  4  5  5  Open Source solution may require more maintenance  Security  7.4  4  4  4  Equivalent across alternatives  Interoperability  7.4  5  5  5  Equivalent across alternatives  Usability  7.4  4  5  5  Open Source solutions can be more difficult to use  Supportability  3.7  4  5  4  Cloud services require less support  Scalability  7.4  4  5  4  Cloud services have better scaling capabilities than on premise  Modifiability  7.4  5  4  4  Open Source solution can be modified more easily  Portability  3.7  4  3  4  Cloud services are not really portable unless containerized  Reusability  7.4  4  4  4  Equivalent across alternatives  Integrability  7.4  4  4  4  Equivalent across alternatives  Testability  3.7  5  5  5  Equivalent across alternatives  Business Qualities           Affordability  7.4  5  4  4  Open source solution is the least expensive  Marketability  3.7  5  4  5  hosted CI solutions are still rather new  Appropriateness to the  Organization  7.4  5  3  5  DOTs are less likely to use cloud services  Total Score  100.0  4.4  4.4  4.4     

101      3.3.3 Services  Table 25. API gateway alternatives scoring.  Services  Weight  EIP technology alternatives  Comments  1  2  3  API gateway  Cloud API framework  Custom REST  service API  Custom web  service Java  API  Technical Criteria     Functionality  3.7  5  4  5  Some functionality may be too costly to implement as a custom solution  Reliability  7.4  5 4 4 Cloud typically offer higher reliability by design Availability  3.7  5 3 3 Non‐cloud solution may reach a maximum availability when scaling Maintainability  3.7  5 4 3 Cloud services are designed to handle failure by design Security  7.4  4  3  4  All around security may be more difficult to implement in a custom solution  Interoperability  7.4  4 4 4 Equivalent across solution Usability  7.4  4 4 3 REST based API are typically easier to use than Java based API Supportability  3.7  4 4 3 Custom solution may be more difficult to support Scalability  7.4  5  4  3  Cloud solution scale by design, custom solution may be limited in their ability to scale  Modifiability  7.4  4  5  5  Cloud solution are under the cloud provider control and therefore less open to modification  Portability  3.7  3 4 4 Cloud solution are often less portable unless containerized Reusability  7.4  5 5 5 Equivalent across alternatives Integrability  7.4  4 4 4 Equivalent across alternatives Testability  3.7  5 5 3 Custom solution may be more difficult to test thoroughly Business Qualities     Affordability  7.4  5  3  3  Cloud services are typically less costly than custom developed and maintained solutions  Marketability  3.7  3  4  5  Custom Java API have been a very common way to provide API gateway services but cloud services are on the rise  Appropriateness to the  Organization  7.4  2  3  5  Cloud solutions are typically not yet accepted within some DOTs  Total Score  100.0  4.2  3.9  3.9     

102      Table 26. Searching alternatives scoring.  Services  Weight  EIP technology alternatives  Comments  1  2  3  Searching  Standalone  enterprise  search  platform  Cloud  enterprise  search  platform  NoSQL  Document  database  Technical Criteria     Functionality  3.7  5  5  3  Enterprise search platforms possess analytical capabilities that  NoSQL Document database often lacks such as text analysis  components  Reliability  7.4  3  5  5  Standalone enterprise search platforms often use master‐slave  architecture which has a higher risk of failure than distributed  cloud architecture  Availability  3.7  4  5  5  Standalone enterprise search platforms often use master‐slave  architecture which has a higher risk of failure than distributed  cloud architecture  Maintainability  3.7  3 5 3 Cloud services are designed to handle failure by design Security  7.4  4 4 4 Security is equivalent across alternatives Interoperability  7.4  4  4  4  Interoperability is similar often revolving around REST API or  various language client  Usability  7.4  5  5  3  Pure NoSQL database may be requiring more intricate  programming when performing search queries  Supportability  3.7  4 5 4 Little support is needed for Cloud services Scalability  7.4  3  5  4  Cloud service are designed to scale by design, traditional master‐ slave setup can become limited  Modifiability  7.4  3  3  3  All solution allows the addition of plugins but no extensive  modifications  Portability  3.7  5  3  5  Cloud solutions are not designed to be portable unless container  based  Reusability  7.4  5 5 5 Equivalent across alternatives Integrability  7.4  5 5 5 Equivalent across alternatives Testability  3.7  5 5 5 Equivalent across alternatives Business Qualities  Affordability  7.4  4 5 4 Cloud search solution are the least expensive Marketability  3.7  4 4 4 Equivalent across alternatives Appropriateness to the  Organization  7.4  5  3  4  Traditional solutions used by DOTs have been revolving around  RDBMS based enterprise search engine not cloud services  Total Score  100.0  4.2  4.5  4.1 

103      Table 27. GIS data processing and rendering alternatives scoring.  Services  Weight  EIP technology alternatives  Comments  1  2  3  GIS processing and rendering  Commercial  standalone  GIS server  Open Source  scale out GIS  server using  cloud storage  Commercial  scale out GIS  server using  cloud storage  Technical Criteria     Functionality  3.7  5  4  5  Cloud or Open Source often offer less complete set of GIS  functions  Reliability  7.4  3 5 5 Cloud services are designed to handle failure by design Availability  3.7  4  5  5  Cloud services can scale up and down to accommodate  demand  Maintainability  3.7  3  5  3  Cloud services are design to avoid downtime and eliminate  the need for repair  Security  7.4  4 4 4 Equivalent across alternatives Interoperability  7.4  3  4  3  Commercial GIDS solution often impose their own standard  and formats reducing interoperability  Usability  7.4  5 4 5 Open Source GIS solutions can be more difficult to use Supportability  3.7  4 3 4 Little support is needed for Cloud services Scalability  7.4  3  5  5  Cloud service are designed to scale by design, traditional GIS  setup (RDBMS or flat files) can be limited  Modifiability  7.4  4  5  4  Commercial GIS solutions are only modifiable through script  or plugin addition  Portability  3.7  3  4  3  Open Source GIS solution are more portable than  Commercial alternatives  Reusability  7.4  4 4 4 Equivalent across alternatives Integrability  7.4  3  4  3  Commercial GIS solutions rely on proprietary formats and can  be difficult to integrate with other products not supported by  vendor  Testability  3.7  5 5 5 Equivalent across alternatives Business Qualities     Affordability  7.4  3 5 3 Open Source GIS cloud solution are the most affordable Marketability  3.7  5 4 5 Market is primarily dominated by commercial GIS solutions Appropriateness to the  Organization  7.4  4  3  4  Commercial GIS solutions are currently most common  solutions found in DOTs  Total Score  100.0  3.8  4.3  4.1 

104      Table 28. Data stream processing alternatives scoring.  Services  Weight  EIP technology alternatives  Comments  1  2  3  Data Stream Processing  Cloud stream  processing  framework  Open Source  stream  processing  framework  Commercial  Hadoop  based data  stream  processing  framework  Technical Criteria     Functionality  3.7  5 5 5 All solutions provide similar functionalities Reliability  7.4  5 5 5 All solutions using a distributed architecture Availability  3.7  5 5 5 All solutions using a distributed architecture Maintainability  3.7  5 4 4 Cloud provided services require less  Security  7.4  5  4  4  Cloud hosted solution are often more secure than custom solutions  Interoperability  7.4  4 4 4 Equivalent across alternatives Usability  7.4  5 4 4 Cloud solutions are often easier to use Supportability  3.7  5 4 3 Cloud solutions are often easier to support Scalability  7.4  5  4  4  Cloud services can scale rather fast whereas custom solution often have limited cluster sizes  Modifiability  7.4  4 5 4 Open Source often allows for Portability  3.7  3  4  3  Commercial and cloud solutions have often limited extension and additions  Reusability  7.4  5 4 5 Custom solutions can sometimes be difficult to reuse Integrability  7.4  4 4 4 Equivalent across alternatives Testability  3.7  5 5 5 Equivalent across alternatives Business Qualities     Affordability  7.4  5  4  3  Cloud provided services are often the least expensive options  Marketability  3.7  4  4  5  Commercial streaming solutions are more common on the market  Appropriateness to the  Organization  7.4  4  4  5  Commercial solutions are more likely to be adopted by DOTs  than Open Source or Cloud services  Total Score  100.0  4.6  4.3  4.2 

105      Table 29. Messaging alternatives scoring.  Services  Weight  EIP technology alternatives  Comments  1  2  3  Messaging  Open Source  Enterprise  Service Bus  Commercial  Enterprise  Service Bus  Cloud based  messaging  framework  Technical Criteria     Functionality  3.7  5 5 5 Solutions functionalities are similar Reliability  7.4  4  4  5  Standalone enterprise search platforms often use master‐slave  architecture which has a higher risk of failure than distributed  cloud architecture  Availability  3.7  4  4  5  Standalone enterprise search platforms often use master‐slave  architecture which has a higher risk of failure than distributed  cloud architecture  Maintainability  3.7  4 4 5 Cloud services are designed to handle failure by design Security  7.4  4 4 4 Equivalent across alternatives Interoperability  7.4  5 5 5 Equivalent across alternatives Usability  7.4  4 4 4 Equivalent across alternatives Supportability  3.7  3 3 4 Little support is needed for Cloud services Scalability  7.4  4  4  5  Cloud service are designed to scale by design, traditional master‐slave setup can become limited  Modifiability  7.4  3  3  3  All solution allows the addition of plugins or scripts but no extensive modifications  Portability  3.7  5  4  3  Cloud services are not really portable unless containerized, Open Source solution are the most portable  Reusability  7.4  4 4 4 Equivalent across alternatives Integrability  7.4  4 4 4 Equivalent across alternatives Testability  3.7  5 5 5 Equivalent across alternatives Business Qualities     Affordability  7.4  4 3 5 Cloud services are the least expensive solutions Marketability  3.7  4  5  3  Commercial solutions are more predominantly used on the market  Appropriateness to the  Organization  7.4  4  5  3  Commercial solutions are more likely to be adopted by DOTs than  Open Source or Cloud services  Total Score  100.0  4.1  4.1  4.2     

106      Table 30. Content delivery alternatives scoring.  Services  Weight  EIP technology alternatives  Comments  1  2  3  Content delivery  Cloud  provider  content  delivery  network  solution  Commercial  Distributed  Content  Delivery  solution  Plain cloud  storage  Technical Criteria     Functionality  3.7  5  5  4  Plain cloud storage does not include some of the replication,  load balancing and scalability features offered by the other two  services  Reliability  7.4  5 5 5 Equivalent across alternatives Availability  3.7  5 5 5 Equivalent across alternatives Maintainability  3.7  5 5 5 Equivalent across alternatives Security  7.4  4 4 4 Equivalent across alternatives Interoperability  7.4  4 4 4 Equivalent across alternatives Usability  7.4  4 4 4 Equivalent across alternatives Supportability  3.7  5  5  4  Plain cloud storage will require more support to compensate for the lack of features such as load balancing  Scalability  7.4  5 5 4 Plain cloud storage is often limited to region when scaling Modifiability  7.4  3 3 3 All solutions offer limited possibilities of modification Portability  3.7  3 3 3 All solutions offer have limited portability Reusability  7.4  5 5 5 Equivalent across alternatives Integrability  7.4  4 4 4 Equivalent across alternatives Testability  3.7  5 5 5 Equivalent across alternatives Business Qualities        Affordability  7.4  4 4 5 Plain cloud storage is the least expensive of the solutions Marketability  3.7  4 4 4 Equivalent across alternatives Appropriateness to the  Organization  7.4  3  3  3  DOTs currently are facing restriction when implementing cloud  services  Total Score  100.0  4.3  4.3  4.2     

107      3.3.4 User Interface  Table 31. Web applications—design alternatives scoring.  User Interface  Weight  EIP technology alternatives  Comments  1  2  3  Web Application  Design  Commercial web  service solution  in combination  with advanced  client‐side  framework  Open Source  web  framework in  combination  with advanced  client‐side  framework  Cloud based  web  framework  solution with  advanced  client‐side  framework  Technical Criteria     Functionality  3.7  5 5 5 Equivalent across alternatives Reliability  7.4  4 4 5 Standalone enterprise search platforms often use master‐slave  architecture which has a higher risk of failure than distributed cloud  architecture  Availability  3.7  4 4 5 Standalone enterprise search platforms often use master‐slave  architecture which has a higher risk of failure than distributed cloud  architecture  Maintainability  3.7  4 4 5 Cloud services are designed to handle failure by design without interruption  Security  7.4  4 4 4 Equivalent across alternatives Interoperability  7.4  4 4 4 Equivalent across alternatives Usability  7.4  4 4 4 Equivalent across alternatives Supportability  3.7  4 4 5 Little support is needed for Cloud services Scalability  7.4  4 4 5 Cloud service are designed to scale by design, traditional master‐slave setup can become limited  Modifiability  7.4  4 5 4 Commercial and cloud solutions are often less modifiable Portability  3.7  4 5 3 Cloud services are not really portable unless containerized, Open Source solution are the most portable  Reusability  7.4  5 5 5 Equivalent across alternatives Integrability  7.4  4 4 4 Equivalent across alternatives Testability  3.7  5 5 5 Equivalent across alternatives Business Qualities     Affordability  7.4  4  4 5 Cloud services are the least expensive solutions Marketability  3.7  5  4 3 Commercial solutions are more predominantly used on the market Appropriateness to  the Organization  7.4  5  4  3  Commercial solutions are more likely to be adopted by DOTs than  Open Source or Cloud services  Total Score  100.0  4.3  4.3  4.4 

108      Table 32. Web applications—monitoring alternatives scoring  User Interface  Weight  EIP technology alternatives  Comments  1  2  3  Web Application  Monitoring  Distributed  Open source  Log analysis  solution  Distributed  commercial  log analysis  solution  Cloud  monitoring  service  Technical Criteria           Functionality  3.7  5  5  5  Equivalent across alternatives  Reliability  7.4  4  4  5  Equivalent across alternatives  Availability  3.7  4  4  5  Equivalent across alternatives  Maintainability  3.7  4  4  5  Cloud services are designed to handle failure by design without  interruption  Security  7.4  4  4  4  Equivalent across alternatives  Interoperability  7.4  5  5  5  Equivalent across alternatives  Usability  7.4  5  5  5  Equivalent across alternatives  Supportability  3.7  4  4  5  Little support is needed for Cloud services  Scalability  7.4  4  4  5  Cloud service are designed to scale by design  Modifiability  7.4  5  4  4  Open Source solutions allow for the most modifications  Portability  3.7  5  4  3  Cloud services are not really portable unless containerized, Open Source solution are the most portable  Reusability  7.4  5  5  5  Equivalent across alternatives  Integrability  7.4  4  4  4  Equivalent across alternatives  Testability  3.7  5  5  5  Equivalent across alternatives  Business Qualities           Affordability  7.4  4  3  5  Cloud services are the least expensive solutions  Marketability  3.7  4  5  3  Commercial solutions are more predominantly used on the market  Appropriateness to the  Organization  7.4  4  5  3  Commercial solutions are more likely to be adopted by DOTs  than Open Source or Cloud services  Total Score  100.0  4.4  4.4  4.5     

109      Table 33. Mobile applications—design alternatives scoring  User Interface  Weight  EIP technology alternatives  Comments  1  2  3  Mobile Application  Design  Mobile web  development  framework  Cloud mobile  application  development  services  Custom mobile  web  development  Technical Criteria     Functionality  3.7  5  5  4  Custom mobile web framework may not be able to contain all the  features offered by Commercial or Open Source mobile  framework  Reliability  7.4  4  5  3  Standalone enterprise search platforms often use master‐slave  architecture which has a higher risk of failure than distributed  cloud architecture  Availability  3.7  4  4 5 Depends how they are being set up Maintainability  3.7  4  5  3  Cloud services are designed to handle failure by design without interruption  Security  7.4  4  4 3 Custom solutions can be more vulnerable Interoperability  7.4  5  5 5 Equivalent across alternatives Usability  7.4  4  5 4 Cloud mobile services are often easier to use Supportability  3.7  4  4 4 Equivalent across alternatives Scalability  7.4  4  5  4  Cloud service are designed to scale by design other mobile  application framework may use traditional architecture and have  limited scaling capabilities  Modifiability  7.4  3  3 5 Custom solution offers the most ability for modifications Portability  3.7  5  3  4  Cloud services are not really portable unless containerized, Open Source solution are the most portable  Reusability  7.4  5  5 4 Custom solution can be more difficult to reuse Integrability  7.4  5  5 4 Custom solution can be more difficult to integrate Testability  3.7  5  5 5 Equivalent across alternatives Business Qualities     Affordability  7.4  4  5 3 Cloud services are the least expensive solutions Marketability  3.7  4  4  3  Mobile framework and custom solutions are currently the main solutions found on the market  Appropriateness to the  Organization  7.4  4  3  4  Commercial solutions are more likely to be adopted by DOTs than  Open Source or Cloud services  Total Score  100.0  4.3  4.4  3.9 

110      Table 34. Mobile applications—monitoring alternatives scoring.  User Interface  Weight  EIP technology alternatives  Comments  1  2  3  Mobile Application  Monitor  Custom  deployment  solution using  log analysis  solution  Cloud mobile  application  deployment  services  Commercial  or Open  Source NoSQL  stack  Technical Criteria     Functionality  3.7  4  5  4  Custom and NoSql based solution may lack analytical features found in cloud mobile framework  Reliability  7.4  4  5  5  Cloud or distributed services are typically more reliable than custom solutions  Availability  3.7  4  5  4  Cloud or distributed services have typically a lesser risk of failure than custom solutions  Maintainability  3.7  3  5  4  Cloud and distributed services are designed to handle failure by design without interruption  Security  7.4  4  4 4 Equivalent across alternatives Interoperability  7.4  5  5 5 Equivalent across alternatives Usability  7.4  3  5 4 Cloud mobile services are easier to use than custom solutions Supportability  3.7  3  5  4  Little support is needed for Cloud services. Potentially a lot of support for custom solutions  Scalability  7.4  4  5  4  Cloud service are designed to scale by design, custom and NoSQL solutions can be limited by design  Modifiability  7.4  5  3 4 Custom solution is most open to modification, cloud service the least. Portability  3.7  4  3  4  Cloud services are not really portable unless containerized, Open Source solution are the most portable  Reusability  7.4  5  5 4 Custom solution can be difficult to reuse Integrability  7.4  5  5 5 Equivalent across alternatives Testability  3.7  4  5 4 Tons of devices available for testing Business Qualities     Affordability  7.4  3  5 4 Cloud services are the least expensive solutions Marketability  3.7  3  4  4  Commercial and cloud solutions are found more predominantly on the market  Appropriateness to the  Organization  7.4  4  3  4  Commercial solutions are more likely to be adopted by DOTs than  Open Source or Cloud services  Total Score  100.0  3.9  4.5  4.2 

111      Table 35. Desktop applications alternatives scoring.  User Interface  Weight  EIP technology alternatives  Comments  1  2  3  Desktop Application  CMS based  web  application  Custom  Console or  GUI  application  Web based  desktop  application  framework  Technical Criteria           Functionality  3.7  5  4  5  Custom solution may have to develop features already available  in CMS and application framework  Reliability  7.4  4  4  4  Equivalent across alternatives  Availability  3.7  4  4  4  Equivalent across alternatives  Maintainability  3.7  4  3  4  Custom solution may be more difficult to maintain  Security  7.4  4  4  3  Web based desktop application framework are rather new and untested  Interoperability  7.4  4  4  4  Equivalent across alternatives  Usability  7.4  4  4  4  Equivalent across alternatives  Supportability  3.7  4  4  3  Web based desktop application framework are support is not easily found  Scalability  7.4  4  4  4  Relevant due to the required web backed  Modifiability  7.4  4  5  5  CMS can limit modification possibilities  Portability  3.7  3  4  5  CMS content can be difficult to port to another CMS  Reusability  7.4  5  5  5  Equivalent across alternatives  Integrability  7.4  4  3  5  Custom solutions can be difficult to integrate  Testability  3.7  5  5  5  Equivalent across alternatives  Business Qualities           Affordability  7.4  5  4  5  Web framework and CMS are the least costly alternatives  Marketability  3.7  5  4  3  CMS are the most widely used on the market  Appropriateness to the  Organization  7.4  5  4  4  CMS solutions are more likely to be adopted by DOTs than  custom and novel web/desktop framework  Total Score  100.0  4.3  4.1  4.2     

112      3.3.5 Storage  Table 36. Content archiving alternatives scoring.  Storage  Weight  EIP technology alternatives  Comments  1  2  3  Content Archiving  Mix of On  Premise and  Cloud storage  Commercial  storage  solution  On Premise  or cloud  custom  storage using  Open source  software  Technical Criteria     Functionality  3.7  5  5  4  Open Source solutions may lack advanced storage features such as compression and encryption  Reliability  7.4  5  4 5 Cloud services are typically more reliable than custom solutions Availability  3.7  4  4 4 Equivalent across alternatives Maintainability  3.7  4  4 3 Open Source solutions can lead to more maintenance Security  7.4  4  4  3  Open Source solutions may lack advanced storage features such as compression and encryption  Interoperability  7.4  4  4 4 Equivalent across alternatives Usability  7.4  4  4 4 Equivalent across alternatives Supportability  3.7  4  4 3 Open Source solutions requires more support Scalability  7.4  5  4 5 Cloud solutions are often easier to scale Modifiability  7.4  4  3 4 Commercial and cloud solutions offer low modifications possibilities Portability  3.7  5  4  5  Cloud solutions are not really portable unless containerized, Open Source solution are the most portable  Reusability  7.4  5  5 5 Equivalent across alternatives Integrability  7.4  4  4 4 Equivalent across alternatives Testability  3.7  5  5 5 Equivalent across alternatives Business Qualities     Affordability  7.4  5  3 4 Commercial storage solutions are the most expensive option Marketability  3.7  4  5 3 Commercial storage solutions are the most found on the market Appropriateness to the  Organization  7.4  4  5  3  Commercial storage solutions are more likely to be adopted by DOTs  than cloud storage and open source solutions  Total Score  100.0  4.4  4.2  4.0 

113      Table 37. Content caching alternatives scoring.  Storage  Weight  EIP technology alternatives  Comments  1  2  3  Content Caching  Commercial  caching and  load balancing  solution on  premise or  cloud  Cloud caching  and load  balancing  solution  Open Source  caching and  load balancing  solution on  premise or  cloud  Technical Criteria           Functionality  3.7  5  5 5 Equivalent across alternatives Reliability  7.4  5  5 4 Open source solutions may be less reliable Availability  3.7  4  5 4 Cloud solutions typically offer higher availability Maintainability  3.7  4  4 3 Open Source and on premise often require more maintenance Security  7.4  4  4 4 Equivalent across alternatives Interoperability  7.4  4  4 4 Equivalent across alternatives Usability  7.4  4  4 4 Equivalent across alternatives Supportability  3.7  4  4 3 Open source solutions can be more difficult to support Scalability  7.4  4  5 4 Cloud solutions are easier to scale than on premise solutions Modifiability  7.4  3  3  4  Cloud and commercial solutions offer limited modifications possibilities  Portability  3.7  4  3  5  Cloud services are not really portable unless containerized, Open Source solution are the most portable  Reusability  7.4  5  5 5 Equivalent across alternatives Integrability  7.4  4  4 4 Equivalent across alternatives Testability  3.7  5  5 5 Equivalent across alternatives Business Qualities           Affordability  7.4  3  5 4 Cloud solutions are the least expensive Marketability  3.7  5  4 3 Commercial solutions are the most common on the market Appropriateness to the  Organization  7.4  5  3  4  Commercial solutions are more likely to be adopted by DOTs  than Open Source or Cloud services  Total Score  100.0  4.2  4.2  4.1     

114      Table 38. Content tagging alternatives scoring.  Storage  Weight  EIP technology alternatives  Comments  1  2  3  Content Tagging  Commercial  metadata  repository  Custom user  generated  metadata  repository  semantic web  solution  Technical Criteria     Functionality  3.7  5  4  5  Linking between concept is limited in user generated metadata  Reliability  7.4  5  4  5  User generated terms can lead to erroneous selling and meaning  Availability  3.7  4  4 4 Equivalent across alternatives Maintainability  3.7  4  3 4 User generated metadata can be challenging to maintain Security  7.4  4  4 4 Equivalent across alternatives Interoperability  7.4  4  4 4 Equivalent across alternatives Usability  7.4  4  5 4 User generated metadata is easier to implement and operate Supportability  3.7  4  4 4 Equivalent across alternatives Scalability  7.4  4  5  5  Custom user generated metadata can generate conflict at large  scale  Modifiability  7.4  3  4  5  Semantic web based solutions offer the most modification  possibilities  Portability  3.7  4  5  5  Commercial solutions with proprietary indices and taxonomies  format can be difficult to port  Reusability  7.4  5  5 5 Equivalent across alternatives Integrability  7.4  5  5 5 Equivalent across alternatives Testability  3.7  5  5 5 Equivalent across alternatives Business Qualities     Affordability  7.4  3  4 3 User generated metadata is the least expensive to implement Marketability  3.7  5  4  3  Commercial metadata solutions are the most common on the  market  Appropriateness to the  Organization  7.4  5  4  3  Commercial metadata solutions are the most likely to be adopted  by DOTs  Total Score  100.0  4.3  4.3  4.3     

115        3.3.6 Database  Table 39. GIS database services alternatives scoring.  Database  Weight  EIP technology alternatives  Comments  1  2  3  GIS Database Service  Cloud or on  premise open  source GIS  database  Cloud or on  premise  commercial  GIS database  Cloud or on  premise  NoSqL geo‐ enabled  database  Technical Criteria     Functionality  3.7  4  5  3  NoSQL geospatial solutions do not yet offer all the features offered by traditional commercial or open source geospatial solutions  Reliability  7.4  3  4 5 Open source solutions may be less reliable Availability  3.7  4  4 5 Distributed cloud solutions typically provide higher availability Maintainability  3.7  3  4 5 Cloud solutions require less maintenance when deploy in the cloud Security  7.4  4  4 4 Equivalent across alternatives Interoperability  7.4  4  4 4 Equivalent across alternatives Usability  7.4  4  4 4 Equivalent across alternatives Supportability  3.7  3  3 4 Cloud solutions require less support Scalability  7.4  4  4 5 Scalability is limited for non‐distributed architecture Modifiability  7.4  5  3 4 Commercial solutions have often limited possibilities for modifications Portability  3.7  5  4 3 Open Source solutions are often the most portable Reusability  7.4  5  5 5 Equivalent across alternatives Integrability  7.4  5  4 5 Commercial solutions may require use of proprietary client tools Testability  3.7  5  5 5 Equivalent across alternatives Business Qualities     Affordability  7.4  4  3 5 Commercial solutions are the most expensive to implement Marketability  3.7  4  5 3 Commercial solutions are the most common on the market Appropriateness to the  Organization  7.4  4  5  3  Commercial solutions are most likely to be adopted by a DOT  Total Score  100.0  4.1  4.1  4.2     

116      Table 40. Document database services alternatives scoring.  Database  Weight  EIP technology alternatives  Comments  1  2  3  Document Database Service  Cloud search  service on  cloud storage  Open Source  Distributed  Document  analysis  engine  Commercial  document  management  solution  Technical Criteria     Functionality  3.7  4  5  4  Open Source solutions offers advanced text mining capabilities  that may require third party applications with the other  solutions  Reliability  7.4  5  5  4  Standalone enterprise search platforms often use master‐ slave architecture which has a higher risk of failure than  distributed cloud architecture  Availability  3.7  5 5 4 Distributed cloud solutions typically provide higher availability Maintainability  3.7  5  5  4  Standalone enterprise solutions are often more difficult to maintain than cloud or distributed solutions  Security  7.4  4 4 4 Equivalent across alternatives Interoperability  7.4  4 4 4 Equivalent across alternatives Usability  7.4  4  4  4  Equivalent across alternatives  Supportability  3.7  5 3 4 Open Source solutions can have limited support  Scalability  7.4  5 5 3 Distributed cloud solutions typically provide higher scalability Modifiability  7.4  3 5 4 Open Source solutions offer the most modification possibilities Portability  3.7  3  4  3  Cloud services are not really portable unless containerized, Open Source solution are the most portable  Reusability  7.4  5 5 5 Equivalent across alternatives Integrability  7.4  5  5  4  Commercial solutions often rely on proprietary standards or formats limiting integration  Testability  3.7  5 5 5 Equivalent across alternatives Business Qualities     Affordability  7.4  5 4 3 Cloud solutions are often the least expensive Marketability  3.7  4 4 5 Commercial solutions are the most found on the market Appropriateness to the  Organization  7.4  4  4  5  DOTs are more likely to invest in commercial solutions than  cloud or open source ones  Total Score  100.0  4.4  4.5  4.1     

117      Table 41. Image, video, and binary files database services alternatives scoring.  Database  Weight  EIP technology alternatives  Comments  1  2  3  Inage, Video and Binary  file Database Service  Basic cloud  storage  solution  Cloud or on  premise  custom  hadoop  based storage  Commercial  or Open  Source NoSQL  datastore in  cloud or on  premise  Technical Criteria     Functionality  3.7  4  5 5 Custom solutions will provide the most features Reliability  7.4  5  5 5 Equivalent across alternatives (all distributed solutions) Availability  3.7  5  5 5 Equivalent across alternatives (all distributed solutions) Maintainability  3.7  5  4 4 Custom and Open Source solutions will be more difficult to maintain Security  7.4  4  4 4 Equivalent across alternatives (all distributed solutions) Interoperability  7.4  4  4 4 Equivalent across alternatives (all distributed solutions) Usability  7.4  4  4 4 Equivalent across alternatives Supportability  3.7  5  3 4 Open Source and custom solutions can have limited support  Scalability  7.4  5  4  4  On premise solutions even distributed will not be able to scale as easily as cloud solutions  Modifiability  7.4  3  5  4  Custom and open source solutions offer the most modification possibilities  Portability  3.7  3  4  4  Cloud services are not really portable unless containerized, Open Source solution are often the most portable  Reusability  7.4  5  4 5 Custom solutions can be difficult to reuse Integrability  7.4  5  4  5  Custom and commercial solutions may not support commonly found standards and interfaces   Testability  3.7  5  5 5 Equivalent across alternatives Business Qualities     Affordability  7.4  5  3 4 Custom solutions are often the most expensive Marketability  3.7  5  3 4 Cloud storage solution are becoming the most common Appropriateness to the  Organization  7.4  4  3  5  DOTs are more likely to adopt a commercial solution  Total Score  100.0  4.5  4.1  4.4 

118      Table 42. Financial data database services alternatives scoring.  Database  Weight  EIP technology alternatives  Comments  1  2  3  Financial Database  Service  Commercial  on premise  enterprise  solution  Commercial  Cloud  enterprise  solution  On premise or  cloud custom  enterprise  solution using  RDBMS  Technical Criteria           Functionality  3.7  5  5 5 Equivalent across alternatives Reliability  7.4  4  5 3 Distributed cloud solutions typically provide higher reliability Availability  3.7  4  5 4 Distributed cloud solutions typically provide higher availability Maintainability  3.7  4  5  4  Standalone enterprise solutions are often more difficult to maintain than cloud or distributed solutions  Security  7.4  5  5 4 Custom solutions can be more vulnerable Interoperability  7.4  4  4 4 Equivalent across alternatives Usability  7.4  4  4 4 Equivalent across alternatives Supportability  3.7  4  5 3 Custom solutions can be more challenging to support Scalability  7.4  3  5 3 RDBMS based solutions will limit scalability Modifiability  7.4  3  3  5  Custom solutions are allowing for the most modification possibilities  Portability  3.7  3  3 4 Commercial and custom solutions often have limited portability Reusability  7.4  5  5 4 Custom solutions can limit reusability Integrability  7.4  4  4 4 Equivalent across alternatives Testability  3.7  5  5 5 Equivalent across alternatives Business Qualities           Affordability  7.4  4  5 3 Custom and commercial solutions are the most expensive Marketability  3.7  5  4 3 Commercial solutions on premise are the most common Appropriateness to the  Organization  7.4  5  4  3  DOTs are more likely to invest in commercial on premise  solutions  Total Score  100.0  4.2  4.5  3.8     

119      Table 43. Sensor data database services alternatives scoring.  Database  Weight  EIP technology alternatives  Comments  1  2  3  Sensor Data Database  Service  On premise or  cloud open  source  Streaming  framework  Cloud  Streaming  framework  solution  On premise or  cloud open  source or  commercial  OLTP setup  Technical Criteria           Functionality  3.7  5  5  5  Equivalent across alternatives  Reliability  7.4  4  5  4  Distributed cloud solutions typically provide higher reliability  Availability  3.7  4  5  4  Distributed cloud solutions typically provide higher availability  Maintainability  3.7  4  5  4  Cloud solutions require less maintenance  Security  7.4  4  4  4  Equivalent across alternatives  Interoperability  7.4  4  4  4  Equivalent across alternatives  Usability  7.4  4  4  4  Equivalent across alternatives  Supportability  3.7  3  5  4  Open Source and custom solutions can have limited support   Scalability  7.4  4  5  4  On premise solutions even distributed will not be able to scale as easily as cloud solutions  Modifiability  7.4  4  3  3  Cloud and commercial solutions often limit the possibilities of modifications  Portability  3.7  4  3  3  Cloud services are not really portable unless containerized, Open Source solution are often the most portable  Reusability  7.4  5  5  5  Equivalent across alternatives  Integrability  7.4  4  4  4  Equivalent across alternatives  Testability  3.7  5  5  5  Equivalent across alternatives  Business Qualities           Affordability  7.4  4  5  3  Cloud solutions are the least expensive  Marketability  3.7  3  4  5  Commercial OLTP based solutions are the most common  Appropriateness to the  Organization  7.4  3  4  5  DOTs are more likely to invest in commercial on premise  solutions  Total Score  100.0  4.0  4.4  4.1     

120        3.3.7 Management Tools  Table 44. Resources and application monitoring alternatives scoring.  Management tools  Weight  EIP technology alternatives  Comments  1  2  3  Resource and  Application Monitoring  On premise  or cloud open  source  monitoring  solution  Cloud  monitoring  solution  Cloud or on  premise  Commercial  monitoring  solution  Technical Criteria     Functionality  3.7  5  5 5 Equivalent across alternatives Reliability  7.4  4  5 4 Cloud solutions offer less failure risks Availability  3.7  4  5 4 Cloud solutions benefits from larger clusters Maintainability  3.7  4  5 4 Cloud solutions require little maintenance Security  7.4  4  4 4 Equivalent across alternatives Interoperability  7.4  4  4 4 Equivalent across alternatives Usability  7.4  4  4 4 Equivalent across alternatives Supportability  3.7  4  5 4 Open Source and commercial solutions need the most support Scalability  7.4  4  5  4  On premise solutions even distributed will not be able to scale as easily as cloud solutions  Modifiability  7.4  4  3  3  Cloud and commercial solutions often limit the possibilities of modifications  Portability  3.7  4  3  3  Cloud services are not really portable unless containerized, Open Source solution are the most portable  Reusability  7.4  5  5 5 Equivalent across alternatives Integrability  7.4  4  4 4 Equivalent across alternatives Testability  3.7  5  5 5 Equivalent across alternatives Business Qualities     Affordability  7.4  4  5 3 Cloud monitoring solutions are the least expensive Marketability  3.7  4  3 5 Commercial monitoring solutions are the most commonly found Appropriateness to the  Organization  7.4  4  3  5  DOTs are less likely to adopt open source or cloud services  Total Score  100.0  4.2  4.3  4.1     

121      Table 45. Resources provisioning and scaling alternatives scoring.  Management tools  Weight  EIP technology alternatives  Comments  1  2  3  Resources Provisioning  and Scaling  On premise or  cloud  commercial  resource  management  solution  Serverless  architecture  only pay‐as‐ you‐go  functions  Cloud or on  premise  container  solution  (ephemeral)  Technical Criteria           Functionality  3.7  5  5 5 Different but equivalent functionalities Reliability  7.4  4  5  5  Serverless architecture and container solutions offer less risk of failure  Availability  3.7  4  5  5  Serverless architecture and container solutions can be quickly resumed or restarted at prior functioning states  Maintainability  3.7  4  5 4 Serverless architecture require very little maintenance Security  7.4  4  3  3  Serverless architecture and container solutions are rather new and therefore more prone to security risks  Interoperability  7.4  4  4 4 Equivalent across alternatives Usability  7.4  4  5 4 Serverless architecture solutions are easier to use Supportability  3.7  4  5 4 Cloud services require less support Scalability  7.4  4  5 4 Cloud services have better scaling capabilities than on premise Modifiability  7.4  4  4  5  Container based solution offer the most amount of flexibility with regard to modifications  Portability  3.7  4  3 5 Cloud services are not really portable unless containerized Reusability  7.4  5  5  5  Equivalent across alternatives  Integrability  7.4  4  4  4  Equivalent across alternatives  Testability  3.7  5  5  5  Equivalent across alternatives  Business Qualities           Affordability  7.4  3  5 4 No server architecture solutions are the least expensive Marketability  3.7  5  3 4 Commercial solutions are most commonly found Appropriateness to the  Organization  7.4  4  3  5  DOTs are more likely to invest in commercial solutions  Total Score  100.0  4.2  4.4  4.4       

122      Table 46. Content auditing alternatives scoring.  Management tools  Weight  EIP technology alternatives  Comments  1  2  3  Content Auditing  Cloud based  Commercial  or open  source  content  auditing and  inventory  software  On premise  commercial  and Open  Source Search  Engine  Optimization  tools  Custom  reports using  search engine  solution  Technical Criteria           Functionality  3.7  5  4 5 SEO tools are often focused on marketing features Reliability  7.4  5  4 4 Cloud based software have higher reliability Availability  3.7  5  5 4 Cloud based software provide higher level of availability Maintainability  3.7  5  5 3 Custom solution requires the most maintenance Security  7.4  4  4 4 Equivalent across alternatives Interoperability  7.4  4  4 4 Equivalent across alternatives Usability  7.4  5  5 3 Custom solutions are more difficult to use Supportability  3.7  5  5 4 Cloud services require less support Scalability  7.4  5  5 4 Cloud services have better scaling capabilities than on premise Modifiability  7.4  4  4  5  Custom solutions offer the most amount of flexibility with regard to modifications  Portability  3.7  3  3 4 Cloud services are not really portable unless containerized Reusability  7.4  5  5 5 Equivalent across alternatives Integrability  7.4  4  4 4 Equivalent across alternatives Testability  3.7  5  5 5 Equivalent across alternatives Business Qualities           Affordability  7.4  5  5 4 Cloud based solutions are the least expensive Marketability  3.7  5  5 4 Commercial solutions are most commonly found Appropriateness to the  Organization  7.4  5  5  3  DOTs are more likely to invest in commercial solutions  Total Score  100.0  4.6  4.5  4.1     

123        3.3.8 Security and Identity  Table 47. Identity and access management alternatives scoring.  Security and Identity  Weight  EIP technology alternatives  Comments  1  2  3  Identity and access  management  Cloud AIM  solution  Cloud or on  premise  Commercial  AIM solution  Custom on  premise AIM  solution  Technical Criteria           Functionality  3.7  5  5  4  Custom solutions may not provide all AIM features that commercial and cloud solutions offer  Reliability  7.4  5  4 4 Cloud solutions are less likely to fail Availability  3.7  5  4 4 Cloud solutions benefits from larger clusters Maintainability  3.7  5  4 4 Cloud solutions require little maintenance Security  7.4  4  4 3 Custom solutions can be less secure Interoperability  7.4  4  4 4 Equivalent across alternatives Usability  7.4  4  4 3 Equivalent across alternatives Supportability  3.7  5  4 3 cloud solutions require less support Scalability  7.4  5  4 3 Cloud services have better scaling capabilities than on premise Modifiability  7.4  4  4  5  commercial and cloud solutions offer little possibilities of modifications  Portability  3.7  4  3 4 Cloud services are not really portable unless containerized Reusability  7.4  5  5 4 Custom solutions can be difficult to reuse Integrability  7.4  4  4 4 Equivalent across alternatives Testability  3.7  5  5 5 Equivalent across alternatives Business Qualities           Affordability  7.4  5  3 4 Cloud solutions are the least expensive Marketability  3.7  4  5 3 Commercial AIM solutions are the most commonly implemented Appropriateness to the  Organization  7.4  3  5  4  DOTs are more likely to implement commercial on premise AIM  solutions rather than cloud based ones  Total Score  100.0  4.5  4.2  3.8     

124      Table 48. Security audit alternatives scoring.  Security and Identity  Weight  EIP technology alternatives  Comments  1  2  3   Security Audit  External  party  assessment  and  penetration  testing  Open Source  or  Commercial  security  evaluation  and  monitoring  tools for  network and  software  layer  Internal  assessment Technical Criteria     Functionality  3.7  n/a  5 n/a Reliability  7.4  n/a  4 n/a Security software are often not distributed Availability  3.7  n/a  4 n/a Maintainability  3.7  n/a  4 n/a Ensure that threat patterns are up to date Security  7.4  n/a  4 n/a Interoperability  7.4  n/a  4 n/a Usability  7.4  n/a  4 n/a Supportability  3.7  n/a  4 n/a Security updates are numerous and frequent Scalability  7.4  n/a  4 n/a Commercial security software can have limited scalability Modifiability  7.4  n/a  3 n/a Few security   Portability  3.7  n/a  4 n/a Reusability  7.4  n/a  5 n/a Integrability  7.4  n/a  4 n/a Testability  3.7  n/a  3 n/a Difficult to test against new threats Business Qualities     Affordability  7.4  n/a  3 n/a Commercial security solutions are expensive Marketability  3.7  n/a  5 n/a Appropriateness to the  Organization  7.4  n/a  5  n/a  DOTs would most likely select commercial over open source solutions  Total Score  100.0  n/a  4.1  n/a 

    3 I f p 3 3 A ( a h 3 3 A d s 3 A c a s 3 3 3 A D 3 A c 3 A p G 3 A p .4 Task 3 n Task 3.4, th eedback rece ractices.  The .4.1 Gene Host.4.1.1 ccording to t i.e., cloud an nd reliability ouse.  Dep.4.1.2 .4.1.2.1 Ap ccording to t eployment a ource config .4.1.2.2 Co ccording to t ontinuous in  hosted cont hould be disc .4.2 Deta Serv.4.2.1 .4.2.1.1 AP ccording to t OT EIP API g .4.2.1.2 Se ccording to t apabilities fo .4.2.1.3 GI ccording to t rocessing an IS server fra .4.2.1.4 Da ccording to t rocessing ca .4 Summa e research te ived from th  results and  ral Recomm ing  he surveyed  d on‐premise  of EIP applic loyment and M plication Dep he survey re nd server con uration mana ntinuous Inte he survey re tegration ser inuous integr ussed during iled Recomm ices  I Gateway   he survey re ateway was t arching   he survey re r a sustainab S Data Proces he survey re d rendering c mework in co ta Stream Pr he survey re pabilities in a rize and R am reviewed e developer c recommenda endations  respondents ) infrastructu ations while  aintenance  loyment and spondents an figuration w gement serv gration   spondents an vices ranked  ation service  the Task 5 w endations  spondents an he adoption  spondents an le DOT EIP AP sing and Ren spondents an apabilities in mbination w ocessing   spondents an  sustainable  eview EIP  and ranked ommunity re tions of this  , sustainable  re. The mixe allowing sens  Server Confi d after scori as either a cl ice used in co d after scori at the same l  (software as orkshop.  d after scori of a cloud AP d after scori I was the clo dering   d after scori  a sustainabl ith the use o d after scori DOT EIP API w Practice the scores of sponses, and analysis are s DOT EIPs sho d infrastructu itive data, su guration  ng, the recom oud‐based co mbination w ng, all three r evel. The use  a service), o ng, the recom I framework ng, the recom ud enterpris ng, the recom e DOT EIP AP f cloud storag ng, the recom as the adop   Scores an  each of the   produced a ummarized b uld be imple re approach ch as acquisi mended app nfiguration m ith a contain ecommende  of an open s r a proprieta mended app .  mended app e search plat mended app I was the ado e.  mended app tion of a clou d Develop EIP practices   list of the fiv elow.  mented on e  would allow tion docume roach to pro anagement erized archit d approache ource contin ry continuou roach to pro roach to pro form.  roach to pro ption of an o roach to pro d stream pro Interim Re summarized e best sustai ither cloud o  increased sc nts, to be kep vide applicat  service or an ecture.  s to providing uous integra s integration  viding a sust viding search viding GIS da pen source s viding data s cessing fram 125  port 2 the  nable EIP  r mixed  alability  t in  ion   open    tion tool,  tool  ainable  ing  ta  cale‐out  tream  ework. 

  3 A c o d 3 A d s 3 3 A a c 3 A a 3 A a d 3 A a d 3 A s D 3 3 A a s 3 A c lo .4.2.1.5 M ccording to t apabilities in btained by t uring the Tas .4.2.1.6 Co ccording to t elivery capab olution or th User .4.2.2 .4.2.2.1 W ccording to t pplication de ombination w .4.2.2.2 W ccording to t pplication m .4.2.2.3 Mo ccording to t pplication de evelopment  .4.2.2.4 Mo ccording to t pplication m eployment s .4.2.2.5 De ccording to t ustainable D OT EIP API w Stor.4.2.3 .4.2.3.1 Co ccording to t rchiving capa torage and o .4.2.3.2 Co ccording to t aching capab ad‐balancin essaging   he survey re  a sustainable he open sour k 5 worksho ntent Deliver he survey re ilities in a su e adoption of Interface  eb Applicatio he survey re sign capabili ith an advan eb Applicatio he survey re onitoring cap bile Applicat he survey re sign capabili service.  bile Applicat he survey re onitoring cap ervice.  sktop Applica he survey re OT EIP. The r as the use of age  ntent Archivi he survey re bilities in a s n‐premise sto ntent Cachin he survey re ilities in a su g solution.  spondents an  DOT EIP AP ce and comm p.  y   spondents an stainable DO  a commerci ns—Design   spondents an ties in a susta ced client‐si ns—Monitor spondents an abilities in a  ions—Design spondents an ties in a susta ions—Monit spondents an abilities in a  tions   spondents an ecommended  a content‐m ng   spondents an ustainable DO rage.  g   spondents an stainable DO d after scori I was the ado ercial ESB op d after scori T EIP API was al distributed d after scori inable DOT E de web deve ing   d after scori sustainable D    d after scori inable DOT E oring   d after scori sustainable D d after scori  approach to anagement‐s d after scori T EIP API wa d after scori T EIP API was ng, the recom ption of a clo tions were r ng, the recom  the adoptio  content deli ng, the recom IP API was th lopment fram ng, the recom OT EIP API w ng, the recom IP API was th ng, the recom OT EIP API w ng, no deskto  providing de ervice‐based ng, the recom s the adopti ng, the recom  either the ad   mended app ud messagin ather close, t mended app n of either a  very solution mended app e adoption o ework.  mended app as the adopt mended app e adoption o mended app as the adopt p application sktop applic  web applica mended app on of mixed s mended app option of a c roach to pro g framework his topic sho roach to pro cloud conten .   roach to pro f a cloud‐bas roach to pro ion of a clou roach to pro f a cloud mo roach to pro ion of a clou  should be d ation capabil tion.  roach to pro torage capab roach to pro loud or com viding messa . Since the sc uld be discus viding conte t delivery ne viding web  ed web fram viding web  d‐monitoring viding mobil bile applicati viding mobil d mobile app eveloped as  ities in a sust viding conte ility using clo viding conte mercial cachi 126  ging  ores  sed  nt  twork  ework in   service.  e  on  e  lication  part of a  ainable  nt  ud  nt  ng and 

  3 A t g 3 3 A s d 3 A d d 3 A a s 3 A d s 3 A d b 3 3 A a 3 A p s 3 A a s s   .4.2.3.3 Co ccording to t agging servic enerated me Data.4.2.4 .4.2.4.1 GI ccording to t ervice capab atabase.  .4.2.4.2 Do ccording to t atabase serv ocument ana .4.2.4.3 Im ccording to t nd binary file torage soluti .4.2.4.4 Fin ccording to t atabase serv olution.  .4.2.4.5 Se ccording to t atabase serv ased solutio Man.4.2.5 .4.2.5.1 Re ccording to t pplication m .4.2.5.2 Re ccording to t rovisioning a erver‐less arc .4.2.5.3 Co ccording to t uditing servi ource conten cored right b ntent Taggin he survey re es ranked at  tadata repos base  S Database Se he survey re ilities in a sus cument Data he survey re ice capabiliti lysis engine. age, Video, a he survey re s database s on.  ancial Data D he survey re ice capabiliti nsor Data Da he survey re ice capabiliti n.  agement Too sources and A he survey re onitoring cap sources Prov he survey re nd scaling ca hitecture or  ntent Auditin he survey re ce capabilitie t auditing an elow the rec g   spondents an the same lev itory, or a se rvices   spondents an tainable DOT base Service spondents an es in a sustai   nd Binary File spondents an ervice capab atabase Serv spondents an es in sustaina tabase Servic spondents an es in a sustai ls  pplication M spondents an abilities in a  isioning and S spondents an pabilities in a a cloud or on g   spondents an s in a sustain d inventory s ommended a d after scori el. The use of mantic web s d after scori  EIP API was s   d after scori nable DOT EI s Database S d after scori ilities in a sus ices   d after scori ble DOT EIP  es   d after scori nable DOT EI onitoring   d after scori sustainable D caling   d after scori  sustainable  ‐premise con d after scori able DOT EIP oftware. Com pproach and ng, all three r  a commerci olution shou ng, the recom the adoption ng, the recom P API was the ervices   ng, the recom tainable DOT ng, the recom API was the a ng, the recom P API was the ng, the recom OT EIP API w ng, the recom DOT EIP API  tainer‐based ng, the recom  API was the  mercial or o  should be di   ecommende al metadata  ld be discuss mended app  of a cloud o mended app  adoption of mended app  EIP API was mended app doption of a mended app  adoption of mended app as the adopt mended app was the adop  solution.  mended app adoption of c pen source s scussed durin d approache repository, a  ed during the roach to pro r on‐premise roach to pro  an open sou roach to pro the adoption roach to pro  commercial  roach to pro  a cloud‐strea roach to pro ion of a clou roach to pro tion of eithe roach to pro loud‐based c earch engine g the Task 5 s to providing custom user‐  Task 5 work viding GIS da  NoSQL geo‐c viding docum rce distribute viding image  of a basic clo viding financ cloud enterp viding senso ming‐framew viding resou d‐monitoring viding resou r a cloud‐bas viding conte ommercial o  optimization  workshop.  127   content  shop.  tabase  apable  ent  d  , video,  ud  ial data  rise  r data  ork‐ rces and   solution.  rces  ed  nt  r open   tools 

  3 3 A a ( 3 A D s s t   Secu.4.2.6 .4.2.6.1 Ide ccording to t ccess manag software as a .4.2.6.2 Se ccording to t OT EIP. Som urvey respon oftware laye esting) shoul rity and Iden ntity and Acc he survey re ement servic  service).  curity Audit   he survey re e approaches dents (e.g., o r, internal sec d be used tog tity  ess Managem spondents an e capabilities spondents, th  are tool bas pen source o urity audits a ether to pro   ent   d after scori  in a sustaina ere is no sin ed while othe r commercia nd assessme vide security  ng, the recom ble DOT EIP  gle approach rs are huma l security eva nts, and exte audits to sus   mended app API was the a  to providing n based. The luation and  rnal party as tainable DOT roach to pro doption of a  a security au  approaches  monitoring to sessments a  EIPs.   viding identi  cloud AIM so dit to a susta provided by t ols for netw nd penetratio 128  ty and  lution  inable  he  ork and  n