Berg började sin karriär i den norska klubben Vålerenga innan han flyttade till engelska Blackburn Rovers 1993. Han tillbringade fem år i Blackburn och vann Premier League 1995. Efter att ha lämnat Blackburn gick Berg med i den italienska klubben Internazionale 1997. Han tillbringade två år i Inter och vann UEFA-cupen 1998.
År 1999 flyttade Berg till den engelska klubben Manchester United. Han tillbringade tre år i United och vann Premier League 2000 och 2001. Efter att ha lämnat United gick Berg med i den skotska klubben Celtic 2002. Han tillbringade två år i Celtic och vann Scottish Premier League 2004.
Berg avslutade sin spelarkarriär 2004. Han började sin tränarkarriär 2005 som assisterande tränare för den norska klubben Vålerenga. Han utnämndes till huvudtränare för Vålerenga 2008 och vann den norska cupen 2008. Efter att ha lämnat Vålerenga gick Berg med i den svenska klubben Ljungskile 2011. Han utnämndes till huvudtränare för Ljungskile 2012 och vann Superettan 2012.
År 2013 utsågs Berg till förbundskapten för det norska landslaget. Han ledde Norge till UEFA EM 2016. Efter att ha lämnat landslaget gick Berg med i den polska klubben Lech Poznań 2018. Han utnämndes till huvudtränare för Lech Poznań 2019. Efter att ha lämnat Lech Poznań gick Berg med i den Cypriotiska klubben Omonia 2022. Han utnämndes till huvudtränare för Omonia 2022.