AI 도입은 빨라졌지만, 중소기업의 생산성까지는 아직 거리가 있다

AI 도입은 빨라졌지만, 중소기업의 생산성까지는 아직 거리가 있다

기업의 AI 활용은 빠르게 늘고 있다. OECD 회원국에서 종업원 10인 이상 기업 가운데 AI를 사용하는 기업의 비중은 2020년 5.6%에서 2024년 14%로 상승했다. 특히 생성형 AI 도구에 접근하기 쉬워진 최근 몇 년의 변화가 이 증가세에 반영됐다. 다만 2024년 OECD 평균 도입률이 50%를 넘어선 클라우드 컴퓨팅과 비교하면 AI는 여전히 확산 초기다.

기업의 핵심 비즈니스 기능만 보면 간극은 더 선명하다. 비교 가능성 문제를 보정한 OECD 분석에서 2024년 G7 국가의 핵심 기능 AI 도입률은 일본 1.9%에서 미국 6.1% 사이였다. 개인의 사용은 기업보다 앞선다. 미국에서는 2024년 말 18~64세 인구의 약 40%가 직장이나 가정에서 생성형 AI를 사용했고, 22% 이상은 지난 한 주 동안 업무에 한 번 이상 활용했다. 넓은 사용 경험이 기업 프로세스의 통합으로 이어질 여지는 크지만, 아직 둘은 같은 의미가 아니다.

기업 규모에 따른 도입 격차가 크다

2024년 또는 가장 최근 연도 OECD 데이터에서 종업원 250인 이상 기업의 AI 사용률은 40%였다. 50~249인 기업은 20.4%, 10~49인 기업은 11.9%였다. 소기업의 사용 확률은 대기업의 3분의 1에도 미치지 못한다. 클라우드나 사물인터넷에서 소기업의 도입 확률이 대기업의 약 절반이었던 것보다 큰 격차다.

응용 분야를 나눠 봐도 결과는 같다. 2024년 EU에서 소기업은 텍스트 마이닝, 음성 인식, 자연어 생성, 이미지 처리, 머신러닝, 업무 자동화, 자율 기계 이동 등 모든 조사 분야에서 대기업보다 낮은 도입률을 보였다. 자율로봇·자율주행차·자율드론 영역은 대기업 7.2%, 소기업 0.7%로 격차가 가장 컸다. 자연어 생성은 대기업 16.7%, 소기업 4.6%로 상대적으로 차이가 작았다. 접근하기 쉬운 도구가 진입장벽을 낮췄을 가능성을 보여주는 대목이다.

활용 목적에도 차이가 있다. 물류, 연구개발, ICT 보안에서는 규모별 격차가 뚜렷하지만, AI 사용 기업만 놓고 보면 마케팅·영업 목적의 활용 비중은 소기업이 대기업보다 약간 높았다. 문제는 활용의 깊이다. 생성형 AI를 쓰는 중소기업 가운데 핵심 활동에 사용한다고 답한 비율은 29%에 불과했다. 많은 기업이 생산 프로세스를 바꾸기보다 주변 업무를 보조하는 수준에 머물러 있다는 뜻이다.

기업 연령은 또 다른 변수다. 프랑스·독일, 미국, 영국의 연구는 스타트업을 포함한 신생 기업이 AI를 사용할 가능성이 더 높다고 보고한다. 그러나 산업과 기업 연령, 자산 구성 등을 통제해도 대기업이 중소기업보다 AI를 사용할 가능성이 높은 패턴은 유지됐다. 규모의 장벽은 단순히 산업 구성만으로 설명되지 않는다.

산업별 확산 속도도 다르다

2024년 ICT 산업의 AI 활용률은 거의 45%, 전문·과학·기술 서비스업은 25%를 넘었다. 건설업 7.2%, 숙박·음식점업 7.8%, 운수·창고업 9.2%와 큰 차이다. ICT는 텍스트 마이닝부터 머신러닝과 자연어 생성까지 폭넓은 응용에서 선두였고, 인재와 혁신 투자에서도 높은 AI 집약도를 보였다.

그렇다고 확산이 일부 산업에만 국한된 것은 아니다. 2021~2024년 OECD 평균에서 대부분 산업의 도입률이 두 배가 됐다. 절대 증가폭은 ICT 20%포인트, 전문·과학 서비스 13%포인트, 도매업 약 8%포인트로 기존 선도 산업에서 컸다. 운수·창고업과 제조업도 증가했지만 같은 기간 상대 증가율은 각각 약 60%, 70%였다. 전 산업이 움직이고 있으나 출발점과 속도가 다른 셈이다.

도입률보다 중요한 질문, 생산성으로 이어지는가

OECD는 AI가 향후 10년간 G7의 연간 노동생산성 증가율에 0.2~1.3%포인트 기여할 수 있다고 추정한다. 국가별 예상 범위는 일본과 이탈리아가 0.2~약 0.8%포인트, 영국과 미국이 0.4~1.3%포인트다. 도입 속도, 기술 역량, 산업 구성이 결과를 가른다.

중소기업이 체감하는 생성형 AI의 편익은 이미 나타난다. OECD 조사에서 가장 많이 보고된 편익은 직원 성과 향상이었고, 비용 절감과 새로운 업무 수행이 뒤를 이었다. 역량 격차를 최근 경험한 생성형 AI 사용 중소기업의 39%는 AI가 그 격차를 보완하는 데 도움이 됐다고 답했다. 핵심 업무에 생성형 AI를 쓰는 기업일수록 편익을 보고할 가능성도 높았다.

그러나 상관관계를 인과관계로 읽어서는 안 된다. 생산성 최상위 기업일수록 AI 도입률이 높고, 규모·연령·산업이 비슷한 기업끼리 비교해도 AI 사용 기업에는 대체로 4% 이상, 일부는 15%를 넘는 생산성 프리미엄이 관찰됐다. 동시에 이미 디지털화되고 경쟁력 있는 기업이 AI를 먼저 도입했을 가능성도 크다. 연결성, 클라우드 활용, ICT 인력과 훈련 같은 조건을 통제하면 생산성 우위는 크게 줄어드는 경향이 있다.

AI는 도입하는 순간 성과를 보장하는 도구가 아니라, 디지털 역량과 조직 변화가 함께할 때 수익을 만드는 범용기술에 가깝다.

보완 투자가 먼저 발생하면서 생산성이 상승 전에 하락하는 J커브도 나타날 수 있다. 결국 중소기업 정책의 초점은 도구 구매 건수만 늘리는 데 있어서는 안 된다. 신뢰할 수 있고 저렴한 연결성, 클라우드와 데이터 활용 역량, 근로자 스킬, 업무 통합과 조직 변화까지 함께 지원해야 한다. 이러한 지원은 AI 확산이 선도 기업과 나머지 기업의 격차를 더 벌리는 대신 더 넓은 생산성 향상으로 이어질 가능성을 높일 수 있다.

자료 출처

• Filippucci et al. (2025)
• Calvino and Fontanelli (2023)
• Brynjolfsson, Rock and Syverson (2021)
• McElheran et al. (2024)

이 글은 OECD 보고서 1장 ‘도입 동향’을 바탕으로 Agentree 블로그 형식에 맞게 편집했습니다. 원문의 출처와 연구 인용은 OECD 보고서를 따릅니다. CC BY 4.0.