발단

링크드인에서 흥미로운 글을 접했다. 그 글에는 집에 단순히 책을 쌓아두기만 해도 자녀의 각종 교육 성취도가 장기적으로 좋아진다는 논문이 소개되어 있었다.

연구진은 OECD에서 언어 능력, 일상 속 수학 문제 해결 능력, 컴퓨터 조작 관련 능력 등의 3개 지표를 조사하는 국제성인역량조사(PIAAC) 데이터 중 2011년부터 2015년까지의 5년 치 자료를 분석하였다. 그 결과 집에 책을 쌓아 두는 것만으로도 언어 능력, 수학 능력, 컴퓨터 능력 영역의 교육 성취도에 긍정적인 영향을 미친다는 놀라운 사실을 밝혀냈다.

더 놀라운 사실은 집에 쌓여 있는 책들을 읽지 않았더라도 단지 책이 “있었다”는 기억만으로 사람들의 인지 능력과 학업성취도가 향상되었다는 것이었다.

사실 ‘흥미롭다’곤 했지만… 정확히는, 보자마자 ‘엥 정말인가?’ 라는 의구심이 들었다. 특히 두번째 문단이 의심스러웠다. 출처를 직접 읽고 싶었는데, 글에 논문 제목도 없고 너무 대충 정보가 적혀있었다. GPT에게 물어봤더니 여전히 못 찾더라.

그래도 저널명(Social Science Research)은 알아내서, 구글 scholar에서 잠깐 삽질 끝에 직접 찾아냈다. 원글에서는 2018년 저널이라고 했는데 2018년으로 제한 거니까 안 나오더라. 아마 실제 출판은 2019년이었던듯.

그래서 찾은 논문은 이거였다. Scholarly culture: How books in adolescence enhance adult literacy, numeracy and technology skills in 31 societies (2019, Joanna Sikora, M.D.R. Evans, Jonathan Kelley)

의문

내가 궁금했던 건 크게 3가지였다.

1. 논문이 정확히 어떤 주장을 하는가. (A이면 B이다)
2. 주장의 근거는 무엇이며, 근거가 충분히 유효한가. (A이면 B라고 주장하는 이유는 C 때문이다)
3. 주장하는 현상은 왜 일어난다고 보는가. (D 때문에 A이면 B가 된다)

논문이 정확히 어떤 주장을 하는가

논문의 결론 파트를 가져와보면:

Home library size has a loglinear effect on cognitive, numerical, and problem-solving skills that endure throughout life.

여기서 library size 는 16세 시절 집의 서재에서 (잡지/신문/교과서를 제외한) 종이책의 권수 다. 이 종이책의 권수(에 자연로그를 씌운 값)이 늘어날수록 전반적인 문해력/수리 능력/IT 기술을 활용한 문제 해결 능력이 늘어나며, 이 효과는 응답자의 현재 나이와 상관없이 나타났다(e.g., 25세 응답자든 65세 응답자든 16세 시절에 책이 많았다고 응답했던 사람이 문해력 점수가 높았다).

단, 연구에는 다음과 같은 한계가 있었다.

• 서재의 크기는 가정 내 학술적 문화(schollary culture)의 지표 중 하나에 불과하다.
• “16살 때 서재 크기가 얼마나 컸냐?”는 질문에 대해 25세-65세의 응답자가 기억을 되살려 대답한 것이므로 오류 가능성이 있다.
• 조사에 참여한, 그리고 서재의 크기가 큰 가족에게 다른 이질적 특징이 있는지는 확인되지 않았다.

주장의 근거는 무엇이며, 근거가 충분히 유효한가

결국 중요한 건, 이 논문을 읽고 (원글의 저자가 소개한 것처럼) 단순히 “아 나도 서재에 종이책 좀 더 쌓아놔야지” 라는 행동을 하는 걸로 과연 충분한가? 라는 것이었다. 즉 얼마나 인과관계가 있냐는 건데…

기본적으로 이 연구는 Family scholarly culture and educational success: Books and schooling in 27 nations 라는 선행연구의 후속판으로 보였다. (저자 그룹이 겹침 - Joanna Sikora, M.D.R. Evans). 저자는 이 선행연구를 다음과 같이 인용했다.

prior research using longitudinal data … showed that a substantial impact of home library size on adult education existed net of the effects of academic ability (IQ) of adults or their father's scholarly habitus (i.e. employment in occupations where use of books is common) as well as family income or wealth.

즉 부모의 IQ, 직업, 재산 수준에 따르는 효과를 제하고도 ‘청소년기의 서재 크기가 성인 시절 교육 수준에 미치는 효과’는 통계적으로 유의했다는 것이다.

일단 여기까지는 고무적이다. 그러면 책 권수를 어디까지 늘려야 얼마나 효과가 있는가?

문해력, 수리 능력, 문제 해결 능력 3가지에서 비슷한 패턴이 나왔다.

저자에 따르면 책이 대략 80권이 되었을 때 각 능력이 전체 응답자의 평균 수준을 보이게 되며, 350권 이후로는 거의 차의가 없다. 즉 diminishing return이 있다.

각 모델의 변수들이 성인의 문해력에 미치는 효과의 크기는 어떠한가? 를 분석한(path analysis) 것도 있었는데, 이걸 보니 직접적 효과가 뭐고 간접적 효과가 뭔지 어느정도 이해할 수 있었다. 참고로 모델은 이렇게 생겼다.

Literacy = f(ln_Books_in_adolescence, Parents'_education, Respondent_education, Respondent_occupation, Age, Female, Reading_at_home)

현재 문해력 수준 = f(청소년기에 서재의 종이책 권수, 부모의 교육 수준, 응답자의 교육 수준, 응답자의 직업 수준, 응답자의 현재 나이, 응답자의 성별, 응답자가 업무 외적으로 책을 읽는 정도)

그리고 이 모델의 간접적 효과와 직접적 효과를 합쳐 전체 효과 크기를 보여준 표도 있었다.

근데 내가 통계에 문외한이라 이게 뭔 뜻인지 잘 모르겠더라. 그래서 ChatGPT에게 두 그림을 주고 해석을 부탁했다. 이게 효과가 큰 거냐 작은 거냐, 도 물어보고. 그랬더니 이제 좀 이해가 됐다.

기본적으로 통계적 효과의 유의성은 (표준편차 기준으로) 다음과 같이 해석하면 된다.

• 작은 효과 크기: 약 0.2 이하. 통계적으로 유의미할 수 있지만, 효과가 약하고 실질적으로 중요하지 않은 것으로 간주.
• 중간 효과 크기: 0.5 정도. 눈에 띄며 결과 변수에 중간 정도의 영향을 미치는 것으로 간주.
• 큰 효과 크기: 0.8 이상. 강력한 효과이며 실질적으로 중요한 것으로 간주.

단, 모수가 큰 사회과학 연구에서는 이 기준을 각각 0.1, 0.3, 0.5 정도로 낮춰도 된다고 한다. 그렇다면 0.274, 0.277, 0.207이라는 효과 크기는 꽤 유의미한 수치라고 할 수 있겠다. 추가로 ChatGPT가 R-squared에 대해서도 알려줬는데, 예를 들어 0.17은 “literacy 점수 변화의 17%를 서재 크기가 설명한다”는 것이었다. 확실히 이정도면 작지는 않다.

1/8 업데이트: 한 AC2 도반께서 이 표는 표준편차가 아닌 OLS 회귀 모델(Ordinary Least Squares regression models)이라서 좀 다르게 해석해야 한다는 걸 알려주셨다. ChatGPT에게 배워보니 이 테이블을 이렇게 해석할 수 있었다.

• R²는 설명력, 또는 예측력이다. 청소년기 서재 크기와 성인 문해력 점수 사이에 0.17의 R²가 있다면, 다른 변수들을 제외하고 오롯이 서재 크기만으로 문해력 점수 변화의 17% 정도를 설명/예측할 수 있다는 의미다. 이정도면 아주 강한 효과는 아니다. (물론 R²가 최대값인 1이라고 해도 그게 인과관계를 나타내진 않는다.)
• Coefficient는 변화의 정도다. 응답자의 청소년기 서재 크기가 1 단위(서재에서 잡지 등을 제외한 책 권수에 자연로그를 씌운 값)만큼 변할 때 응답자의 현재 문해력 점수가 0.274점만큼 오르더라는 의미다. 이 계수는 1보다 클 수도 있고 음수일 수도 있다.
• Asterisk(*)는 이 모델의 신뢰도다. *의 갯수가 중요한데, **이면 0.01 범위에서 유의하다. 즉 이 데이터셋 내에서는 이 효과가 우연히 발생할 확률이 1% 미만이어서 충분히 재현 가능하다.

솔직히 각 항목을 이해하는 게 쉽진 않았는데, ChatGPT와 함께 한 짧은 통계공부는 엄청 재밌었다. 통계를 이 글에서 계속 다루는 건 논지에서 벗어나니 별도의 글로 정리해 남기려 한다.

주장하는 현상은 왜 일어나는가

아쉽게도 저자는 이 현상이 왜 일어나는지를 명확히 밝히진 않았다.

가능한 이유들을 나름대로 해석해보면 다음과 같다.

• 롤 모델: 자녀가 부모의 독서 행동을 따라한다.
• 전략 구축: 롤 모델, 또는 책 자체에서 배운 지식을 다양한 상황에서 효과적으로 적용하는 전략을 배운다.
• 인지 기술 발달: 책을 매개로 가족 안에서 일어나는 사회적 인터랙션을 통해 다양한 인지 기술(스토리텔링, 상상하기, 어휘 등)이 발달한다.

현상을 정확히 밝히는 책임은 후속연구로 넘겼길래, 이에 관련된 저자들의 연구가 있는지 잠깐 찾아봤는데 잘 나오진 않아 아쉬웠다.

사실 나는 이런 연구는 일란성 쌍둥이나 입양아를 기반으로 한 후속 연구로 검증이 되어야 확실히 인과관계 파악이 되지 않나 싶었는데 레퍼런스에 하나가 있긴 하더라(Cultural capital, teacher bias, and educational success: New evidence from monozygotic twins). 아무튼 여기까지만 해도 원래 계획했던 것보다 훨씬 시간을 더 많이 썼기 때문에 논문 탐색은 여기까지 하기로 했다.

맺으며

결론적으로, ‘책을 읽지 않고 쌓아두기만 해도 자녀의 학업성취도가 올라간다’는 허구다. 이 글을 쓰기 전에 AC2 디스코드에 원글의 링크를 올렸었는데, 마침 창준님의 페북에 글을 쓰셨다.

일단 이 연구에서는 "책을 읽지 않았어도"라는 말은 할 수 없다. 당시에 책을 얼마나 읽었나는 조사를 안했기 때문이다. 책을 쌓아두는 것으로 효과가 있다(인과관계)는 말도 못한다. 이건 상관성 연구이기 때문이다. 게다가 학업성취도 얘기도 못한다. 학업성취도는 측정을 안했다. 참고로 논문에서는 쌓아둔다는 말은 한번도 등장하지 않고, 집안의 "library size"라고 표현하고 있다.

하지만 이쪽 학계에서는 ‘학술적 문화(schollary culture)’라는 개념이 자녀 교육에 유효하다는 건 이미 잘 알려진 이론인 것 같았다. 이 논문은 그중에서도 학술적 문화를 구축하는 한 요인인 ‘서재의 크기’에 대해 다뤘을 뿐. 논문을 읽다 보니, 학술적 문화를 구축하는 삶의 방식이 중요하지 ‘어찌됐든 서재에 책을 추가하는’ 건 역시 아니었다는 걸 확인하게 되어 만족스러웠다. 연구 결과 읽는 방법을 배운 건 덤이다.

추가로, 꼭 종이책이어야 하는가? 도 궁금했는데 관련된 연구도 많이 진행된 모양이다. 논문에는 디지털 매체와 비교할 때, 종이책으로 정보를 읽는 것이 ‘복잡한 내용을 이해하고, 읽었던 걸 기억해내고, 가정 내 독서 문화 형성에 유리하다’는 내용도 나왔다.

Specifically, metanalyses of studies that compare reading of printed and digital materials point to the advantages of reading printed books for deep comprehension of complex content (Singer and Alexander, 2017), retrieving specific information (Mangen et al., 2013), and facilitating shared family reading time (Kucirkova and Littleton, 2016).

나는 집에 서재는 크게 있고 아이와 동화책은 많이 읽었지만, 개인적으로는 종이책은 작년에 한 권도 안 읽었다. 2023년도 독서노트를 정리하면서, 그 많은 전자책을 읽은 거 대비 남은 게 그리 많지는 않았다는 걸 고려해보면 올해의 독서 행태가 조금 바뀔지도 모르겠다. 다음에 여유가 되면 이 논문들도 읽어보려 한다.