Word embeddings quantify 100 years of gender and ethnic stereotypes
Nikhil Garg, Londa Schiebinger, Dan Jurafsky, and James Zou, 2018, PNAS
해당 논문은 카이스트 HSS312 "Computational Social Science" 수업에서 처음으로 접한 연구입니다!
Word Ebedding 이 사회 연구에 어떻게 적용될 수 있는 지를 보여주는 좋은 연구라 생각하여, 첫 논문 리뷰로 선정하였습니다!
저는 이 논문에서 필요한 부분이, Embedding bias 를 어떻게 측정했는가? 입니다. 그래서 해당 부분을 이해하는 데 필요한 부분만 뽑아내어 정리하였습니다. 이외 정보가 필요하신 분은, https://www.pnas.org/content/115/16/E3635.short 링크를 참조하셔서 본문을 읽어나가시면 좋을 것 같습니다!
초록부터
워드임베딩에 대한 설명으로 논문은 시작합니다.
워드 임베딩이란, 언어를 벡터로 표현하는 것입니다. 단어가 벡터 값을 가지게 되면서, 단어들간의 의미적 관계를 수학적으로 구체적으로는 gemetry 속에서 포착할 수 있습니다.
이 연구는, 워드 임베딩이 역사적 흐름과 사회적 변화를 포착하는 데 아주 강력한 역할을 할 수 있음을 시사합니다. 이 연구는 미국 내의 gender와 소수 인종에 대한 stereotype 이 어떻게 진화해 왔는지를 잡아내는 데 연구목적이 있습니다.
이 연구의 embedding은 사회적 변화를 잡아냈습니다. 시간의 변화에 따른 인구통게학과 직업적 변화를 적절히 포착해 냈습니다. 이 연구의 프레임 워크는 머신러닝과 양적 사회 과학 연구 사이의 교차점을 제공한다는 데 의의가 있습니다.
어떻게 했는데?
1. 사용한 모델과 목적
| 모델 | 목적 |
| the standard Google News word2vectors | 현시대 데이터 embedding 데이터를 제공[contemporary snapshot analysis] |
| Google Books/Corpus of Historical American English (COHA) embeddings | 1900년대의 embedding 데이터 제공[historical temporal analysis] |
| GLoVe algorithm, embeddings from the New York Times Annotated Corpus |
추가 검증 데이터(기간은 1998 ~2005) [additional validation] |
2. 각 집단별 대표 단어 선정
이 논문의 목적은 gender와 소수 인종에 대한 stereotype의 흐름을 word embedding을 통해 파악하는 데 있기 때문에, gender와 소수 인종을 대표할 수 있는 word 목록이 필요합니다.
이 논문에서 실제 사용된 gender 그룹을 대표하는 목록은 다음과 같습니다. (인종 관련 단어는 생략하였습니다.)
| Man words | he, son, his, him, father, man, boy, himself, male, brother, sons, fathers, men, boys, males, brothers, uncle, uncles, nephew, nephews |
| Woman words | she, daughter, hers, her, mother, woman, girl, herself, female, sister, daughters, mothers, women, girls, femen, sisters, aunt, aunts, niece, nieces |
본 논문에서는 그룹별 대표 단어의 임베딩 값들과 비교가될 비교 단어 목록은 neutral 단어라 명명했습니다. neutral 단어 그룹은 직업과 형용사로 구성됩니다.
| 직업 | janitor, statistician, midwife, bailiff, auctioneer, photographer, geologist, shoemaker, athlete, cashier, dancer, housekeeper, accountant... |
| 형용사 | headstrong, thankless, tactful, distrustful, quarrelsome, effeminate, fickle, talkative... |
3. Embedding bias matrix 구성
그룹별 대표 단어들이 얼마나 bias 되었는지를 파악하기 위한, Embedding bias matrix를 구성하였습니다. 해당 matrix의 구성 원리는, 그룹 대표 단어들과 neutural(중립) 단어들간의 거리입니다.
본문의 예시인 woman 그룹에 대한 Embedding bias matrix가 만들어지는 과정을 통해, 조금 더 자세히 알아도록 하겠습니다.
1) gender 그룹 단어와 각 직업 단어 그룹 사이의 거리를 계산한다.
앞서 다뤘듯이, 각 단어들은 embedding 모델들을 통해 임베딩(벡터 값)을 갖게 됩니다. 따라서, 벡터 공간에서 단어와 단어 사이의 거리를 계산할 수 있습니다. 예를 들면,
woman 그룹 내 모든 단어들(she, female....)의 임베딩 값과 teacher 임베딩 값 사이의 거리의 평균
man 그룹 내 모든 단어들(he, male...)의 임베딩 값과 teacher 임베딩값 사이의 거리의 평균
각 그룹의 teacher 에대한 평균 거리 값을 통해, woman 그룹과 man 그룹의 단어들이 teacher와 평균적으로 어느정도 떨어져있는지를 파악할 수 있습니다.
woman 그룹 내 모든 단어들의 임베딩 값과 teacher 임베딩 값 사이의 거리의 평균
- man 그룹 내 모든 단어들의 임베딩 값과 teacher 임베딩값 사이의 거리의 평균
= teacher에 대한 Embeding Bias 값
Embedding bias matrix 구성에 대한 이해를 조금 더 확장하기 위해서, 매트릭스 구성 과정의 예시를 그려보았습니다.
