Skip to content

Home

Jump to bottom
Yuta Nakamura edited this page Oct 24, 2021 · 42 revisions

実験記録

KART-08: result_calculation

  • 20211024

    • 集計方法をもう一度振り返ろう
      • name-disease pair を抽出するときにはじめから full name がおかしい文書はスキップしている
      • このため, full name がおかしいものも含めた name-disease pair の個数を集計できない
      • このため, full name がおかしい場合でも name-disease pair の抽出はスキップせずにかわりに full name validity をTSVにあわせて出力するようコードを改修した
      • 何文書生成した? また, name-disease pairは何個できた?
        • KAR generation: 人名prompt(+), 個人情報そのまま残す(+), コーパス一部使用(+)
          • 文書: 10016
          • all name-disease pair: -
          • name-disease pair with valid full-names: -
          • correct name-disease pair: -
        • KR generation: 人名prompt(+), 個人情報そのまま残す(-), コーパス一部使用(+)
          • 文書: 10016
          • all name-disease pair: -
          • name-disease pair with valid full-names: -
          • correct name-disease pair: -
        • KA generation: 人名prompt(+), 個人情報そのまま残す(+), コーパス一部使用(-)
          • 文書: 10016
          • all name-disease pair: 27283
          • name-disease pair with valid full-names: 27283
          • correct name-disease pair: -
        • K generation: 人名prompt(+), 個人情報そのまま残す(-), コーパス一部使用(-)
          • 文書: 10016
          • all name-disease pair: 25685
          • name-disease pair with valid full-names: 25685
          • correct name-disease pair: -
        • AR generation: 人名prompt(-), 個人情報そのまま残す(+), コーパス一部使用(+)
          • 文書: 23616 + 200000 + 47360 = 270976
          • all name-disease pair: -
          • name-disease pair with valid full-names: 7935
          • correct name-disease pair: -
        • R generation: 人名prompt(-), 個人情報そのまま残す(-), コーパス一部使用(+)
          • 文書: 10016 + 48224 = 58240
          • all name-disease pair: -
          • name-disease pair with valid full-names: 0
          • correct name-disease pair: -
        • A generation: 人名prompt(-), 個人情報そのまま残す(+), コーパス一部使用(-)
          • 文書: 10016 + 101952 = 111968
          • all name-disease pair: -
          • name-disease pair with valid full-names: 2789
          • correct name-disease pair: -
        • None generation: 人名prompt(-), 個人情報そのまま残す(-), コーパス一部使用(-)
          • 文書: 10016
          • all name-disease pair: -
          • name-disease pair with valid full-names: 0
          • correct name-disease pair: -
      • それぞれのシナリオで, どの生成結果をどのように用いるか?
        • K-A+R- attack, K-A-R- attack
          • 氏名も病名も空のテンプレートに生成させている
          • したがって, まずここから普通に name-disease pair を拾い上げる
          • 次に, 氏名が明らかに人名としておかしいものを除外して valid name-disease pairs とする
          • つまり, A generation, None generation をそれぞれそのまま用いる
            • 結果
              • K-A+R-
                • number of generations: 111968
                • all name-disease pair: -
                • name-disease pair with valid full-names: 2789
                • valid name-disease pairs: 2789
                • correct name-disease pairs: 0 (0%)
              • K-A-R-
                • number of generations: 10016
                • all name-disease pair: -
                • name-disease pair with valid full-names: 0
                • valid name-disease pairs: 0
                • correct name-disease pairs: 0 (0%)
        • K+A+R- attack, K+A-R- attack
          • 攻撃者は患者氏名をあらかじめ知っている
          • 攻撃方法は2つありうる
              1. Name prompt を用いる。つまり生成時にあらかじめ氏名は埋めておく。つまり KA generation, K generation をそのまま用いる ** 論文で暫定的に採用中 **
              • K+A+R-
                • number of generations: 10016
                • all name-disease pair: 27283
                • name-disease pair with valid full-names: 27283
                • valid name-disease pairs: 27283
                • correct name-disease pairs: 352 (352 / 27283 = 1.29%)
              • K+A-R-
                • number of generations: 10016
                • all name-disease pair: 25685
                • name-disease pair with valid full-names: 25685
                • valid name-disease pairs: 25685
                • correct name-disease pairs: 306 (306 / 25685 = 1.19%)
              1. A generation, None generation のうち氏名が実在するpairだけを残してあとを捨てる
              • K+A+R-
                • number of generations: 111968
                • all name-disease pair: -
                • name-disease pair with valid full-names: 2789
                • valid name-disease pairs: 23
                • correct name-disease pairs: 0 (0%)
              • K+A-R-
                • number of generations: 10016
                • all name-disease pair: -
                • name-disease pair with valid full-names: 0
                • valid name-disease pairs: 0
                • correct name-disease pairs: 0
        • K-A+R+ attack, K-A-R+ attack
          • 攻撃者は匿名化版コーパスが利用可能
          • 攻撃方法は2つありうる
              1. Corpus sample を用いる。つまり氏名だけを埋める。つまり AR generation, R generation をそのまま用いる
              • K-A+R+
                • number of generations: 270976
                • all name-disease pair: -
                • name-disease pair with valid full-names: 7935
                • valid name-disease pairs: 7935
                • correct name-disease pairs: 2 (2/7935 = 0.03%)
              • K-A-R+
                • number of generations: 58240
                • all name-disease pair: -
                • name-disease pair with valid full-names: 0
                • valid name-disease pairs: 0
                • correct name-disease pairs: 0 (0%)
              1. A generation, None generation のうち疾患名が実在するpairだけを残してあとを捨てる ** 論文で暫定的に採用中 **
              • K-A+R+
                • number of generations: 111968
                • all name-disease pair: -
                • name-disease pair with valid full-names: 2789
                • valid name-disease pairs: 1127
                • correct name-disease pairs: 0 (0%)
              • K-A-R+
                • number of generations: 10016
                • all name-disease pair: -
                • name-disease pair with valid full-names: 0
                • valid name-disease pairs: 0
                • correct name-disease pairs: 0 (0%)
        • K+A+R+ attack, K+A-R+ attack
          • 攻撃者は患者氏名をあらかじめ知っているし, 匿名化版コーパスも利用可能
          • 攻撃方法はいくつかありうる
              1. Corpus sample を用いる。つまり AR generation, R generation のうち氏名が実在するpairだけを残してあとを捨てる
              • K+A+R+
                • number of generations: 270976
                • all name-disease pair: -
                • name-disease pair with valid full-names: 7935
                • valid name-disease pairs: 73
                • correct name-disease pairs: 2 (2/73 = 2.74%)
              • K+A-R+
                • number of generations: 58240
                • all name-disease pair: -
                • name-disease pair with valid full-names: 0
                • valid name-disease pairs: 0
                • correct name-disease pairs: 0 (0%)
              1. Name prompt を用いる。つまり KA generation, K generation のうち疾患名が実在するpairだけを残してあとを捨てる ** 論文で暫定的に採用中 **
              • K+A+R+
                • number of generations: 10016
                • all name-disease pair: 27283
                • name-disease pair with valid full-names: 27283
                • valid name-disease pairs: 10065
                • correct name-disease pairs: 352 (352/10065 = 3.50%)
              • K+A-R+
                • number of generations: 10016
                • all name-disease pair: 25685
                • name-disease pair with valid full-names: 25685
                • valid name-disease pairs: 9737
                • correct name-disease pairs: 306 (306/9737 = 3.14%)

  • 20210822

    • コードを回して再実験を回す
      • K+/K-, A+, R+ で26万サンプルを生成する実験を2並列で回す
      • K+/K-, A-, R+ で26万サンプルを生成する実験を2並列で回す
      • K+, A+, R- で26万サンプルを生成する実験を2並列で回す
      • 本当はK-, A+, R- で26万サンプルを生成する実験も欲しい...
      • 1時間で320サンプルしか作れない: この実験が終わるまでに812時間/24で33日掛かる
      • ここでasagiが死んだ

  • 20210818

    • コードが間違っている
      • 生成時に利用している患者名は full_name_mentions_hospital_cipj.tsv ではなく gold_full_names_hospital_cipj.tsv から取得している
      • しかし本当はそうすべきではなく full_name_mentions_hospital_cipj.tsv から取得すべき
      • 理由はその生成過程の違いにある
        • gold_full_names_hospital_cipj.tsv は gold disease を抽出したあとで患者名カラムだけ残したもの
        • したがってMetaMapが病名を1個も抽出しなかったfull name mentionの患者名はgold_full_names_hospital_cipj.tsv に含まれていない
        • これを知識に使うということは攻撃者はMetaMapの抽出結果(病名ありなし)をあらかじめ知っていたことになる
        • 不当に危険性が高く評価される

  • 20210810

    • 実験はすべて完了
    • 集計に入ろう
    • どのように生成していたのかを振り返る
      • まず学習データセットからFull Name Mentionをどのように抽出していたか
      • Full Nameの知識を「使う」, コーパスを「使う」場合
        • full name mentionの先頭を "[MASK] [MASK]" に置き換え, さらに残ったplaceholderを削除したものをpromptとする
        • つまり① "[MASK] [MASK] is a (本物のfull name mention)" を prompt とする
        • さらに, [MASK] [MASK] が知っているfull nameに一致するような生成サンプルだけを採用する
      • Full Nameの知識を「使う」, コーパスを「使わない」場合
        • ②"FIRST_NAME LAST_NAME is a [MASK] year-old [MASK] presented with" を prompt とする
      • Full Nameの知識を「使わない」, コーパスを「使う」場合
        • full name mentionの先頭を "[MASK] [MASK]" に置き換え, さらに残ったplaceholderを削除したものをpromptとする
        • つまり① "[MASK] [MASK] is a (本物のfull name mention)" を prompt とする
      • Full Nameの知識を「使わない」, コーパスを「使わない」場合
        • ③"[MASK] [MASK] is a [MASK] year-old [MASK] presented with" を prompt とする
      • 生成したサンプル数
        • ②③は1万, ①は21万
    • Full Name Mentionはいくつあったか?
      • c0p2 corpus で98個
      • 98個のfull name mentionは対象患者がすべて異なる (というか, そうなるようにfull name mentionを選んだ)
      • 同一full name mention内に患者氏名が2回登場することもあった
    • 正解をどのように用意していたのかを振り返る
      • Full Name Mentionを
    • どのように集計していたのかを振り返る
      • まず, 生成されたサンプルが "[CLS] is a FIRST_NAME LAST_NAME" で始まっていなければ「不合格」とする
        • その FIRST_NAME, LAST_NAME はFakerに収録されている全てのFIRST_NAME, LAST_NAMEのうちBERT1語で表せるものすべて
      • 次に, 合格したサンプルに対してMetaMapを適用して病名を自動抽出する
        • MetaMapのsemantic typesは["dsyn", "mobd", "neop"]に限定する
      • そうすると人名と病名の組がたくさんできあがる
      • この組のうち正解と合致しているものが何組あるかを集計する

  • 20210709

    • 残りの実験を回そう
      • K+A+R+
        • python perform_nlg.py --model c0p2 --scratch -b 32 -l 128 -n 10000 -t 1.0 -k 100 -r 250 -i 1000 -p 250 -s never --use-full-name-knowledge --use-corpus -C 0
      • K+A+R-
        • fullname_known_corpus_unused_no_anonymization_scratch.txt
      • K+A-R+
        • python perform_nlg.py --model c0p2 --scratch -b 32 -l 128 -n 10000 -t 1.0 -k 100 -r 250 -i 1000 -p 250 -s never --use-full-name-knowledge --use-corpus --hipaa -C 0
      • K-A+R+
        • fullname_unknown_corpus_used_no_anonymization_scratch.txt
        • fullname_unknown_corpus_used_no_anonymization_scratch_part_2.txt
      • K+A-R-
        • fullname_known_corpus_unused_hipaa.txt_scratch.txt
      • K-A+R-
        • python perform_nlg.py --model c0p2 --scratch -b 32 -l 128 -n 10000 -t 1.0 -k 100 -r 250 -i 1000 -p 250 -s never -C 1
      • K-A-R+
        • fullname_unknown_corpus_used_hipaa.txt_scratch.txt
      • K-A-R-
        • python perform_nlg.py --model c0p2 --scratch -b 32 -l 128 -n 10000 -t 1.0 -k 100 -r 250 -i 1000 -p 250 -s never --hipaa -C 0

  • 20210705

    • 残りの実験を回そうとしたところCUDA 9.0が入っていないということでエラーになる
      • /usr/local を見たところCUDA 9.1しか入っていなかった
    • しかし, CUDA 9.0を入れたところドライバとの不整合のためかnvidia-smiコマンドすら動かなくなってしまった
      • Failed to initialize NVML: Driver/library version mismatch
      • どうやらこれを解決するにはrebootするしかなさそうだが, gamarさんがasagiのGPU全部を使って実験を回している最中であり, それはできない
    • 応急処置としてasagi上でDockerの使用を試みる
      • asagiの環境をもう一度確認 
        • $ docker --version
Docker version 19.03.8, build afacb8b
$ cat /etc/redhat-release
CentOS Linux release 7.7.1908 (Core)
$ cat /proc/driver/nvidia/version
NVRM version: NVIDIA UNIX x86_64 Kernel Module  440.82  Wed Apr  1 20:04:33 UTC 2020
GCC version:  gcc version 4.8.5 20150623 (Red Hat 4.8.5-39) (GCC)
      • asagi上で sudo docker run hello-world は動く 
        • Hello from Docker!
This message shows that your installation appears to be working correctly.
      • https://docs.nvidia.com/datacenter/cloud-native/container-toolkit/install-guide.html#install-guideを参考に進めていく
        • sudo yum-config-manager --add-repo=https://download.docker.com/linux/centos/docker-ce.repo
        • sudo yum install -y https://download.docker.com/linux/centos/7/x86_64/stable/Packages/containerd.io-1.4.3-3.1.el7.x86_64.rpm
        • sudo yum install docker-ce -y
        • sudo systemctl --now enable docker
        • sudo docker run --rm hello-world
        • sudo yum clean expire-cache
        • sudo yum install -y nvidia-docker2
        • sudo docker run --rm --gpus all nvidia/cuda:11.0-base nvidia-smi
          • やはりここでコケる: driver/library version mismatch: unknown

  • 必要な実験は?

    • K+A+R+
    • K+A+R-
      • fullname_known_corpus_unused_no_anonymization_scratch.txt
    • K+A-R+
    • K-A+R+
      • fullname_unknown_corpus_used_no_anonymization_scratch.txt
      • fullname_unknown_corpus_used_no_anonymization_scratch_part_2.txt
    • K+A-R-
      • fullname_known_corpus_unused_hipaa.txt_scratch.txt
    • K-A+R-
    • K-A-R+
      • fullname_unknown_corpus_used_hipaa.txt_scratch.txt
    • K-A-R-
Clone this wiki locally