Skip to content

meeting_20180314

Jump to bottom
Kodama Yuichi edited this page Mar 1, 2018 · 16 revisions

2018-03-14 打合せ

日時: 2018-03-14（水）15:00-
場所: W207
参加: 岡別府、藤澤、児玉、運用チーム（藤本、佐藤）

アジェンダ

  • ルール実装の進捗確認
  • 運用開始に向けての調整
    • Nagios 監視運用チームへの依頼
    • 本番環境とステージング環境での異常通知の発生
    • スパコンチームへの依頼内容
    • ルールID
    • バージョン管理
    • SSM への組み込み完了
    • ウェブサイト
  • Annotated Sequence Validator（TogoAnnotatorの利用）の実装開始

ルール実装の進捗確認

  • BioProject Validationの実装(岡別府)　(27/27ルール)
  • DRA Validationの実装(岡別府)　(29/32ルール)
  • BioSample Validationの実装(岡別府)　(追加1ルール)
  • biosample package の rdf に tsv での提供順情報を持たせる (藤澤)
    ← package 指定毎の attribute リストを順番に取得する SPARQL 教えてください（児玉）
  • 更新手順書等ドキュメント作成 => 進捗なし、BioSampleで1ルール追加実装時に作成する

運用開始に向けての調整

Nagios 監視

  • staging監視
    1月の打ち合わせで、藤澤様からスパコンチームに依頼していただくことになりました。
    運用チームでは追跡していませんが実施済みでしょうか。→ 2/20 スパコンチームに依頼済

スパコンチームへの依頼内容

次の事項を依頼予定 → 2/20 スパコンチームに依頼済

  • Staging環境のTimeout 300 / KeepAlive Offの設定については元に戻して頂く(本番環境と揃えるため)
  • 403の設定については、現状効いていないので提案する設定を渡す

現行設定

<Location /api>
  Require ip (制限許可IPの記述)
  ErrorDocument 403 /api/forbidden.json
</Location>

修正後設定 (内容:"/api/"であり"/api/error_*.json"ではないURIにアクセスをかけるように修正)

<LocationMatch "/api/(?!(error_.*\.json))">
  Require ip (制限許可IPの記述)
  ErrorDocument 403 /api/error_forbidden.json
</LocationMatch>

ルールID

  • ルールIDの体系は以下の通りとする。各ルールシートに記載した。開発中の DOR も揃えた (★児玉)
[DB名]_[A-Z]+\d{4} とする。   
[A-Z]+ 部分はツールやチェックの種類等、各システムで区別するのに使う  
例 trad JParser JP0001 → "DDBJ_JP0001", trad TransChecker TC0001 → "DDBJ_TC0001"

BioProject/BioSample/DRA validator では R (Rule の R) に統一

[DB名]_[R]+\d{4} とする。例："BS_R0001" "BP_R0001" "DRA_R0001"

バージョン管理

  • ルール及びパッケージの定義に関しては、GitHubでレポジトリを分けて管理する(★児玉)
    => https://github.com/ddbj/pub で作成済み
  • バリデーションでこれらルールを取り込むタイミングで日付に基づいたバージョンをつける。取り込む際はルール定義=>JSON、パッケージ定義=>OWLに変換するので、変換したものにバージョンを付与する。
  • バリデータについてはデプロイするタイミングでバージョンを付与する。これはセマンティックバージョニングになる(1.0.2等)
  • APIの仕様(メソッド)を変える場合にもバージョンをつける。稀にしか発生しないのでこれもセマンティックバージョニング。
    • APIのバージョンについては、全てのバージョンの定義ファイル(openapi.json)を残しておき、バージョン毎にさせるようにする。バージョン指定がない場合は最新バージョンの仕様を返す。

SSM への組み込み完了

2/14 に biosample 内部管理システム SSM に validtor を組み込み

  • warningがすべてexternalで返ってきます。バグと思われます。

ウェブサイト

rule list は github https://github.com/ddbj/pub/tree/master/rules/biosample
ドキュメントは 日本語 https://www.ddbj.nig.ac.jp/biosample/validation.html
英語　https://www.ddbj.nig.ac.jp/biosample/validation-e.html

#rule_id で統一的にアクセスできるようにする予定

別件

http://ddbj.nig.ac.jp/index.html
藤澤さん管理？
引き続き必要？

URL 方針

次回

3/14(水) 15:00〜

メモ

Nagios 監視

staging環境をスパコンチームに依頼する(藤澤)

externalなwarning

warningがすべてexternalで返ってくるが、warningにinternal_ignoreなルールが一つも定義されていないため。
internal_ignoreは内部システムで無視できるというフラグだが、そもそもwarning自体が無視できるルールなので、warningでinternal_ignore(external)なものはない。
そのためcommon_warning/external_warningは区別がなく削除してもよいが、将来的にinternal_ignoreなwarningだけエラー表示から外すといった処理をかけることがあるかもしれないので、残しておく。

D-way(SSM)のチェックルールとの統合

D-wayではSampleNameがない、属性が重複していないか、属性に対する値(候補値)等をチェックしているが、Validationと重なっている部分がある。
統合できる方がUIとしても良いので、D-way側のチェック内容をリストアップする(運用T)
TSVチェック時の他の入力データ(submitter_id等)をまとめてもらえると検討しやすい

スパコンチームへの依頼内容

依頼内容に沿うようにsinatra側を修正(forbidden.json => error_forbidden.json)してから(岡別府)、メールで連絡する(藤澤)

バージョン管理

フロー図をまとめる(岡別府)

ウェブサイト

2/22にstaticサイトに切り替えその後 D-way での validator リリースまでにヘルプページを準備する。公開されたらルール定義のreference列にURLを入力し(児玉)、現在reference情報を配列で返しているValidationをテキストで返すように修正する(岡別府)。D-way側でもルールに対してリンクを貼ってユーザが確認できるようにする(運用 T)。

DORバリデーションの実装

DORでAPIサーバをまだ立てていないのであれば、URLなどを既存(biosamle用)APIサーバにまとめた方が良い。(既存sinatra側からDORバリデーターを叩く設定をする)

It works!

http://ddbj.nig.ac.jp/index.html
It works! について藤澤さんスパコンチームに確認 → 2/20 スパコンチームに問い合わせ済

SSM validator 実装

  • auto-correct された tsv xml を download する口はない
  • DB から直接 xml を validator にかけるパスはなくファイル upload 必要
  • validate & submit は common error あると submit されない、上部の submit は独立しているので common error あっても submit できる
  • D-way でやっているような xsd、sample name 重複などのベーシックなチェックは SSM では v 導入にあわせ外した、ある意味 D-way で外せるかどうかのテスト環境になっているのでわざと tsv 変えていろいろ試してみる

d-way release 後の不具合、要望など

github issues で

validator の deploy 手順

reference array --> string で biosample 内部管理システムでエラー発生

validator deploy 手順、情報共有方法

まずは D-way DDBJ 管理システムのテスト版でチェック

本番リリース

という手順ルールを定めたい

submission/validation api

Clone this wiki locally