-
Notifications
You must be signed in to change notification settings - Fork 0
meeting_20171226
日時: 2017-12-26（火）10:00-
場所: W207
参加: 岡別府(遠隔)、藤澤、児玉、運用チーム（藤本、佐藤）
- 進捗確認
- Nagios 監視運用チームへの依頼
- 運用開始に向けての調整 with 運用チーム
- DOR 2018/5月末 開始のための準備
- 来年度以降の対応について
-
BioProject Validationの実装(岡別府) (27/27ルール) => 進捗なし
-
DRA Validationの実装(岡別府) (29/32ルール) => 進捗なし
-
BioSample Validationの実装(岡別府) (追加1ルール) => 未実装
-
biosample package の rdf に tsv での提供順情報を持たせる (藤澤) => 進捗なし ← package 指定毎の attribute リストを順番に取得する SPARQL 教えてください（児玉）
-
安定稼働対策
- validatorの死活監視と通知メール設定 => Nagios用スクリプト作成
-
更新手順書等ドキュメント作成 => 進捗なし、BioSampleで1ルール追加実装時に作成する
-
BioSample一括Validationの実施 => 今回実施なし
-
DDBJ 居室が private IP アドレス化されたが validator は問題なく使えている（児玉）
⇒ 大量研、VPN、DDBJ 2F を許可 IP リストに追加（藤澤） -
BioSampleにValidatorを使用した結果の報告、要望
- スパコン環境からアクセスできない
[ts-mass@t018 ~]$ curl -k -X POST "https://ddbj-staging.nig.ac.jp/api/validation" -H "accept: application/json" -H "content-type: multipart/form-data" -F "[email protected];type=text/xml" <!DOCTYPE HTML PUBLIC "-//IETF//DTD HTML 2.0//EN"> <html><head> <title>403 Forbidden</title> </head><body> <h1>Forbidden</h1> <p>You don't have permission to access /api/validation on this server.</p> </body></html>
⇒ スパコンの NAT IP から staging と本番にアクセスできるようにスパコンＴに依頼する （藤澤）
- 上記エラーのようなパーミッションエラーなど、apache(?)が返却するエラーもjson形式にしてほしい
⇒ validator の 200 etc json の同じフォーマットで返すようにスパコンＴに依頼する （藤澤） - API利用側で、何かの拍子でuuidが失われた場合、postからやり直すしかないという考えだが正しいか。
⇒ 正しい （岡別府） - postが返ってこずにタイムアウトした場合はpostをやり直すしかないが、何度でもいつまででもやってよいか。(あり得ない？)
⇒ フロントの apache タイムアウトはデフォルト 60 sec から長めの 5 min に設定するようスパコンＴに依頼、unicorn の worker 数は岡別府で設定できる。タイムアウト発生したら運用Ｔが報告し設定変更を都度検討する （藤澤） - 返却されるjsonのキー名に"-"を使わないでほしい
javaでjson-pojoのマッピングができない
(ライブラリを使ったオートマッピングの話。自前でパースすれば何とでもなる)
⇒ 全て "_" に置換する、使ってる箇所は全部岡別府の管理内なので問題ない （岡別府） - APIドキュメントのtypo
runnning -> running (nが1つ多い)
⇒ 修正する （岡別府） - messageのidは文字列が返ってくる
Swaggerのmodelだとintegerになっていて、内容的にも数値型が正しいように見えるが。 ⇒ rule は ddbj オフィシャルなので id に prefix つけるとか検討必要。ひとまず文字列で （藤澤、児玉） - annotationのvalueは、is_xxxがあろうとなかろうと常に配列にしてほしい
同じ名前で配列の場合とそうでない場合があるのに困った
現在は暫定的に一度"Object"型で受け取るようにしている
=> 現在はis_xxxがあろうとなかろうと常に文字列、で解決している？(ただしstaging環境の返却値はまだ混在している)
⇒ suggest の方の value を suggested_value に変える （岡別府） - error_count/warning_countと、internal_ignore_error_count/internal_ignore_warning_countの数の関係は？
error_count=1, internal_ignore_error_count=1 のとき、エラーの総数は1か2のどちらか？
⇒ 下のドキュメント参照 （岡別府）
- スパコン環境からアクセスできない
[監視対象URL]
https://ddbj.nig.ac.jp/api/monitoring
https://ddbj-staging.nig.ac.jp/api/monitoring
[監視内容]
レスポンスに"OK"というテキストが含まれる => 正常稼働中
レスポンスに"OK"というテキストが含まれない => 異常発生(要通知)
レスポンスが200番以外 => 異常発生(要通知)
[通知先アドレス]
[email protected]
⇒ 運用Ｔで対応する （藤本、佐藤）
internal_ignore(内部システムでは無視できる)ルールであるかの判別のため、"external"フラグを追加。
stats情報のJSONも区別がつくように"error_type_count"を追加。
現在 sample name は submission 単位で一意であるチェックを D-way でしており 0.9 でもチェックされる (rule 22)？
次期 1.0 ではアカウント単位か submission 単位にするか検討していたのですが、
新アカウントシステムではアカウント間の submission 移行を実現する予定なので現行と同じく submission 単位での一意チェックにすることにしました。
⇒ 0.9 では 28 で submisssion 単位でチェックしている、1.0 の 28 をアカウント単位から submission 単位に変更。新アカウントシステムで退職・異動時にアカウント間でデータを移行することがあるため、と、アクセッション番号発行後に id が二つある状況を避けるため (name は submit 時の internal id という位置づけ) （児玉）
- 2018/2 BioSample validator 運用開始
- 2018/3 以降？ DOR package テスト環境で導入、テスト
- 2018/5末 DOR package 導入 and DOR 開始
⇒ package 定義はマスターを更新 - rdf 化 - virtuoso にロードしておく、３月？DOR リリース時に切り替える。pacakge - organism チェックないので rule 追加は無いはず（児玉）
⇒ マスター更新に伴い、virtuosoのグラフを追加し、Validatorから呼び出すグラフ名を修正する必要がある。API、ルール、パッケージのそれぞれのバージョニングについて決めていないので後日調整する(児玉、藤澤、岡別府)
来年度以降の方向性を確認したい
- BioProject validatorの登録システムへの組み込み
- DRA validatorの登録システムへの組み込み
- DDBJ認証機能との連動(グループでの権限識別)
- 外部向けAPIの公開 ⇒ キュレーターの負荷を下げるためにBioProjectの組み込みは早めに行いたい。DRAより優先度が高い （児玉）
児玉追加
- DOR validator 児玉がつくってみる
- JGA validator
- submission api - XML での機械的 submit
⇒ 予算確定してからまた検討、次年度は jga 優先だけど認証だけ先にやっておくとか （児玉）
1/22 10:00-