🇰🇷 한국어 | 🇺🇸 English
보안분야 LLM Fine-Tune Pipeline 플랫폼 — 보안 데이터셋 구축(수집·정제·증강) → 다중 베이스모델 파인튜닝 → 평가 비교 → Agent 피드백 루프 → 야간 배치 자동 재튜닝·재배포.
스캐폴딩:
wise-dev-standard/ 프로파일python-fastapi/ 도메인ict-saas(+govtech·finance 델타) 문서: PRD · COMPLIANCE.md · 시험 표준
app/
├── main.py # FastAPI 엔트리포인트 (lifespan: DB init, /supervisor UI)
├── cli.py # secuftpl CLI — frontend 없이 파이프라인 실행 (F8)
├── web/
│ └── supervisor.html # Supervisor 파이프라인 시험 UI (F7, 로그인 없음·내부망 전용)
├── core/
│ ├── config.py # pydantic-settings (.env 주도)
│ ├── db.py # SQLAlchemy 엔진·세션 (DATABASE_URL)
│ └── schemas.py # canonical sft-messages 스키마 (PRD §7.2)
├── models/
│ ├── records.py # dataset_records(검수 큐)·pseudonym_map(가명화 매핑)
│ └── registry.py # model_registry (베이스모델 레지스트리, F2)
├── services/
│ ├── gate.py # 정제 게이트: 비밀값/내부자산/프롬프트주입 탐지 (§7.3 ②④⑦)
│ ├── sanitize.py # 가명화: 안정 토큰 치환 <KIND_0001> (§7.3 ⑤)
│ ├── dedup.py # 완전(sha256)·근접(shingle Jaccard) 중복 제거 (§7.3 ⑥)
│ ├── formats.py # F6 어댑터: alpaca/sharegpt/openai-chat ↔ canonical + dpo-pairs/eval-set export
│ ├── catalog.py # 시드 카탈로그 pilot 12/core/all (다운로드 스크립트 준용)
│ ├── hf_registry.py # 시드·유사판정·manifest·download plan (§7.5)
│ ├── model_download.py # 모델 다운로드 워커: registered→downloading→downloaded (F2)
│ ├── augment.py # E4 증강: 키워드 치환(보호 식별자 거부)·lineage (§7.4)
│ ├── evaluate.py # E3 평가 러너: json_valid/severity/attack F1 (§5)
│ ├── tuning.py # E3 잡 오케스트레이션·QLoRA 플랜·리더보드
│ ├── trainer.py # 학습 워커: 백그라운드 QLoRA(real/simulate 자동)·자동 평가 (§7.5)
│ └── batch.py # E6 야간 배치: 트리거 3모드·평가 게이트·이력 (§7.9)
└── api/
├── datasets.py # /api/v1/datasets — validate·convert·formats
├── records.py # /api/v1/records — ingest·augment·queue·review
├── registry.py # /api/v1/models — seed·pin·manifest·events/scan·download-plan
├── tuning.py # /api/v1/tuning — jobs·plan·complete·evaluate·leaderboard·resources(F9)·export-plan(F11)·eval-guide(F12)
├── feedback.py # /api/v1/feedback — Agent 환류(만족도)·stats (E5)
├── batch.py # /api/v1/batch — should-run·run·gate·runs·cron-plan (E6)
└── rag.py # /api/v1/rag — synthesize·upload·upgrade (F10)
frontend/ # E7 독립 Next.js 앱 (wise-FP 참고만 — 로그인 없음)
├── app/ # 대시보드·pipeline(단계별 위저드)·models·datasets·queue·tuning(리소스·export F9/F11)·leaderboard(평가가이드 F12)·rag(코퍼스 합성·모델 업그레이드 F10)
├── components/ # Shell(좌측 접이식 사이드바)·Stepper(단계 상태 카드)
├── lib/api.ts # same-origin /api/* (rewrites 프록시 → FastAPI)
└── next.config.mjs # NEXT_PUBLIC_API_BASE 프록시 설정
# 스타일: Genians CI 그린(#86BC25) — SeCuardian front 준용 (PRD §7.11)
test/ # pytest + 시험표준 (dev-env/, impl/<Nth>/)
scripts/ # run-pipeline.sh — 원스톱 파이프라인 오케스트레이션(F8 확장)
.docs/ # PRD·참고 문서·모델 다운로드 스크립트
Python 3.12+ · FastAPI · uv · SQLAlchemy 2/Alembic · PostgreSQL 17 · Redis 7.4 · Docker Compose v2 · Helm(K8s) · GitHub Actions(uv sync→ruff→pytest)
- Python 3.12+, uv, Docker Desktop(Compose v2), GNU Make
- Node.js (기본 프로세스 매니저 pm2 를
npx로 실행 — 대안:PROC_MGR=honcho) - (선택)
uv sync --extra mlx— F11 실 MLX export(Apple Silicon 전용,mlx-lm) - (선택) frontend e2e 시험:
cd frontend && pnpm exec playwright install chromium(Vitest 는pnpm install만으로 충분 — devDependencies 에 이미 포함) - 점검:
make preflight
| 파일 | DB | 용도 |
|---|---|---|
.env.local |
sqlite (sqlite:///./local.db) |
직접 실행, 외부 의존 최소 |
.env.dev |
postgres (compose) | 공유 개발 |
.env.staging |
postgres | prod 동등 리허설 |
.env.prod |
키 목록만 | Vault/Secret Manager 주입 전제 |
운영 옵션(PRD §7.9): FT_TRIGGER_MODE=schedule · HF_EVENT_MODE=polling(주 1회) ·
SATISFACTION_SCALE=binary · SERVING_STACK=ollama · DATASET_MIN_RECORDS=500(튜닝 시작 게이트) ·
JOB_MAX_GPU=1/JOB_MAX_VRAM_GB=24(잡 리소스 기본값, F9) ·
TOTAL_GPU_CAPACITY=2(시스템 전체 동시 학습 상한, 초과 시 큐잉) ·
DOC_PARSER=auto(PDF 파싱 백엔드: auto|pypdf|docling, F20). 전체 키는 .env.example.
실 시크릿 커밋 금지 — .gitignore 가 .env.* 차단(!.env.example).
uv sync && make front-install # 의존성 설치 (백엔드 + frontend)
make local-all # ★ 표준 경로: infra + web(api) + front 일괄 기동 (pm2)
make ps / local-logs / local-stop
make dev-all / dev-build # dev 전체 스택 컨테이너 (api + front + infra, .env.dev)
# 디버깅용 단일 실행:
make dev # api 만 포그라운드 (uvicorn --reload)
make front-dev # front 만 (Next dev)
make up ENV=dev # infra 만 (postgres+redis)local-all 은 ecosystem.config.cjs(pm2 기본) 또는 Procfile.dev(PROC_MGR=honcho)로
web+front 를 함께 관리한다 — 포트·API 주소는 .env.<env> 의 API_PORT/FRONT_PORT/BIND_HOST 참조.
포트 SSOT (PRD §7.9): 모든 리스닝 포트·바인드 IP는 .env.<env> 가 단일 출처.
Makefile 이 honcho 엔 -e .env.$(ENV), pm2 엔 ENV_FILE=.env.$(ENV) 로 주입 —
충돌 시 .env.local 의 API_PORT 만 바꾸면 전 구성(compose·Procfile·pm2)에 반영된다.
| 서비스 | 포트 (기본) | 비고 |
|---|---|---|
| API | 127.0.0.1:8000 |
API_PORT, Swagger: /docs, Supervisor UI: /supervisor |
| Frontend (E7) | 127.0.0.1:3000 |
FRONT_PORT, /api/* 는 rewrites 프록시. /pipeline = 단계별 위저드(자동 다음 이동·이전 복귀). local-all 포함, compose front(dev+) |
| PostgreSQL | 127.0.0.1:5432 |
POSTGRES_PORT (compose) |
| Redis | 127.0.0.1:6379 |
REDIS_PORT (compose) |
| Ollama(스텁) | 127.0.0.1:11434 |
compose 주석 해제 시 |
| 메서드 | 경로 | 설명 |
|---|---|---|
| GET | /health |
헬스 체크 |
| GET | /api/v1/datasets/formats |
지원 포맷 목록 (canonical=sft-messages) |
| POST | /api/v1/datasets/validate |
canonical 레코드 배치 검증(정제 게이트 리포트) |
| POST | /api/v1/datasets/convert |
포맷 변환 (alpaca/sharegpt/openai-chat ↔ canonical, export: dpo-pairs·eval-set) |
| GET | /api/v1/datasets/export |
데이터셋 다운로드(F13) — format/review_state(기본 approved)/dataset_version 필터, JSONL 스트림. with_manifest=true 면 zip(dataset+manifest — 출처 집계·sha256) |
| GET | /api/v1/datasets/export/manifest |
manifest 미리보기 — 건수·분포·출처별 집계(source_uri·license + DPI: creator/license_url/provenance_notes)·파일 sha256 (전문가 검증용) |
| GET | /api/v1/datasets/export/lmeval-task |
lm-evaluation-harness 태스크 YAML(F16) — eval-set export 와 짝으로 표준 하네스 등록 |
| GET | /api/v1/datasets/decontam?train_version=&eval_version=&k=13 |
13-gram 디컨탬(F18) — 학습 후보 vs 평가셋 오염 검사(검사만, 삭제 없음) |
| GET | /api/v1/datasets/runs · /runs/{run_id} |
수집·정제 run 이력/상세(F15) — 단계별 통과/차단 건수·사유 샘플·출처 집계, 채널 필터 |
| POST | /api/v1/records/ingest |
수집: **게이트③ 출처 확인(F14 — source_uri·source_hash_sha256 누락 시 rejected_attribution)**→가명화→중복제거→pending 적재, 응답에 run_id 포함 |
| POST | /api/v1/records/upload |
파일(멀티) 업로드 — JSONL/JSON(F6 변환) + 문서 PDF/DOCX/TXT/MD/HTML(텍스트 추출→주석 대기 레코드). UI 디렉토리 선택도 이 경로 |
| POST | /api/v1/records/collect/dir |
서버 경로 glob 수집 (CLI/ops 용) |
| POST | /api/v1/records/collect/url |
인터넷 수집 — 화이트리스트+SSRF 차단, 응답 유형 자동 판별(JSON=레코드/HTML=문서), T3_untrusted |
| GET | /api/v1/records/augment/suggestions |
치환 후보 자동 추천 — 승인 레코드 빈도×보안 동의어 사전 |
| GET | /api/v1/records/queue/groups?state= |
검수 큐 그룹 요약 — dataset_version 단위 건수·grade/task_type 분포·출처 집계·수집 시각 범위 (UI ①그룹 단계) |
| POST | /api/v1/records/queue/review-group |
그룹 일괄 승인/반려 — {dataset_version, action, reviewer}, pending 전건 처리·반려 시 lineage 연쇄 폐기 (개별 검수 공존) |
| GET | /api/v1/records/queue?state=pending&dataset_version= |
검수 큐 조회 — dataset_version 필터(그룹 선택 시 세부 목록), 출처(source_uri·license) 상시 노출(F14), created_at=UTC ISO(화면 locale 변환) |
| GET | /api/v1/records/{record_id} |
레코드 상세 (payload 내용 확인 — 검수용) |
| DELETE | /api/v1/records/{record_id} |
레코드 삭제 — 증강본 연쇄 삭제, UI 는 확인 팝업 후 호출 |
| POST | /api/v1/records/{record_id}/review |
승인/반려 ({"action":"approve|reject","reviewer":"..."}) — 반려 시 증강본 연쇄 폐기 |
| POST | /api/v1/models/seed |
카탈로그 시드 ({"profile":"pilot|core|all"}, 멱등) |
| GET | /api/v1/models?status=&tier= |
레지스트리 목록 (status: registered/downloading/downloaded/pinned…) |
| GET | /api/v1/models/{model_id}/detail |
모델 상세 — 메타·상태·다운로드 플랜·스냅샷 매니페스트 |
| POST | /api/v1/models/{model_id}/download |
모델 다운로드(백그라운드) — downloaded 만 학습 사용 가능 |
| POST | /api/v1/models/{model_id}/pin |
revision 고정 ({"revision":"<hash>"}) — 에어갭 반입 근거 |
| GET | /api/v1/models/manifest |
pinned 모델 manifest |
| POST | /api/v1/models/events/scan |
신규 모델 이벤트 주입 → 유사판정 → candidate (ops 스케줄러가 HF_POLLING_CRON 주기 호출) |
| GET | /api/v1/models/{model_id}/download-plan |
hf CLI 다운로드 명령 생성 (실행 없음) |
| POST | /api/v1/records/augment |
승인 원본 증강 → 큐 재편입 — method: keyword(치환 사전) | backtranslate(ko→en→ko) | paraphrase(LLM 문장 재구성) — 뒤 둘은 Ollama 필요·미기동 503 |
| POST | /api/v1/tuning/jobs · GET /jobs |
튜닝 잡 생성(승인 레코드 500건 미만이면 422, max_gpu/max_vram_gb 옵션 — 시스템 전체 상한(TOTAL_GPU_CAPACITY) 초과 시 즉시 시작 대신 queued 유지)·목록 |
| GET | /api/v1/tuning/jobs/{id}/resources |
리소스 모니터링(F9) — CPU/메모리(실측) + GPU util/VRAM(pynvml 실측 또는 시뮬레이션) |
| GET | /api/v1/tuning/jobs/{id}/events |
학습 진행 이벤트(손실·단계) 폴링 = 히스토리 |
| WS | /api/v1/tuning/jobs/{id}/stream |
실시간 스트리밍(F9) — 상태/진행률/신규 이벤트 push(0.3초 주기), succeeded/failed 도달 시 최종 스냅샷 후 종료. 폴링(/events) 대안 |
| GET | /api/v1/tuning/jobs/{id}/export |
모델 다운로드 — format=adapter(기본, tar.gz) | full(어댑터 merge 풀모델, F11) |
| GET | /api/v1/tuning/jobs/{id}/export-plan |
런타임 변환 플랜(F11) — target=gguf(Ollama/llama.cpp) | mlx(Apple Silicon), 명령 생성만·실행 없음 |
| POST | /api/v1/tuning/jobs/{id}/export/mlx |
MLX 실 변환 실행(F11) — mlx-lm 설치 시(uv sync --extra mlx) 실제 변환, 미설치 501·풀모델이 실 HF 가중치가 아니면 422 |
| POST | /api/v1/tuning/jobs/{id}/retry |
queued/failed 잡 재실행(백그라운드 재투입) |
| DELETE | /api/v1/tuning/jobs/{id} |
잡 삭제(이벤트 로그 연쇄, running 차단) |
| GET | /api/v1/tuning/jobs/{id}/plan?lora_variant= |
QLoRA 학습 플랜(YAML) 생성 — lora_variant=lora|rslora|dora(F19) |
| GET | /api/v1/tuning/jobs/{id}/train-plan/mlx |
mlx-lm LoRA 실학습 명령 플랜(F19, Apple Silicon) — 생성만, 실행은 worker/수동 |
| POST | /api/v1/tuning/jobs/{id}/complete |
외부 worker 콜백 (지표 → 리더보드) |
| GET | /api/v1/tuning/leaderboard/detail/{model_id} |
모델 세부내용 — 평가 이력(eval_id) + 튜닝 잡 |
| DELETE | /api/v1/tuning/leaderboard/{eval_id} |
평가 결과 1건 삭제(잡·모델 유지) |
| GET | /api/v1/tuning/eval-guide |
평가지표 가이드·추천(F12) — task_type·case_count 기반 추천 지표 세트 + 가이드 문구 |
| GET | /api/v1/tuning/eval-template |
승인 레코드 정답에서 평가 지표 행 자동 생성 (⑥단계 자동 입력) |
| POST | /api/v1/tuning/evaluate |
예측 배치 평가 → 리더보드 반영 |
| GET | /api/v1/tuning/leaderboard |
모델 간 비교 (attack_f1 기본 정렬) |
| POST | /api/v1/feedback · GET /feedback/stats |
Agent 질의/답변+만족도 환류·집계 (E5) |
| GET | /api/v1/batch/should-run · POST /run |
배치 트리거 판정·실행 (E6, ops cron 호출) |
| POST | /api/v1/batch/gate · GET /runs |
배포 게이트(하한+회귀 검사)·이력 |
| GET | /api/v1/batch/cron-plan |
ops cron 배선 — 야간 배치·HF polling crontab 라인 생성(실행/설치 없음, crontab -e 로 직접 반영) |
| POST | /api/v1/rag/synthesize · /upload |
RAG 코퍼스 → 합성 QA 레코드(F10) — 텍스트/문서(PDF·DOCX·TXT·MD·HTML) 청킹 → cause/resolution 합성 → 검수 큐 편입. diversify=true(F21): 질문 유형 회전+키워드 명시 커버리지 합성, 응답에 coverage 리포트 |
| POST | /api/v1/rag/upgrade |
모델 업그레이드(F10) — 승인된 (RAG 합성 포함) 데이터셋으로 continual fine-tuning 잡 제출, continual_from_job_id(선택)로 이어학습 기준 지정 |
curl -s localhost:8000/api/v1/datasets/convert -H 'content-type: application/json' -d '{
"items": [{"instruction": "경보 분석", "output": "결과"}],
"source": "alpaca", "target": "canonical",
"meta_defaults": {"record_id": "r-1", "dataset_version": "v0.1.0"}
}'
# → {"count":1,"items":[{"messages":[...],"metadata":{...}}]}
curl -s localhost:8000/api/v1/rag/synthesize -H 'content-type: application/json' -d '{
"documents": [{"title": "threat-report-1", "text": "위협 리포트 본문..."}],
"task_type": "cti_extraction", "dataset_version": "v0.2.0"
}'
# → {"documents":1,"chunks":N,"ingest":{"queued":N,...}} — 승인 후 /rag/upgrade 로 학습
curl -s localhost:8000/api/v1/tuning/jobs/ft-xxxx/export-plan?target=gguf
# → {"job_id":"ft-xxxx","target":"gguf","command":"python convert_hf_to_gguf.py ..."}- UI:
make dev후http://127.0.0.1:8000/supervisor— ①모델 선택(시드/pin/플랜) ②사용용도(task_type) ③데이터셋 JSONL 검증·수집·변환 ④검수 큐 승인/반려 ⑤튜닝 실행(E3 예정). 로그인 없음 — 내부망 전용, 외부 노출 시 인증 게이트웨이 필수. - CLI: frontend 부재 환경 — API 서버 없이 DB 직접 실행.
uv run secuftpl dataset validate data.jsonl # invalid 시 exit 1 (배치 게이트)
uv run secuftpl dataset convert in.jsonl --source alpaca --target canonical --out out.jsonl
uv run secuftpl dataset ingest data.jsonl && uv run secuftpl dataset queue
uv run secuftpl dataset collect-dir ./corpus --pattern '*.jsonl' # 디렉토리 수집
uv run secuftpl dataset collect-url https://raw.githubusercontent.com/...jsonl # 화이트리스트 URL
uv run secuftpl dataset review r-0001 --action approve --reviewer soc_01
uv run secuftpl models seed --profile pilot
uv run secuftpl models pin Qwen/Qwen3-14B --revision <hash>
uv run secuftpl models manifest
uv run secuftpl models scan discovered.jsonl # 이벤트 유사판정 → candidate
uv run secuftpl models download-plan Qwen/Qwen3-14B
uv run secuftpl dataset augment --substitutions '{"아파치":"nginx"}'
uv run secuftpl dataset export out.jsonl --format alpaca # F13 다운로드 + manifest(.manifest.json)
uv run secuftpl dataset export out.jsonl --input other.jsonl # DB 대신 별도 파일 입력(오프라인 재가공)
uv run secuftpl dataset runs # F15 수집·정제 run 이력 (--run-id 상세)
uv run secuftpl dataset backfill-attribution # F14 출처 누락 레거시 감지(dry-run, --apply 반영)
uv run secuftpl tune create Qwen/Qwen3-14B --dataset-version v0.1.0
uv run secuftpl tune plan <job_id> # QLoRA 플랜 → worker 실행
uv run secuftpl tune evaluate preds.jsonl --model-id m --dataset-version v1
uv run secuftpl tune leaderboard
uv run secuftpl batch run # 야간 배치 (ops cron 진입점)
uv run secuftpl batch gate <model_id> --dataset-version v1 # 미통과 시 exit 1scripts/run-pipeline.sh — 모델 선택 → 데이터셋 수집(게이트·가명화·중복제거) → 검수 승인 →
(증강) → 튜닝 잡 → 평가 게이트 → 리더보드 비교 → 배포(export) 를 HTTP API 로 한 번에 실행.
백엔드 미기동 시 make dev 와 동일한 명령으로 자동 기동, 완료 시 자동 종료(이미 떠 있던 서버는
건드리지 않음).
make pipeline # 또는: ./scripts/run-pipeline.sh
RECORD_COUNT=1000 MODEL_ID=Qwen/Qwen3-32B ./scripts/run-pipeline.sh # 옵션 오버라이드
AUGMENT_METHOD=backtranslate ./scripts/run-pipeline.sh # Ollama 필요주요 환경변수: MODEL_ID(기본 Qwen/Qwen3-14B) · DATASET_VERSION(기본 자동 타임스탬프) ·
RECORD_COUNT(기본 500, DATASET_MIN_RECORDS 게이트와 동일 — 미달 시 튜닝 단계 422) ·
AUGMENT/AUGMENT_METHOD(기본 true/keyword, 오프라인) · EXPORT_FORMAT(기본 adapter) ·
API_PORT(기본 8000). 각 단계 응답은 artifacts/pipeline-run-<timestamp>/ 에 JSON/tar.gz 로 저장.
필수 도구: curl·jq·uv·python3(합성 레코드 생성, stdlib만 사용).
make test # uv run pytest (test/ 단일 트리, backend 169건)
make front-test # frontend Vitest 단위 시험 (7건)
make front-test-e2e # frontend Playwright e2e (2건, dev 서버 자동 기동)차수별 기록: test/dev-env/(환경 검증) · test/impl/1st/(E1 1차) · 2nd/(포트 SSOT) ·
3rd/(가명화·중복제거·검수 큐·DPO/eval export) · 4th/(모델 레지스트리) · 5th/(Supervisor UI·CLI) ·
6th/(튜닝·평가·리더보드) · 7th/(증강) · 8th/(Agent 환류) · 9th/(야간 배치) ·
10th/(독립 frontend 빌드·프록시 E2E) · 11th/(구동 통합 — local-all=web+front, compose front) ·
12th/(UI 개편 — 그린 브랜드·사이드바·파이프라인 위저드) · 13th/(task별 JSONL 템플릿 자동 채움·빈 입력 가드) ·
14th/(검수 큐 상세 보기·시간 locale 표기) · 15th/(수집 채널 — 파일 멀티·디렉토리·URL, wise-FP A/B/C) ·
16th/(데이터셋 고도화 — 문서 수집·사용자 디렉토리·URL 수집 정의·증강 추천/역번역) ·
17th/(검수 큐 삭제 — lineage 연쇄·확인 팝업) · 18th~19th/(상세 패널 액션 배치) ·
20th/(수집 자동 이동 판정) · 21st/(평가 게이트 지표 자동 입력) · 22nd~23rd/(위저드 상태 영속·순환참조) ·
24th/(학습 워커 백그라운드 QLoRA·리더보드 상세) · 25th/(잡 후속처리 — 재실행·삭제) · 26th/(리더보드 상세 잡 액션·평가 결과 삭제) · 27th/(튜닝 모니터링 — 진행률·히스토리·export) · 28th/(모델 상태·다운로드·모델 상세·다중 파이프라인) ·
29th/(F9 리소스/모니터링 세부설정) · 30th/(F10 RAG 추가학습) · 31st/(F11 다중 런타임 export) ·
32nd/(F12 평가지표 가이드) · 33rd~34th/(frontend F9~F12 연동) · 35th/(F9 실제 큐잉) ·
36th/(ops cron 배선) · 37th/(잡 진행 WebSocket 스트리밍) ·
38th/(frontend Vitest/Playwright 배선 + F11 실 MLX export) · 39th/(증강 — 패러프레이즈) ·
40th/(원스톱 파이프라인 스크립트, 수동 E2E) ·
41st/(F13 데이터셋 다운로드+manifest · F14 출처 필수화 · F15 파이프라인 run 추적) ·
42nd/(검수 큐 그룹핑 — 그룹→세부→레코드 3단계·그룹 요약) ·
43rd/(그룹 일괄 승인/반려 — 개별 검수 공존) · 44th/(레코드 내용 div 팝업 모달) ·
45th~50th/(Survey P0+P1 고도화 v0.4 — E13 벤치·평가 연동 / E14 jailbreak·KTO / E15 디컨탬·DPI /
E16 lora_variant·mlx 플랜 / E17 DOC_PARSER / E18 커버리지 합성) —
전부 PASS (백엔드 169건 + frontend 9건 + E2E).
- 스키마 변경 후 잡 생성 등 500(
no such column): devlocal.db는create_all이 컬럼을 추가하지 않음 —rm SecuFTPL/local.db후 재기동으로 재생성(개발 DB). 운영은 alembic migration. Converting circular structure to JSON (Window)@ /pipeline: 클릭 이벤트가 advance 인자로 유입되던 결함 — 콜사이트 래핑 + StepStatus 강제로 수정(23차).- ⑥ 평가 게이트 지표 미채움: 승인 레코드가 문서(needs_annotation)뿐이면 자동 행 0건 — 기본 샘플로 채워지며, 검수에서 정답(JSON) 작성 후 "지표 자동 채우기"로 갱신. 위저드 상태는 sessionStorage 로 새로고침에도 유지됨.
- 프론트 변경이 화면에 반영 안 될 때:
make local-restart+ 브라우저 강력 새로고침. - 위저드 ② "수집 → 자동 다음" 미이동: 동일 내용 재수집이 완전중복 스킵(queued=0)된 경우 — 현재는 전건 완전중복(데이터 기존재)이면 목표 충족으로 보고 자동 진행.
- 데이터셋 수집 422 (
List should have at least 1 item): 빈 입력 전송이 원인이었음 — 현재는 task_type 선택 시 템플릿 자동 채움 + 빈 입력 시 API 미호출 안내로 방지. [Errno 48] Address already in use: 다른 프로세스가API_PORT점유 —lsof -nP -iTCP:8000 -sTCP:LISTEN으로 확인 후.env.local의API_PORT변경(하드코딩 없음, env 만 수정하면 됨).- Makefile 변수에 인라인 주석 금지:
VAR ?= value # 주석은 trailing space 가 값에 포함되어ifeq비교가 깨짐. VIRTUAL_ENV does not match경고: 상위 워크스페이스 venv 활성 상태 — uv 가 프로젝트.venv를 쓰므로 무해.make testexit 5(no tests): 스캐폴드 직후 상태 — impl/1st 이후 테스트 존재.- pm2 미동작: Node 필요(
npx pm2). Node 없으면PROC_MGR=honcho make local-all.
E1~E8 전체 완료— 데이터셋 코어 → 모델 레지스트리 → 튜닝·평가 리더보드 → 증강 → Agent 환류 → 야간 배치 → 독립 frontend(frontend/) → Supervisor UI·CLIF9 리소스/모니터링 세부설정— 튜닝 시작 500건 게이트(DATASET_MIN_RECORDS) + 잡별 GPU/VRAM 상한(max_gpu/max_vram_gb) + 실시간 리소스 모니터링(GET /jobs/{id}/resources) 완료F10 RAG 기반 추가학습·모델 업그레이드—/api/v1/rag/synthesize·/upload(합성 QA → 검수 큐) +/api/v1/rag/upgrade(continual fine-tuning,continual_from_job_id) 완료F11 다중 런타임 배포·풀모델 export—export?format=full(어댑터 merge) +export-plan?target=gguf|mlx(Ollama/llama.cpp/MLX 변환 명령 플랜) 완료F12 평가지표 가이드·추천—GET /tuning/eval-guide(task_type·표본규모 기반 추천) 완료frontend F9·F11·F12 연동— tuning 페이지(리소스 입력·모니터링·어댑터/풀모델 다운로드· GGUF/MLX 플랜), leaderboard 페이지(평가지표 가이드 패널) 완료(impl/33rd)frontend F10 RAG 페이지—/rag신규 페이지(코퍼스 합성 텍스트/파일 업로드 + 모델 업그레이드 제출), 사이드바 내비게이션 추가 완료(impl/34th). PRD F9~F12 백엔드+프런트 전체 완료리소스 상한 초과 시 실제 큐잉—TOTAL_GPU_CAPACITY기반admit_or_queue/dispatch_next_queued(상한 내 즉시 시작, 초과 시 queued 유지 → 다른 잡 완료 시 FIFO 재시도) 완료(impl/35th). 동시에 배치(/batch/run)가 잡을 생성만 하고 디스패치하지 않던 결함도 함께 수정WebSocket 진행 스트리밍—WS /jobs/{id}/stream(0.3초 주기 push, tuning 페이지가 running 잡마다 구독) 완료(impl/37th). 장시간 잡용 외부 큐(arq/celery, 다중 프로세스/노드 확장 시 필요)는 현재 단일 프로세스 인메모리 디스패처(F9 §7.12)로 충분해 미구현frontend 자동화 시험(Vitest/Playwright) 배선—frontend/vitest.config.mts(단위 7건)·playwright.config.ts(e2e 2건),make front-test·front-test-e2e완료(impl/38th)F11 MLX 실 변환 실행—mlx-lm(Apple Silicon,uv sync --extra mlx) 로POST /jobs/{id}/export/mlx실행 경로 완료(impl/38th, 실 공개 테스트 모델로 검증). GGUF(llama.cpp)는 여전히 명령 플랜만(§7.14) — 리포지토리 클론·빌드가 필요해 범위 밖- 잔여(GPU/Linux 환경 필요 —
.docs/GPU-실학습-배포-가이드.md참조): vLLM 서빙, 실 QLoRA 학습(torch/transformers/peft/trl+bitsandbytes+CUDA — 설치 전_real_available()자동전환 위험 때문에FORCE_TRAINING_MODE플래그 선행 필요, 가이드 §2.2), llama.cpp 실 GGUF 변환, vLLM AWQ/GPTQ 양자화, 서빙 어댑터 실교체(ollama 연동), frontend 디자인 시스템(/ui-design) 증강 LLM 백엔드(패러프레이즈)—method: paraphrase(LLM 문장 재구성, Ollama) 완료(impl/39th). 역번역·키워드 치환과 함께 §7.4 증강 표 3항목 전부 구현 완료ops cron 배선—GET /api/v1/batch/cron-plan(secuftpl batch cron-planCLI 동일) 로FT_TRIGGER_SCHEDULE_CRON·HF_POLLING_CRONcrontab 라인 생성 완료(impl/36th). 자동 설치는 하지 않음 — ops가 출력을crontab -e로 직접 반영F13~F15 데이터셋 export·출처 필수화·run 추적(E12)—GET /datasets/export(+manifest zip)·/runs, 게이트③rejected_attribution, 채널별 자동 스탬핑, CLIdataset export/--input·runs· backfill-attribution완료(impl/41st). 운영 반영 시 1회: 레거시 레코드 출처 태깅uv run secuftpl dataset backfill-attribution --apply