803. 글로벌 마켓 모니터링 대시보드

# Global Market Monitor — 설계서

## Context
원자재 시세 · 글로벌 뉴스 · 해외 거래처 언급을
한 화면에 통합해 보여주는 웹 대시보드. 직접
구축·운영할 수 있도록 단순한 구조로 설계.

## 확정된 전제
- 백엔드: Python 3.12 + Flask
- 프론트엔드: 바닐라 HTML / CSS / JS (별도 빌드 단계 없음)
- 데이터 소스: 공개 RSS · Yahoo Finance v8 (API 키 불필요)
- 개발 방식: 단계적 (수집 → 저장 → 표시)
- 작업 순서: 설정 JSON → 수집기 → 에이전트 → DB → 서버 → UI

## 디렉토리 구조
global-market-monitor/
├── site/
│   ├── agents/
│   │   ├── commodity_agent.py      원자재 수집
│   │   ├── news_agent.py           뉴스 수집
│   │   └── search_pool_agent.py    거래처 매칭
│   ├── collectors/
│   │   ├── rss_collector.py        feedparser 기반
│   │   ├── api_collector.py        requests 기반
│   │   └── scraper.py              BeautifulSoup 기반
│   ├── db/
│   │   ├── schema.py               공통 레코드 스키마
│   │   ├── unifier.py              유사 컬럼 통합
│   │   ├── store.py                JSON atomic write
│   │   ├── commodities.json
│   │   ├── news.json
│   │   ├── buyers.json
│   │   └── unified.json            대시보드 단일 소스
│   ├── config/
│   │   ├── news_sources.json
│   │   ├── commodity_sources.json
│   │   └── buyers_keywords.json
│   ├── static/
│   │   ├── index.html              대시보드
│   │   ├── styles.css              스타일시트
│   │   └── app.js                  필터·검색
│   ├── server.py                   Flask + REST API
│   ├── run_once.py                 1회 수집 실행
│   ├── scheduler.py                주기 실행 루프
│   └── requirements.txt
├── render.yaml                     Render 배포 설정
├── runtime.txt                     Python 버전 고정
└── README.md

## REST API 엔드포인트
GET  /                  대시보드 index.html
GET  /api/unified       통합 뷰 (대시보드 초기 로드)
GET  /api/commodities   원자재 전체
GET  /api/news          필터 파라미터 지원
GET  /api/buyers        거래처 목록
POST /api/refresh       즉시 재수집 트리거

## 검증 계획
- pip install -r site/requirements.txt 성공
- python run_once.py 실행 시 db/*.json 적재 (레코드 > 0)
- python server.py 기동 후 http://localhost:5000 에서:
   • 대시보드 렌더링 / 좌측 필터 동작
   • 상단 원자재 티커 롤링 / REFRESH 재수집 후 화면 갱신

# 매체별 필드 alias — 공통 키로 수렴
FIELD_ALIASES = {
    "title":        ("title", "headline"),
    "url":          ("url", "link", "guid"),
    "published_at": ("published", "pubDate", "updated", "date"),
    "summary":      ("summary", "description", "content"),
}

def _pick(raw, keys):
    for k in keys:
        if raw.get(k):
            return raw[k]
    return None

[1/4] commodity_agent ...
      -> 12 commodity records
[2/4] news_agent ...
      -> 541 news records
[3/4] search_pool_agent ...
      -> news_updated=541 buyers=15
[4/4] build unified ...
      -> unified counts: {'commodities': 12, 'news': 541, 'buyers': 15}

function applyFilters() {
  const { q, category, sources, buyers, dateFrom, dateTo } = state.filters;
  return state.raw.news.filter(n => {
    if (category && (n.category || "") !== category) return false;
    if (sources.size && !sources.has(n.source)) return false;
    if (buyers.size && !(n.matched_buyers || []).some(id => buyers.has(id))) return false;
    if (dateFrom && (n.published_at || "") < dateFrom) return false;
    if (q) {
      const hay = `${n.title || ""} ${n.summary || ""}`.toLowerCase();
      if (!hay.includes(q.toLowerCase())) return false;
    }
    return true;
  });
}

$ gh repo create global-market-monitor --private ...
✓ Created repository .../global-market-monitor on GitHub
✓ Added remote https://github.com/.../global-market-monitor.git
✓ Pushed commits to origin/main

services:
  - type: web
    name: global-market-monitor
    runtime: python
    plan: free
    buildCommand: pip install -r site/requirements.txt
    # 부팅 시 1회 수집 후 gunicorn 기동
    startCommand: sh -c "cd site && python run_once.py || true; \
                         gunicorn --timeout 90 --workers 2 \
                         --bind 0.0.0.0:$PORT server:app"
    envVars:
      - key: PYTHON_VERSION
        value: 3.12.3

==> Deploying...
==> Running 'sh -c "cd site && python run_once.py || true; gunicorn ..."'
[1/4] commodity_agent ... -> 12 commodity records
[2/4] news_agent ...      -> 542 news records
[3/4] search_pool_agent ... -> news_updated=542 buyers=15
[4/4] build unified ...
[INFO] Starting gunicorn 25.3.0
[INFO] Listening at: http://0.0.0.0:10000
==> Your service is live 🎉
==> Available at https://global-market-monitor.onrender.com