학원가는 도시의 다양성이 낮을까?

import numpy as np
import pandas as pd
import geopandas as gpd
import glob
import matplotlib.pyplot as plt
import matplotlib.patheffects as pe
from matplotlib.patches import Patch
from scipy.stats import spearmanr   # 순위 기준 상관계수 계산에만 사용

plt.rc("font", family="Malgun Gothic")
plt.rc("axes", unicode_minus=False)
pd.set_option("display.width", 200)

ACADEMY = "일반교습학원"   # 청소년 입시·보습 학원의 대표 업종 (한국표준산업분류 '일반 교과학원'에 해당)
N_IND = 63                # 상권분석서비스 생활밀착 업종 수
MIN_IND = 20              # 매출이 있는 업종이 이보다 적은 동은 제외

# 2026년 2분기 동 x 업종 매출 (서울 열린데이터광장 상권분석서비스 추정매출, 행정동)
sales = pd.read_csv("data/seoul_sales_dong_2026q2.csv")
sales = sales[sales["THSMON_SELNG_AMT"] > 0]
A = sales.pivot_table(index="ADSTRD_CD", columns="SVC_INDUTY_CD_NM", values="THSMON_SELNG_AMT", aggfunc="sum", fill_value=0)
A = A[(A > 0).sum(axis=1) >= MIN_IND]          # 업종이 20개 이상인 동만

# 0~19세 생활인구: 2026년 4~6월 평일 평균 (월별 자료를 평일 수로 가중평균, 하루 8개 시간대 평균)
pop = pd.read_csv("data/lifepop_age0_19_2026q2.csv").set_index("ADSTRD_CD")

print("분석 행정동:", len(A), "| 업종:", A.shape[1], "| 생활인구 자료 동:", len(pop))
print(f"서울 일반교습학원 매출 {A[ACADEMY].sum() / 1e8:,.0f}억 원 (분기), 전체 매출 중 {A[ACADEMY].sum() / A.values.sum():.2%}")

def gini_simpson(M):
    """Gini-Simpson 지수 D = 1 - sum(p_k^2): 무작위로 고른 두 결제가 서로 다른 업종일 확률"""
    P = M.div(M.sum(axis=1), axis=0)
    return 1 - (P ** 2).sum(axis=1)

def entropy(M):
    P = M.div(M.sum(axis=1), axis=0).values
    return pd.Series(-np.nansum(np.where(P > 0, P * np.log(P), 0), axis=1) / np.log(N_IND), index=M.index)

ind = pd.DataFrame(index=A.index)
ind["academy_amt"] = A[ACADEMY]
ind["academy_share"] = A[ACADEMY] / A.sum(axis=1)
seoul_share = A[ACADEMY].sum() / A.values.sum()
ind["lq"] = ind["academy_share"] / seoul_share                               # 지표 1. 입지계수
ind["pop_0_19"] = pop["pop_0_19"].reindex(ind.index)
ind["density"] = np.where(ind["pop_0_19"] >= 500, ind["academy_amt"] / ind["pop_0_19"] / 1e4, np.nan)   # 지표 2. 학원 밀도 (만원/인/분기)
ind["gs_all"] = gini_simpson(A)                                              # 지표 3. 다양성 (전체 업종)
ind["gs_noac"] = gini_simpson(A.drop(columns=ACADEMY))                       #         (학원 제외)
ind["ent_all"] = entropy(A)                                                  # 강건성 확인용
ind["ent_noac"] = entropy(A.drop(columns=ACADEMY))
ind["ac_town"] = (ind["lq"] >= 1.5) & (ind["academy_share"] - seoul_share >= 0.10)   # 학원 특화 동

print(f"서울 평균 학원 비중 {seoul_share:.2%} | LQ>1인 동 {int((ind['lq'] > 1).sum())}곳 | LQ≥3인 동 {int((ind['lq'] >= 3).sum())}곳 | 학원 특화 동 {int(ind['ac_town'].sum())}곳")
print(ind[["academy_share", "lq", "density", "gs_all", "gs_noac"]].describe().round(3).to_string())

# 행정동 경계(2025년 1월 기준)와 결합
gj = gpd.read_file("../lecture06_Living_Population/data/HangJeongDong_ver20250101.geojson")
gj = gj[gj["sidonm"] == "서울특별시"].copy()
gj["ADSTRD_CD"] = gj["adm_cd2"].str[:8].astype(int)
gj["dong_nm"] = gj["adm_nm"].str.split().str[-1]
gj = gj.to_crs(epsg=5179)
gdf = gj.merge(ind, left_on="ADSTRD_CD", right_index=True, how="left")
gdf["valid"] = gdf["lq"].notna()
ind2 = ind.join(gj.drop_duplicates("ADSTRD_CD").set_index("ADSTRD_CD")[["dong_nm", "sggnm"]]).dropna(subset=["dong_nm"])
print("경계 행정동:", len(gj), "| 분석 동(경계와 결합):", int(gdf["valid"].sum()), "| 지도에서 회색(제외·자료 없음):", int((~gdf["valid"]).sum()))
print(f"분석 {len(ind)}개 동 중 경계와 맞지 않아 지도에서 빠지는 동: {len(ind) - int(gdf['valid'].sum())}개")

# 그림 1 (공간) 학원 입지계수(LQ): 학원은 어디에 몰려 있는가
bins = [0, 1, 1.5, 3, np.inf]
labels = ["< 1 (서울 평균 이하)", "1 ~ 1.5", "1.5 ~ 3", "≥ 3 (강한 집중)"]
colors = ["#f1f1f1", "#fde0c5", "#f59e6c", "#b2182b"]
g = gdf.copy()
g["cls"] = pd.cut(g["lq"], bins=bins, labels=False, right=False)
fig, ax = plt.subplots(figsize=(11, 10))
g[~g["valid"]].plot(ax=ax, color="#cfcfcf", edgecolor="white", linewidth=0.3)
for k, c in enumerate(colors):
    g[g["cls"] == k].plot(ax=ax, color=c, edgecolor="white", linewidth=0.3)
g[g["ac_town"] == True].boundary.plot(ax=ax, color="#4a0d14", linewidth=1.3)
halo = [pe.withStroke(linewidth=3, foreground="white")]
top_lq = g[g["ac_town"] == True].sort_values("lq", ascending=False).head(6)
offs = [(-6000, 4500), (3000, 6500), (-5500, 7000), (-5000, 6500), (5500, -6500), (-7000, -5500)]
for (_, r), (dx, dy) in zip(top_lq.iterrows(), offs):
    x, y = r.geometry.centroid.x, r.geometry.centroid.y
    ax.annotate(r["dong_nm"], (x, y), (x + dx, y + dy), fontsize=10.5, fontweight="bold", path_effects=halo,
                arrowprops=dict(arrowstyle="-", color="#444", lw=0.8))
ax.legend(handles=[Patch(facecolor=c, edgecolor="#999", label=l) for c, l in zip(colors, labels)]
          + [Patch(facecolor="none", edgecolor="#4a0d14", linewidth=1.3, label=f"학원 특화 동 ({int(ind['ac_town'].sum())}개)"),
             Patch(facecolor="#cfcfcf", label="제외 (업종 20개 미만 등)")],
          title="일반교습학원 입지계수 (LQ)", loc="upper left", fontsize=10, title_fontsize=11)
ax.set_title("① 학원은 서울 어디에 몰려 있는가 (행정동 학원 입지계수, 2026년 2분기)", fontsize=15)
ax.set_axis_off()
plt.subplots_adjust(0.02, 0.02, 0.98, 0.95)
plt.savefig("image/academy3_fig1_lq_map.png", dpi=150)
plt.show()
print("LQ 상위 8:", ", ".join(f"{r.dong_nm} {r.lq:.1f}" for r in ind2.sort_values("lq", ascending=False).head(8).itertuples()))

# 그림 2 (공간) 학원 밀도: 학생 1인당 학원 매출
bins = [0, 10, 22, 50, 150, np.inf]
labels = ["< 10만 원", "10 ~ 22 (서울 중앙값 이하)", "22 ~ 50", "50 ~ 150", "≥ 150만 원 (강한 집중)"]
colors = ["#f1f1f1", "#fde0c5", "#fdae6b", "#e6550d", "#7f2704"]
med = ind2["density"].median()
g = gdf.copy()
g["cls"] = pd.cut(g["density"], bins=bins, labels=False, right=False)
fig, ax = plt.subplots(figsize=(11, 10))
g[g["density"].isna()].plot(ax=ax, color="#cfcfcf", edgecolor="white", linewidth=0.3)
for k, c in enumerate(colors):
    g[g["cls"] == k].plot(ax=ax, color=c, edgecolor="white", linewidth=0.3)
g[g["ac_town"] == True].boundary.plot(ax=ax, color="#4a0d14", linewidth=1.1)
top = g.sort_values("density", ascending=False).head(4)
offs = [(-9000, -6000), (-3500, -9500), (-8500, 8500), (-1500, 10500)]
for (_, r), (dx, dy) in zip(top.iterrows(), offs):
    x, y = r.geometry.centroid.x, r.geometry.centroid.y
    ax.annotate(f"{r['dong_nm']} {r['density']:.0f}만", (x, y), (x + dx, y + dy), fontsize=10.5, fontweight="bold", path_effects=halo,
                arrowprops=dict(arrowstyle="-", color="#444", lw=0.8))
ax.legend(handles=[Patch(facecolor=c, edgecolor="#999", label=l) for c, l in zip(colors, labels)]
          + [Patch(facecolor="none", edgecolor="#4a0d14", linewidth=1.1, label="학원 특화 동 (윤곽선)"), Patch(facecolor="#cfcfcf", label="제외·자료 없음")],
          title="학생(0~19세) 1인당 학원 매출 (분기)", loc="upper left", fontsize=10, title_fontsize=11)
ax.set_title("② 학생 1인당 학원 매출은 어디에서 가장 큰가 (학원 밀도, 2026년 2분기)", fontsize=15)
ax.set_axis_off()
plt.subplots_adjust(0.02, 0.02, 0.98, 0.95)
plt.savefig("image/academy3_fig2_density_map.png", dpi=150)
plt.show()
print(f"학원 밀도: 서울 전체 {ind2['academy_amt'].sum() / ind2['pop_0_19'].sum() / 1e4:.0f}만 원/인, 동 중앙값 {med:.0f}만 원")
print("밀도 상위 8:", ", ".join(f"{r.dong_nm} {r.density:.0f}" for r in ind2.sort_values("density", ascending=False).head(8).itertuples()))

# 그림 6 (비공간) 두 지표 나란히: 학원 비중(LQ) vs 학원 밀도
dd = ind2.dropna(subset=["density"])
fig, ax = plt.subplots(figsize=(11, 8))
ax.scatter(dd.loc[~dd["ac_town"], "lq"], dd.loc[~dd["ac_town"], "density"], s=22, color="#9ecae1", alpha=0.8, label="그 외 동")
ax.scatter(dd.loc[dd["ac_town"], "lq"], dd.loc[dd["ac_town"], "density"], s=45, color="#b2182b", edgecolor="white", linewidth=0.5, label="학원 특화 동")
ax.set_xscale("symlog", linthresh=1); ax.set_yscale("log")
ax.axvline(1, color="gray", ls="--", lw=1); ax.axhline(dd["density"].median(), color="gray", ls="--", lw=1)
ax.set_xlabel("학원 입지계수 LQ (동 매출 속 비중, 1 = 서울 평균)"); ax.set_ylabel("학원 밀도 (학생 1인당 학원 매출, 만 원/분기, 로그)")
lab = pd.concat([dd.nlargest(6, "density"), dd.nlargest(6, "lq")]).drop_duplicates()
OFF = {"노량진2동": (8, 4, "left"), "대치4동": (-8, 8, "right"), "명일2동": (8, 8, "left"), "대치2동": (-8, 4, "right"), "대치1동": (8, 4, "left"),
       "반포3동": (-8, 6, "right"), "목5동": (8, 6, "left"), "중계1동": (8, -12, "left"), "돈암1동": (8, 6, "left"), "반포2동": (8, -14, "left"),
       "신정7동": (8, -10, "left"), "방이1동": (-8, -12, "right")}
for r in lab.itertuples():
    dx, dy, ha = OFF.get(r.dong_nm, (6, 4, "left"))
    ax.annotate(r.dong_nm, (r.lq, r.density), (dx, dy), textcoords="offset points", ha=ha, fontsize=10, fontweight="bold", path_effects=halo)
ax.set_title("③ 학원 '비중'(LQ)과 '학생 1인당 학원 매출'은 같은 동네를 가리키는가", fontsize=14)
ax.grid(alpha=0.25); ax.legend(loc="lower right")
plt.tight_layout()
plt.savefig("image/academy3_fig3_lq_density.png", dpi=150)
plt.show()
print(f"LQ와 밀도의 상관계수(순위 기준) = {spearmanr(dd['lq'], dd['density'])[0]:+.2f}")
print("학원 특화 동의 밀도 중앙값 %.0f만 vs 그 외 %.0f만" % (dd[dd.ac_town].density.median(), dd[~dd.ac_town].density.median()))
print("LQ 상위 5동의 밀도(만원):", ", ".join(f"{r.dong_nm} LQ {r.lq:.1f} / {r.density:.0f}" for r in dd.nlargest(5, "lq").itertuples()))
print("밀도 상위 5동의 LQ:", ", ".join(f"{r.dong_nm} {r.density:.0f}만 / LQ {r.lq:.1f}" for r in dd.nlargest(5, "density").itertuples()))

# 그림 3 (공간) 업종 다양성(Gini–Simpson): 전체 업종 vs 학원 제외 (같은 색 구간)
vals = pd.concat([gdf["gs_all"], gdf["gs_noac"]]).dropna()
edges = np.quantile(vals, [0, .2, .4, .6, .8, 1.0]); edges[0], edges[-1] = 0, 1
cmap = ["#7f2704", "#d94801", "#fd8d3c", "#fdd0a2", "#fff1e0"]
cls_labels = [f"{edges[i]:.2f} ~ {edges[i + 1]:.2f}" for i in range(5)]
fig, axes = plt.subplots(1, 2, figsize=(18, 9))
for ax, col, title in [(axes[0], "gs_all", "전체 업종 기준"), (axes[1], "gs_noac", "일반교습학원을 제외한 기준")]:
    g = gdf.copy()
    g["cls"] = pd.cut(g[col], bins=edges, labels=False, include_lowest=True)
    g[~g["valid"]].plot(ax=ax, color="#cfcfcf", edgecolor="white", linewidth=0.3)
    for k, c in enumerate(cmap):
        g[g["cls"] == k].plot(ax=ax, color=c, edgecolor="white", linewidth=0.3)
    g[g["ac_town"] == True].boundary.plot(ax=ax, color="black", linewidth=1.1)
    ax.set_title(f"업종 다양성 (Gini–Simpson) — {title}", fontsize=14); ax.set_axis_off()
fig.legend(handles=[Patch(facecolor=c, edgecolor="#999", label=l) for c, l in zip(cmap, cls_labels)]
           + [Patch(facecolor="none", edgecolor="black", linewidth=1.1, label="학원 특화 동 (윤곽선)"), Patch(facecolor="#cfcfcf", label="제외")],
           title="Gini–Simpson (진할수록 단조로움)", loc="lower center", ncol=7, fontsize=11, title_fontsize=12, frameon=False)
fig.suptitle("④ 학원 특화 동은 업종이 단조로운가? 학원을 제외하고 보면?", fontsize=16)
plt.tight_layout(rect=(0, 0.08, 1, 1))
plt.savefig("image/academy3_fig4_gs_maps.png", dpi=150)
plt.show()

# 그림 4 (비공간) 학원 비중과 업종 다양성의 관계
fig, axes = plt.subplots(1, 2, figsize=(17, 7), sharex=True)
sel = ind2["ac_town"]
for ax, col, title in [(axes[0], "gs_all", "전체 업종 기준"), (axes[1], "gs_noac", "일반교습학원 제외 기준")]:
    ax.scatter(ind2.loc[~sel, "academy_share"] * 100, ind2.loc[~sel, col], s=22, color="#9ecae1", alpha=0.8, label="그 외 동")
    ax.scatter(ind2.loc[sel, "academy_share"] * 100, ind2.loc[sel, col], s=40, color="#b2182b", edgecolor="white", linewidth=0.5, label="학원 특화 동")
    q = pd.qcut(ind2["academy_share"], 10, duplicates="drop")
    mid = ind2.groupby(q, observed=True).agg(x=("academy_share", "median"), y=(col, "median"))
    ax.plot(mid["x"] * 100, mid["y"], color="black", lw=2.2, marker="o", label="학원 비중 10분위 중앙값")
    rho = spearmanr(ind2["academy_share"], ind2[col])[0]
    ax.set_title(f"{title}  (상관계수 = {rho:+.2f})", fontsize=13)
    ax.set_xlabel("동 매출 중 일반교습학원 비중 (%)"); ax.set_ylabel("업종 다양성 (Gini–Simpson)")
    ax.axhline(ind2[col].median(), color="gray", ls="--", lw=1); ax.grid(alpha=0.25)
    for r in ind2[ind2["ac_town"]].sort_values("lq", ascending=False).head(4).itertuples():
        ax.annotate(r.dong_nm, (r.academy_share * 100, getattr(r, col)), (6, 6), textcoords="offset points", fontsize=10, fontweight="bold")
axes[0].legend(loc="lower left")
fig.suptitle("⑤ 학원 비중이 클수록 다양성이 낮은가? (점선 = 서울 중앙값)", fontsize=15)
plt.tight_layout()
plt.savefig("image/academy3_fig5_scatter.png", dpi=150)
plt.show()
town, rest = ind2[ind2["ac_town"]], ind2[~ind2["ac_town"]]
for lab, col in [("전체 업종", "gs_all"), ("학원 제외", "gs_noac"), ("엔트로피(전체)", "ent_all"), ("엔트로피(학원 제외)", "ent_noac")]:
    print(f"{lab}: 학원 특화 동 중앙값 {town[col].median():.3f} vs 그 외 {rest[col].median():.3f}")
print(f"학원 특화 동 {len(town)}곳 중 지니심슨(전체)이 서울 중앙값보다 낮은 동: {int((town['gs_all'] < ind2['gs_all'].median()).sum())}곳")

# 보조 변수: 용도지역 비율 (도시 구조·토지이용과의 연결용)
z = gpd.read_file(glob.glob("shp/569_UQ111_용도지역(도시지역)_202609/*.shp")[0], encoding="cp949").to_crs(5179)
z = z[z["ATRB_SE"].notna()].copy(); z["geometry"] = z.geometry.make_valid()
def zone_cls(c):
    if c.startswith("UQA11") or c in ("UQA121", "UQA122", "UQA124", "UQA129"): return "전용·제1·2종일반주거"
    if c == "UQA123": return "제3종일반주거"
    if c in ("UQA130", "UQA190") or c.startswith("UQA2"): return "준주거·상업"
    if c.startswith("UQA3"): return "공업"
    return None
z["cls"] = z["ATRB_SE"].map(zone_cls); z = z[z["cls"].notna()]
zd = z.dissolve(by="cls").reset_index()[["cls", "geometry"]]
ov = gpd.overlay(gj[["ADSTRD_CD", "geometry"]], zd, how="intersection", keep_geom_type=True)
ov["area"] = ov.geometry.area
ar = ov.pivot_table(index="ADSTRD_CD", columns="cls", values="area", aggfunc="sum", fill_value=0)
K = ["전용·제1·2종일반주거", "제3종일반주거", "준주거·상업", "공업"]
for c in K:
    if c not in ar.columns: ar[c] = 0
urban = ar[K].sum(axis=1)
Z = (ar[K[:3]].div(urban, axis=0))[urban > 0]   # 서로 겹치지 않는 3개 구분 (나머지는 공업지역)
d = ind2.join(Z, how="inner")
print(f"용도지역과 결합된 동 {len(d)} | 시가지(전용·일반주거+준주거+상업+공업) 면적 대비 비율")
print("서울 동 중앙값(%):", {c: round(d[c].median() * 100) for c in Z.columns})
print("\n[학원 특화 동 vs 그 외] 중앙값(%)")
for c in Z.columns:
    t, r = d[d["ac_town"]][c], d[~d["ac_town"]][c]
    print(f"  {c}: {t.median() * 100:.0f} vs {r.median() * 100:.0f}")
print("\n[상관계수(순위 기준)]        LQ    학원 밀도   지니심슨(전체)  지니심슨(학원 제외)")
for c in Z.columns:
    print(f"  {c:<10} {spearmanr(d.lq, d[c])[0]:+.2f}   {spearmanr(d.dropna(subset=['density']).density, d.dropna(subset=['density'])[c])[0]:+.2f}      {spearmanr(d.gs_all, d[c])[0]:+.2f}          {spearmanr(d.gs_noac, d[c])[0]:+.2f}")
d["주거합계"] = d["전용·제1·2종일반주거"] + d["제3종일반주거"]
d["type"] = np.where(d["주거합계"] >= 0.7, "전용·일반주거 합계 70%↑", np.where(d["준주거·상업"] >= 0.4, "준주거·상업 40%↑", "혼합"))
print("\n[유형별] 동 수 / 학원 특화 동 수 / LQ 중앙값")
print(d.groupby("type").agg(동=("lq", "size"), 학원특화동=("ac_town", "sum"), LQ중앙값=("lq", "median")).round(2).to_string())
print("전용·일반주거 합계와 준주거·상업 비율의 상관(서로 반대로 움직이는 정도):", round(spearmanr(d["주거합계"], d["준주거·상업"])[0], 2))
print("학원 LQ 상위 6동의 전용·제1·2종 / 제3종 / 준주거·상업 (%):", ", ".join(f"{r.dong_nm} {r['전용·제1·2종일반주거'] * 100:.0f}/{r['제3종일반주거'] * 100:.0f}/{r['준주거·상업'] * 100:.0f}" for _, r in d.sort_values("lq", ascending=False).head(6).iterrows()))
print("학원 특화 동의 전용·일반주거 합계 최소 %.0f%%, 중앙값 %.0f%%" % (d[d["ac_town"]]["주거합계"].min() * 100, d[d["ac_town"]]["주거합계"].median() * 100))
print("학원 특화 동의 공업지역 비율 중앙값 %.0f%%, 그 외 동 %.0f%%" % ((1 - d[d["ac_town"]][list(Z.columns)].sum(axis=1)).median() * 100, (1 - d[~d["ac_town"]][list(Z.columns)].sum(axis=1)).median() * 100))
print("지정 면적(㎢): " + ", ".join(f"{k} {ar[k].sum() / 1e6:.0f}" for k in K))

# 그림 5 (비공간) 학원 특화 동은 어떤 토지이용에 있는가: 용도지역 비율
fig, axes = plt.subplots(1, 3, figsize=(16, 5.2))
for ax, c in zip(axes, ["전용·제1·2종일반주거", "제3종일반주거", "준주거·상업"]):
    t, r = d[d["ac_town"]][c] * 100, d[~d["ac_town"]][c] * 100
    bp = ax.boxplot([t, r], tick_labels=[f"학원 특화 동\n({len(t)}곳)", f"그 외 동\n({len(r)}곳)"], patch_artist=True, widths=0.55)
    for patch, col in zip(bp["boxes"], ["#f59e6c", "#9ecae1"]):
        patch.set_facecolor(col)
    rho = spearmanr(d["lq"], d[c])[0]
    ax.set_title(f"{c} 비율 (%)\n중앙값 {t.median():.0f} vs {r.median():.0f} · LQ와 상관계수 {rho:+.2f}", fontsize=12)
    ax.grid(alpha=0.25, axis="y")
fig.suptitle("⑥ 학원 특화 동은 제3종일반주거 비율이 높고 준주거·상업 비율은 낮다", fontsize=14)
plt.tight_layout()
plt.savefig("image/academy3_fig6_zoning.png", dpi=150)
plt.show()